912
技術社區[雲棲]
Neurons字幕組 | 2分鍾看AI通過2D照片設計出麵部3D模型（附論文下載）
來吧，和Neurons一起，玩點不一樣的AI！
還記得童年的哆啦A夢係列為我們帶來的神奇工具“六麵相機”嗎？當你拍攝物體的時候，獲得的不隻是物體在一個角度上二維平麵的投影，而是6個不同角度的照片。雖然看上去特別不可思議，但仍然限於二維平麵的圖像。今天的Neurons小視頻要介紹的，則是更甚一步的黑科技，用深度神經網絡，將二維的人像照片立體化，生成麵部的三維模型。
想象一下,如果我們能把代表自己的3D人物放進數字電影或者電腦遊戲裏是多麼炫酷！本期的視頻就介紹了通過一張簡單的照片生成我們麵部3D模型的方法。當然，將我們麵部的3D幾何模型和反照率分布圖數字化顯然是件極其費時費力的任務。（反照率圖指的就是紋理，即一張彩圖。它可以描述我們的皮膚是如何反射和吸收光線的）。
從左至右依次是：輸入圖像、輸出反照率圖像
從左至右依次是：渲染、渲染（局部放大）
從左至右依次是：渲染、渲染（局部放大）
顯然，捕捉這樣一幅圖像需要很長時間，而且成本很高。所以，我們開發了這樣一種黑科技，這項技術可以用一張簡單的照片，生成任何一張臉的全數字化圖像。我們甚至可以在數字世界中重現曆史人物，而我們需要的，僅僅是一張照片。
從左至右依次是：輸入2D圖像、輸出3D麵部紋理圖像（穆罕默德 阿裏）
拿到一張照片後，這項技術能夠生成兩張反照率分布圖：其中一張是圖像完整的低頻圖，它可以記錄下整個麵部，但隻包含大致細節；而另一張圖則包含更多的細節，但它卻不完整。大家還記得紋理合成的方法嗎?輸入非常小的一塊具有重複結構的圖像，在得知這些結構的統計特性後，就可能讓它們無限地繼續下去。於是，我們就可以以這張不完整的反照圖為基礎，盡可能地把缺失的細節合成出來！這篇論文Photorealistic Facial Texture Inference Using Deep Neural Networks的作者借助一種經典的機器學習算法，即卷積神經網絡實現了這一點。我們所用的神經網絡越深層，就有越多的高頻細節出現在輸出結果當中，即我們得到的圖像就會越清晰。
從左至右分別是逐層疊加五層後形成的愈加清晰的麵部效果圖
在這篇論文中，你還能看到一份關於使用者研究的詳細描述。這份研究是通過眾人協作的方式進行的，旨在驗證這項技術，包括用戶界麵和被問到的問題，還有一些與PatchMatch算法的比較。PatchMatch算法是紋理合成領域裏程碑式的技術，也被用來修補那些年代久遠的名古畫。
從左至右依次是：輸入、反照率圖像、用PatchMatch算法後、最終效果圖
看了今天的Neurons小視頻，有沒有大開眼界呢？通過深度神經網絡，AI真正幫我們實現了“腦補”，構建出了人臉虛擬的3D模型，雖然這篇文章裏的數據隻是應用在人臉的照片上，但是對於其他物體和圖像，發展出廣闊的應用前景也是指日可待的！
原文發布時間為：2017-10-30
本文作者：Neurons字幕組
本文來自雲棲社區合作夥伴“大數據文摘”，了解相關信息可以關注“大數據文摘”微信公眾號
最後更新：2017-10-30 12:04:45