713
機器人
人工智能正在讓手機攝像頭發生爆炸
從移動AI芯片的誕生起,這個係列已經追蹤分析和報道過很多手機領域的新變化。但假如讓我來總結AI和手機發生碰撞之後,最大的變化發生在哪裏,答案可能隻有一個:攝像頭。
從技術邏輯上講,搭載AI運算處理單元後的手機,結合本身GPU的圖像處理能力,最顯著的能力提高就是在圖像內容生成、識別和處理上。無論是美顏、美景還是美視頻,算法都能給你美出來。
但事實上,高端機們不得不齊齊擁抱AI背後,或許還有更深層次的產業矛盾和現實問題。手機AI也不止帶來了“拍照更好看”的簡單提升。
本文中,我們將引用華為Mate 10、iPhone X和穀歌Pixel 2三款加入了AI能力與運算單元的智能手機,來討論AI帶給手機攝像頭與拍攝功能的改變。
曾經我們認為手機隻能打電話發短信,之後buang的一聲,手機被炸成了今天“無所不能”的智能機。隨著AI的到來,攝像頭可能也在經曆一場類似的爆炸。
手機攝影已經進入深水區,創造差異隻能用AI
為什麼在短短幾個月之間,蘋果、穀歌、華為的主流旗艦機都宣布進入了AI時代?
最直接的原因,顯然在於高端機之間不可避免年年上演的拍照能力大戰,打到如今已經進入了無比慘烈的拚刺刀階段。
曾經跟一個愛寫手機拍照評測的攝影師朋友聊天,他認為這兩年寫手機拍照評測真的是很痛苦的一件事。因為近似價位的手機之間,拍照能力實在太接近了。拍了各個場景的對比圖,一會這家強,一會那家強,根本歸納不出結果來。即使嚴格按照DxOMARK這種專業機構的評測標準來做,結果還是五花八門。
也有人覺得,在手機光學硬件和攝像單元上,摩爾定律已經接近失效了。隨著雙鏡頭、大光圈、千萬以上像素攝像頭成為標配,攝像頭的核心單元群落似乎已經被固化。但手機還是要年年出,年年有改進。更要命的是對於高端機來說,攝像部分是絕對的血海廝殺,絕不能落人一頭——想想手機背後的研發者和產品經理們,也是夠頭疼的。
即使領軍的蘋果,這幾年在攝像頭也是前進的舉步維艱。甚至打開一些專業評測網站的照片,普通用戶很可能分辨不清兩代機型,以及競品機型拍攝照片之間到底有什麼差別。
畢竟不是每個人都是攝影師和藝術家,有那麼細致的分辨能力。所以為了讓消費者繼續感知拍照能力在變化,必須在攝像單元之外想辦法——於是AI似乎成了最好的選擇。
人工智能技術的引入,或許意味著手機可以憑借基礎硬件的改變和大量算法助陣,來提升手機在拍攝、錄製時的體驗。創造更多的玩法、更簡單的體驗,擺脫在光圈、像素等少數幾個領域的無盡糾纏。對於渴望新消費增長點的手機廠商來說絕對是一場驚喜。
更重要的是,AI算力與算法在手機拍攝中的應用,可以有多種模式和方法。很難想象秘密研發的旗艦機會在AI應用細節上撞車。這點在華為Mate 10和iPhone 8/X之間的差異化中已經可見一斑,而這隻是個開始,更多技術與開發生態成熟後,兩款旗艦機之間的差距隻會越來越大。這是手機廠商們求之不得的。
脫離同質化競爭的苦海,恐怕隻能靠AI。所以,AI來了......
最後的戰役:算法和硬件能力填補特殊場景
當然,AI可能改變手機的拍攝戰爭,絕不是說這場戰役就不繼續下去了。
事實上,在開創新玩法之前,AI幫助手機拍攝完成的最後一場戰役,還是會聚焦在主流手機攻堅了許多年的戰場:特殊場景拍攝。
這裏所謂的特殊場景,包括夜景、強光、暗光、動態捕捉幾個方麵,具體應用的例子更是花樣繁多。因為手機的攝像頭注定沒有縱深,所以無法像單反攝像頭一樣來處理極限光環境下的成像效果。因此暗光、強光環境下的拍攝,也逐漸成為評價一款手機攝像能力好壞的基本要素。
看一下DxOMARK的手機拍攝評分排名,會發現前五已經基本被AI手機所占據。而這些手機拍照能力的重要加分項,就來自算法對光線環境的捕捉和平衡推導。比如穀歌穀歌Pixel 2會采用複雜的算法,比如對攝像頭收集信息進行拆分和模塊深度學習,來達成精神效果和光源重繪。因此在白光處理上獲得了高分。
在DxOMARK的這張評測圖中,可以看出應用了AI算法幫忙之後,各家旗艦機在處理光影關係時都較以前的純光學模式有了顯著改善,尤其是在匹配陰影與光亮的結構關係上。
算法捕捉技術不僅作用於靜態拍照中,更多體現在高速運動環境下通過算法來實現超高速對焦,以及在暗光環境下完成的識別+拍攝。
AI+手機拍攝,還能在比較複雜的動作和特殊光線下實現動態美顏與視頻美化。利用底層硬件+算法,智能機可以實現了單靠攝像頭無法達成的很多功能。
但這隻是提升,AI到來的真正意義在於讓很多所謂“常識”發生改變…..
直男救星:用AI的識別能力解放人類拍照
請假設你是一位不熱愛拍照,但熱愛女朋友的直男……當你使用昂貴手機給女友拍照的時候,第一感覺是什麼?
開心?忐忑?NO,你的第一感覺是複雜到心累。你會發現手機上一大堆功能,一會要HDR,一會要美顏美膚,一會要大光圈背景虛化,一會要景深模式......這要是趕上個暴脾氣,不是扔手機就是扔女朋友。
事實上,會產生如此複雜的操作和專有名詞。是因為為了處理不同的拍攝對象和場景,手機必須模仿相機的模式,給出不同的曝光、白平衡和對焦策略。但更多的功能意味著更複雜的操作,世界上還是手殘黨多一點,是否能免去這一步呢?
對於AI加入手機這件事,或許一個十分值得興奮的點在於,AI的主要能力之一在於識別和理解圖像。換言之,通過識別後的圖像信息自動觸發功能對應,或許意味著可以把拍照無能的直男們解放出來。
比如穀歌的Pixel 2就很大程度上利用了AI的識別能力來拍照。在它的攝像單元裏,隱藏著一個神經網絡算法,專門用來分辨拍攝中的人物信息。然後傳輸到後端進行不同階段的對應圖片處理。
當然,穀歌的這個技術主要目的是讓但攝像頭來獲取雙攝的美顏拍照背景虛化能力。而華為Mate 10的識別+拍攝,也即其宣傳的“智慧攝影”模式似乎是更激進的方案。Mate 10的處理方式,是通過NPU來先期學習圖片的信息特征,從而獲得給拍照對象分類的能力。然後組織成13種拍照模式。
當攝像頭在拍攝時觸發了這種模式,手機將自動調到對應的模式。
事實上,這種先識別後拍攝的模式很可能在短期內成為通行的標配,甚至取代一部分常用功能。畢竟在我們日常生活和社交中,拍攝照片的目的和期望效果是有高度一致性的。通過AI帶來的深度學習能力歸納這些特性,智能化完成用戶期許,或許才是未來攝影的常態。
也許不久的將來,你到了海邊結果下雨,到了景區遇上霧霾,到了好萊塢沒有大明星,就可以用AI來造藍天白雲青山綠水,甚至弄出來幾個偶爾路過的明星側影.....
當然,AI的識別+拍攝能力,真正應該解放的是老人、孩子以及大多數隻是偶爾采用手機拍照的普通人。畢竟我們大多數人無暇學習複雜的教程,錘煉高超的審美,但我們還是希望讓精心準備的一刻留下更漂亮的記憶。
AI讓世界更公平,也許正是如此。
已經發生的大爆炸:攝像頭不隻用來拍照
上麵介紹了兩種可見的AI+攝像頭模式:AI提升拍攝和AI改變拍攝。而AI還帶給攝像頭另一種賦能:不隻用來拍攝。
目前所見,這重功能已經有兩種思路:第一種iPhone X為代表的,在感知能力上做文章,將攝像頭與傳感部件結合生成新的體驗與功能。
iPhone X攝像頭在結合了新的感光元件以外,更重要的是加入了相當複雜的傳感器係統。尤其是在前置攝像頭上,用“劉海”裏原深感攝像頭實現了生物識別和動態捕捉,達成了Animoji和人像光效等特色功能。
另外Face ID也是通過類似功能來實現的結構光識別。泛光感應元件還能在暗光狀態下幫助用戶解鎖手機。這種思路或許意味著,攝像頭以後不僅僅是“看見”,而更多可以“感知”外在。目前作用僅僅是人臉識別和一些特色功能,但距離運用硬件和算法基礎開發更多功能應該已經不遠了。
而另一種模式,是通過攝像頭本身的機器視覺能力來獲得數據學習和智能體成長能力。加入記憶和學習能力的AI攝像頭不僅是記錄影像信息,並且還會在本地完成對這些信息的學習和理解。從而適應用戶習慣,達成更好的拍攝體驗。
這兩種方式都意味著,手機AI帶來的不僅是攝像能力本身的提升。而是將攝像頭作為信息采集方式之一,納入更龐大的能力體係裏。以此培養出手機的精準識別能力、多元數據處理能力、內容輸出能力,這對於未來才是至關重要的。
或許等到開發者開始集體思考這些能力意味著什麼,移動AI帶給影像世界的真正價值才會浮現出來。
AI可以改變手機的很多方麵,但從根本上說,它想改變的是被看做常識的人機交互方式。
最後更新:2017-11-04 15:19:09