手機廠商都在押注的影像技術,如何取得新突破?

如何讓手機攝影,能簡單到「只需按下快門」,又複雜到能比肩專業的攝影創作?

作者 | Jesse編輯| 靖宇

10 月 24 日,vivo 舉辦了自己的 2022 影像戰略發佈會。從硬體成像、視覺處理、後期美化等多個角度,為後續影像技術、產品,規劃了一幅更完整的「藍圖」。

過去幾年,隨著智慧手機市場競爭日益激烈,產品同質化嚴重,各家廠商都開始大力投入影像技術研發,希望在拍照攝影功能上有所突破。在此之前,vivo 已多次將影像技術作為發佈會分享主題。

大力投入產出了成果。今天智慧手機上搭載的相機,已經是一套非常複雜的系統,甚至比很多專業相機更復雜,有更深的技術縱深。

但手機的物理限制依然擺在這裡。感光元件的體積、鏡頭模組的重量,無不限制著手機攝像頭的表現。當使用者需要「用眼睛收貨」時,不少手機的表現都不盡如人意。技術落地到產品後,常與使用者需求錯位,體驗提升有限。甚至有時候,技術迭代了,產品升級了,體驗反而倒退。

這不只是 vivo 一家公司正面對的挑戰,更需要整個行業上下游,對使用者的「攝影需求」,進行一次重新思考,再次出發。

01

難以突破的影像技術

多年以來,攝影圈一直流行著一句話,「底大一級壓死人」。

意思很簡單,對數位相機來說,底部感光元件的面積,決定了你能捕捉到光線的量,進而決定了成像質量。「底」越大,效果就越好。

根據感光元件的尺寸,數位相機被分為了全畫幅、APS-C、1 英寸等不同級別。傳感器尺寸決定成像質量,是攝影圈最底層的「定律」。

對手機來說,內部空間寸土寸金,不可能採用類似相機的設計。近年感光元件最大的手機攝像頭模組,也不過是達到了「1 英寸底」的級別,在相機領域依然只能說是「小底」。

與此同時,手機要應對的拍照場景卻更復雜。普通使用者並不會通過人工布光、架三腳架延長曝光時間等方式提升進光量,這加劇了進光量不足的問題,對影像系統提出了更高要求。

為了解決手機拍照的畫質問題,工程想出了很多辦法,從基本的「硬體堆料」,提升感光元件的像素、面積,對感光子像素進行重新設計;到「計算攝影」,通過多次曝光,減少高感光度下的畫面噪點,拉高亮度,針對模糊的物體邊緣進行銳化……

特別是近年來各家廠商著重發力的「夜景模式」,很多都是通過機器學習演算法,對畫面進行「還原」。讓手機能在極暗,幾乎漆黑的環境下,也能拍出一張像樣的照片,亮度比專業相機還高。

大部分手機的夜景模式,都會對將畫面提亮到極高的水平|The Verge

但這些改進,也遇到了不小的問題。

硬體上,無論是加大傳感器面積,還是提升像素,帶來的感光性能提升,其實都比較有限。特別是在暗光場景下,進光量不足的問題很難得到實質性改善。

而靠軟體最佳化,通過「算」提升畫質,依然存在問題。不少廠商開發的計算攝影功能,在處理時都過於粗暴,有的會對畫面進行過度銳化,凸顯出人臉上的瑕疵,有時會過度拉高畫面暗部的亮度,讓畫面顯得很平,缺乏明暗對比,被使用者批評為「塑膠感」。

如果單純以「明亮」、「清晰」為評價標準,智慧手機近幾年的影像性能確實有大幅進步,暗光下的成像質量都有大幅提升。但到使用者的眼睛裡,評價一張照片「好」的標準,顯然不只是明亮清晰那麼簡單。「如何拍出好看的照片」,是一個更復雜的議題。

包括一些特色影像功能,也存在技術與體驗錯位的問題。人像模式摳圖不乾淨,不自然;電影模式、運動模式、高像素模式的可用度不高……還有不少廠商推出了拍攝 RAW 格式照片的功能,確實能提升照片的畫質,給使用者更多後期處理的空間。但很多時候由於後期操作過於麻煩,使用者反而陷入了「默認難看,RAW 麻煩」的矛盾處境。

這些問題,集中體現在最主流的旗艦手機,iPhone 上。「原相機拍照難看」已經成為了 iPhone 使用者普遍的共識,幾乎每個 iPhone 使用者,都會在手機內安裝不只一款拍照軟體,有專門用於自拍的,給照片加復古濾鏡的,專門修圖的……都是在補充原相機的缺陷。

甚至有一些 iPhone 使用者,在拍照的時候,會用截圖功能,把 iPhone 的取景器裡的預覽畫面截下來,以此代替快門來自拍。因為取景器裡的畫面,未經計算攝影流程處理,不會對臉上的瑕疵進行銳化,也不會強行提亮陰影,因此看起來反而更自然。

功能與需求的錯位,讓廠商在影像技術領域的努力,反而轉化為了「負最佳化」。

02

重塑移動

影像的「標尺」

關於移動影像「好」的標準,原本並不存在什麼分歧。

一套好的影像系統,首先要有強大的硬體,提供足夠的畫面清晰度,覆蓋多個焦段,有好的寬容度,HDR 效果,準確的色彩還原能力;其次應當做到體驗順暢,相機軟體設計合理,功能易於理解,拍照成片率高;最後要有豐富、智慧的後期處理功能,能識別場景,做出合理、自然的計算攝影最佳化,同時給使用者留出後期空間。

但在實踐過程中,各種矛盾開始湧現出來。

比如堆硬體會帶來手機重量、厚度提升、攝像頭過於突出,很多使用者不願意接受;提高像素後,照片檔案的體積會成倍增大,拍照後的處理時間也會變長。

又比如上面提到的「自拍難題」。人像拍攝場景下,大部分國產品牌,以及三星,針對亞洲人的需求,會對面部細節進行柔化,加入一定的「磨皮處理」。但這種處理方式卻不符合西方人的審美,他們更傾向於展示出面部皮膚的細節,所以 iPhone、Google Pixel 等手機的處理方式就更傾向於「銳化」。

諸多矛盾堆疊在一起,對手機廠商的影像部門提出了更高的要求。各家不僅需要通過自研技術打破限制,更需要對使用者需求、喜好建立更深刻的認知。

這一點充分體現在 vivo 的影像技術發展歷程裡,從鏡頭光學系統、CMOS 傳感器,到 ISP 晶片、計算攝影演算法……vivo 幾乎將資源注入到了移動影像的每一個環節,在底層技術上推出了與蔡司聯合研發的光學系統,也用上了自研的 ISP 晶片 V1。

vivo 在影響戰略發佈會上發佈的下一代自研 ISP 晶片|vivo

這場影像戰略發佈會上,vivo 公佈了一系列底層技術的進展。包括能將傳感器感光能力提升 77% 的 CMOS、進一步利用機器學習性能,提升圖像處理速度的 AI-ISP,以及與蔡司聯合開發的下一代小型化鏡頭模組。移動影響的核心目標從未改變:在模組體積有限的情況下,儘可能提升進光量,增加算力。

除了努力,選擇其實也很重要。過去幾年,vivo 大力投入底層影像技術的同時,並沒有選擇過分拉高參數。在像素數、變焦倍數等參數上,都採取了相對保守的配置。與此同時,vivo 選擇做了一系列能體現自己「獨特理解」的技術。

比如「微雲臺」,著力增強防抖功能,提升進光量的同時,也能最佳化使用者的拍照體驗,提高成片率。又比如與蔡司聯合研發的鏡頭鍍膜,解決了困擾不少廠商的,光線反射過程中的鬼影問題。

近年幫助 vivo 取得市場親睞的微雲臺技術|vivo

這些選擇也得到了市場的回應與認可。根據市場調研機構 Counterpoint 的資料,2021 年,vivo 成為中國智慧手機銷量第一的品牌,市佔率達到 22%。今年二季度,vivo 在國內高端智慧手機市場的市佔率也實現突破,成為第二,僅次於蘋果。

過去幾年,在技術不一定能轉化為使用者體驗的行業困境中,vivo 實現了數次成功的「方向探索」,刷新了自己對移動影像的理解,重塑了這根標尺。

今年的影響戰略發佈會上,vivo 宣佈,將從 CMOS、超分演算法、下一代 AI-ISP 和計算攝影多個維度,打造面向未來的「影像技術矩陣」,進一步前進。

03

用「一顆快門」

賦能普通人

手機影像發展早期,數碼愛好者圈子裡曾興起過一個討論:手機拍照,是應該儘量提亮畫面,讓使用者更容易拍到想拍的東西;還是應該準確曝光,儘量保證畫面純淨度,拍得更好看?

這場「要亮度還是觀感」的討論,為之後近十年移動影像的發展,埋下了伏筆。

對手機使用者來說,拍照似乎特別簡單,對準物體、按下快門就行了。但實際上,專業攝影遠沒有這麼簡單,從拍攝前的器材選擇,場景佈置,到拍攝中的構圖、調節曝光,到拍攝後的調色、修圖,每個環節都是一門專業學科。

所以對手機廠商來說,移動影像技術的最大難題,就在於如何將這些專業性、複雜度極強的環節,濃縮成一顆簡單的「快門按鈕」。這個過程中,存在著大量與「要亮度還是觀感」類似的矛盾。

這也是為什麼,vivo 在自己的影像戰略中,提出了「三個比肩」,要將移動影像的技術水平、產品體驗,帶到能比肩專業影像設備、比肩專業攝影團隊、比肩專業後期能力的水平。

發佈會上,vivo 邀請了專業攝影藝術家,來解讀 vivo 處理圖像的理念和方式。

其中最獨特的,也是其他廠商很少提及的,就是「影調」的重要性。今天大部分手機拍照,在大光比場景下,都會調用 HDR 功能,把暗部的亮度拉高,高光部分壓低,呈現出儘可能多的畫面細節。

但人眼觀察世界的方式並不是這樣的,人們看到的世界是「光影的結合」,有亮有暗,才能體現出畫面的立體感、層次感。所以 vivo 採用光學感知系統,加上對環境的識別,在自己的計算攝影管道里,加入了「光影重建」這一流程,能更準確還原畫面的影調,既保證曝光的準確,又讓畫面不會只是「傻亮」,顯得沒有層次。

要實現這一點,首先需要有強大硬體作為基礎,有寬容度足夠的 CMOS、算力足夠的 ISP 進行場景識別,同時也要對使用者的拍攝需求有深刻的理解,最後還要利用專業的攝影作品,作為訓練集,增強影像系統的「審美能力」。

通過這一系列的過程,最後落到功能上,成為了 X80 系列手機上的「智慧白加黑減」功能。而這個功能,只是 vivo 對全場景智慧最佳化的冰山一角。除了影調,他們還真對色彩、夜景、人像、視訊等場景,都展開了針對性的最佳化。

此次的發佈會上,vivo 特別展示了它在多個演算法領域的最新突破。

其中包括用於提升畫面的解析力的「光學超分演算法」,可以在 5X 以上的超長焦端下,大幅提升畫面清晰度,使超長焦不再「雞肋」。還包括「超感人像系統」,能對人像資訊進行理解,再進行細節最佳化,不是粗暴的「磨皮塗抹」,保留細節的同時又不會凸顯瑕疵,營造出自然、獨特的人像氛圍。

最後的一個「大招」,是能控制暗光噪點和色彩還原的「VCS 放生光譜技術」,vivo 表示,它能將圖像訊雜比提升 20%,還原提升 15%。用這套技術加成後的「蒼穹夜景系統」,能基於感光能力更強的 CMOS,加上 AI 演算法,使夜景感光能力提升 100%,實現「手持拍攝星空」。

從自研晶片、演算法,到聯合蔡司研發光學系統、鏡頭,到下一代的 CMOS……今天,想要打造一套優秀的移動影像系統,不只是要在單個技術點投入資源突破,更需要從整個技術矩陣出發,全局前進。因為矩陣裡的任何一塊短板,可能都會拖體驗的後腿。

而這一切,都是為了讓手機攝影,能簡單到只需要按下快門,又複雜到能比肩專業的攝影創作。在 vivo 提出的口號裡,他們將「持續為消費者提供人性化的專業影像體驗」。

他們確實在某種程度上做到了。2021 年,第二屆 vivo VISION+ 手機攝影大賽上,他們徵集了超過 38 萬幅攝影作品,傳遞了無數個普通人,用快門記錄下的,他們的情感和力量。

這正是移動攝影最初的意義所在。

相關文章

蔚小理走到了命運的「岔路口」

蔚小理走到了命運的「岔路口」

當新能源汽車的資格賽進入衝刺階段,競爭的焦點也發生了變化。 作者 | 周永亮編輯| 鄭玄 近日,隨著小鵬財報發佈,蔚小理都交出了 2022 ...

矽谷都在裁員,奈飛卻在增長

矽谷都在裁員,奈飛卻在增長

2022 年低開高走的奈飛,在年底交出了一份驚豔的答卷。 作者 | 賴求華編輯| 鄭玄 2022 下半年,過去 20 年最寒冷的冬天籠罩矽谷...

2023,元宇宙「脫虛向實」

2023,元宇宙「脫虛向實」

在希望與爭議中,元宇宙渡過了關鍵的一年。 從國際局勢,到新冠疫情,過去三年「新常態」的衝擊,讓外部環境充斥著不確定性,也令這個時代的人們處於...

建設 Web3,現在最需要 Web2 的移民?

建設 Web3,現在最需要 Web2 的移民?

Web3 處在「大規模應用」爆發的前夜 從國際局勢,到新冠疫情,過去三年「新常態」的衝擊,讓外部環境充斥著不確定性,也令這個時代的人們處於前...

B 站最艱難的時刻過去了嗎?

B 站最艱難的時刻過去了嗎?

儘管還在虧損,但 B 站的降本已經開始收穫成效。 作者 | 鄭玄 當一個行業整體意識到必須改變時,相似的關鍵詞就會反覆出現在高管對外的分享中...

CVE-2023-28252在野提權漏洞樣本分析

CVE-2023-28252在野提權漏洞樣本分析

綜述 卡巴斯基披露[1]該在野0day提權漏洞是一個越界寫入(增量)漏洞,當目標系統試圖擴展元資料塊時被利用來獲取system許可權———W...