10月14日凌晨的蘋果發(fā)布會上,iPhone 12 正式面世。與基本機型相比,iPhone 12 Pro 和 iPhone 12 Pro Max 的后置攝像頭除了多一枚長焦鏡頭,還增加了一顆 LiDAR激光雷達。

這顆激光雷達是什么?它能為你的手機帶來什么新體驗?
在這塊圓形黑色區(qū)域之下,LiDAR 主要由兩部分組成:發(fā)射端和接收端。垂直腔面發(fā)射激光器(VCSEL)作為發(fā)射端,向物體發(fā)射一束紅外光,經(jīng)反射被 CMOS 圖像傳感器接收,光束經(jīng)歷的這一段時間被稱為飛行時間(ToF)。

飛行時間又分為直接飛行時間(dToF)和間接飛行時間(iToF)。前者向目標發(fā)射一個光脈沖信號,直接測量光子從出發(fā)到返回的用時;后者發(fā)射一連串經(jīng)過調(diào)制的光波,通過檢測來回光波間的相位差測量飛行時間。

已知光速,通過簡單的計算我們就能得到與目標物體之間的距離。這樣的測距原理與雷達類似,不過,LiDAR 基于的是脈沖激光,比雷達利用的無線電波波長更短、頻率更高,可以得到分辨率更高的圖像,精度可達厘米甚至毫米級別。

因此,LiDAR 也被應用在地圖測繪、自動駕駛、文物保護等領域。而到了手機,它又能做些什么呢?
這不是蘋果第一次在它的產(chǎn)品里引入激光雷達。早在今年 3 月,2020 款 iPad Pro 就配備了 LiDAR 掃描功能,采用直接飛行時間技術(dToF),相比 iToF,功耗較低且不易受環(huán)境光的干擾,可以做到大范圍測量。 使用時,發(fā)射器投射出 9 * 64 大小的矩陣光束,捕捉并繪制最遠 5 米范圍內(nèi)的位置深度圖。改變,首先發(fā)生在你拍攝的照片里。

一張出色的淺景深照片,是通過調(diào)大相機光圈并對焦在距離相機較近的地方實現(xiàn)的。今天,通過多個攝像頭和機器學習算法的幫助,用手機也能輕而易舉拍出這種背景虛化的效果。 首先,神經(jīng)網(wǎng)絡和機器學習技術可以讓手機知道我們在拍什么,以及目標距離我們有多遠。對于普通人來說,從一張照片中判斷物體層次和遠近關系是一件非常容易的事,但對于機器,則需要大量的資源來學習,比如顏色分布、明暗程度和物體尺寸。

就像上面這張照片,曝光度均勻且主題明顯,機器很容易分析出距離鏡頭較近的點以及距離鏡頭較遠的點。 可一旦照片中有更復雜的關系,事情就變得棘手了。 人類或者動物的毛發(fā)、豐富的色彩、以及與背景顏色接近的衣服等,都很容易被機器誤判為背景,尤其是主體的邊緣區(qū)域,呈現(xiàn)出不自然的模糊效果。
LiDAR 的加入能帶來更精準的深度信息,以便于讓 iPhone 理解物體之間的前后關系,通過算法繪制出一張空間位圖,并將照片做切片處理。iPhone 會在幾納秒內(nèi)根據(jù)深度信息圖將照片切分成多份,距離越遠的圖層,模糊程度越高,制作出一張以假亂真的淺景深人像照片。

同時,在低光照條件下,iPhone 的對焦速度也將大幅提升,并且可以在黑暗中準確找到畫面中的人物,為夜間模式下的人像照片打下基礎。
當然,LiDAR 對 iPhone 12 Pro 的拍照提升實際上還得看實拍測試。你可以期待另一個讓它真正大放異彩的領域—— AR。
2017 年開始,蘋果公司推出 AR 軟件開發(fā)套件 ARKit,開發(fā)者們可以使用它制作出精致的 AR 應用,比如下面這個能讓你隨時隨地打保齡球的游戲。

游戲場景中的這兩人保持運動狀態(tài),且是前后移動,在沒有深度信息的輔助下,機器難以判斷出兩個人的位置關系,把球放置在二人中央。所以你會看到,球時不時從人體內(nèi)「穿」過的詭異畫面。

而加入了 LiDAR 之后,通過測量出照片的深度系統(tǒng),將游戲里的 3D 模型附著在地面、桌面等平面上,并分析整個攝像頭視野內(nèi)的空間位置關系來動態(tài)調(diào)節(jié)模型的光照和陰影,使游戲體驗更加真實。
當這些人物從你面前跑過,將帶來身臨其境的體驗,并且通過機器學習算法的加持,AR 應用能更清楚地知道攝像機視野里的是你家的沙發(fā)還是地面,從而將草地附著到沙發(fā)腳的位置,與你所處的位置達到前所未有的契合。
你可能意識到了,手機前置的 Face ID 也能構建 3D 圖像,它與 LiDAR 有什么區(qū)別?

從紅外攝像機拍攝到的光斑可以看出,F(xiàn)ace ID 的結構光傳感器通過點陣投影發(fā)射出超過 3 萬個不可見的光斑,利用扭曲建模,制作出一張準確的面部深度圖,從而將 2D 的圖像轉換為帶有深度信息的 3D 圖像。受距離所限,只能進行小范圍的 3D 繪制,用于人臉識別。 而 LiDAR 的光斑較大且疏,更適合用來對整個房間進行掃描和建模。

LiDAR 能讓你的手機在 AR 應用中獲得更好的體驗,在家里放一把椅子,它比你的雙目還要更精準地知道椅子離地面多遠、離墻壁多遠。
椅子嵌進墻里或是立在墻面的畫面,再也不會出現(xiàn)了。
(來源:回形針PaperClip ,作者葉航宇)