10月14日凌晨的蘋果發(fā)布會上，iPhone 12 正式面世。與基本機型相比，iPhone 12 Pro 和 iPhone 12 Pro Max 的后置攝像頭除了多一枚長焦鏡頭，還增加了一顆 LiDAR激光雷達。

 

 

這顆激光雷達是什么？它能為你的手機帶來什么新體驗？

 

在這塊圓形黑色區(qū)域之下，LiDAR 主要由兩部分組成：發(fā)射端和接收端。垂直腔面發(fā)射激光器（VCSEL）作為發(fā)射端，向物體發(fā)射一束紅外光，經(jīng)反射被 CMOS 圖像傳感器接收，光束經(jīng)歷的這一段時間被稱為飛行時間（ToF）。

 

 

飛行時間又分為直接飛行時間（dToF）和間接飛行時間（iToF）。前者向目標發(fā)射一個光脈沖信號，直接測量光子從出發(fā)到返回的用時；后者發(fā)射一連串經(jīng)過調(diào)制的光波，通過檢測來回光波間的相位差測量飛行時間。  

 

 

 已知光速，通過簡單的計算我們就能得到與目標物體之間的距離。這樣的測距原理與雷達類似，不過，LiDAR 基于的是脈沖激光，比雷達利用的無線電波波長更短、頻率更高，可以得到分辨率更高的圖像，精度可達厘米甚至毫米級別。 

 

 

因此，LiDAR 也被應用在地圖測繪、自動駕駛、文物保護等領域。而到了手機，它又能做些什么呢？

  這不是蘋果第一次在它的產(chǎn)品里引入激光雷達。早在今年 3 月，2020 款 iPad Pro 就配備了 LiDAR 掃描功能，采用直接飛行時間技術（dToF），相比 iToF，功耗較低且不易受環(huán)境光的干擾，可以做到大范圍測量。  使用時，發(fā)射器投射出 9 * 64 大小的矩陣光束，捕捉并繪制最遠 5 米范圍內(nèi)的位置深度圖。改變，首先發(fā)生在你拍攝的照片里。 

 

 

 一張出色的淺景深照片，是通過調(diào)大相機光圈并對焦在距離相機較近的地方實現(xiàn)的。今天，通過多個攝像頭和機器學習算法的幫助，用手機也能輕而易舉拍出這種背景虛化的效果。  首先，神經(jīng)網(wǎng)絡和機器學習技術可以讓手機知道我們在拍什么，以及目標距離我們有多遠。對于普通人來說，從一張照片中判斷物體層次和遠近關系是一件非常容易的事，但對于機器，則需要大量的資源來學習，比如顏色分布、明暗程度和物體尺寸。

 

 

  就像上面這張照片，曝光度均勻且主題明顯，機器很容易分析出距離鏡頭較近的點以及距離鏡頭較遠的點。  可一旦照片中有更復雜的關系，事情就變得棘手了。  人類或者動物的毛發(fā)、豐富的色彩、以及與背景顏色接近的衣服等，都很容易被機器誤判為背景，尤其是主體的邊緣區(qū)域，呈現(xiàn)出不自然的模糊效果。  

LiDAR 的加入能帶來更精準的深度信息，以便于讓 iPhone 理解物體之間的前后關系，通過算法繪制出一張空間位圖，并將照片做切片處理。iPhone 會在幾納秒內(nèi)根據(jù)深度信息圖將照片切分成多份，距離越遠的圖層，模糊程度越高，制作出一張以假亂真的淺景深人像照片。

 

 

同時，在低光照條件下，iPhone 的對焦速度也將大幅提升，并且可以在黑暗中準確找到畫面中的人物，為夜間模式下的人像照片打下基礎。

 

當然，LiDAR 對 iPhone 12 Pro 的拍照提升實際上還得看實拍測試。你可以期待另一個讓它真正大放異彩的領域—— AR。

 2017 年開始，蘋果公司推出 AR 軟件開發(fā)套件 ARKit，開發(fā)者們可以使用它制作出精致的 AR 應用，比如下面這個能讓你隨時隨地打保齡球的游戲。 

 

 

 游戲場景中的這兩人保持運動狀態(tài)，且是前后移動，在沒有深度信息的輔助下，機器難以判斷出兩個人的位置關系，把球放置在二人中央。所以你會看到，球時不時從人體內(nèi)「穿」過的詭異畫面。 

 

 

而加入了 LiDAR 之后，通過測量出照片的深度系統(tǒng)，將游戲里的 3D 模型附著在地面、桌面等平面上，并分析整個攝像頭視野內(nèi)的空間位置關系來動態(tài)調(diào)節(jié)模型的光照和陰影，使游戲體驗更加真實。

 

當這些人物從你面前跑過，將帶來身臨其境的體驗，并且通過機器學習算法的加持，AR 應用能更清楚地知道攝像機視野里的是你家的沙發(fā)還是地面，從而將草地附著到沙發(fā)腳的位置，與你所處的位置達到前所未有的契合。

 你可能意識到了，手機前置的 Face ID 也能構建 3D 圖像，它與 LiDAR 有什么區(qū)別？  

 

 

 從紅外攝像機拍攝到的光斑可以看出，F(xiàn)ace ID 的結構光傳感器通過點陣投影發(fā)射出超過 3 萬個不可見的光斑，利用扭曲建模，制作出一張準確的面部深度圖，從而將 2D 的圖像轉換為帶有深度信息的 3D 圖像。受距離所限，只能進行小范圍的 3D 繪制，用于人臉識別。 而 LiDAR 的光斑較大且疏，更適合用來對整個房間進行掃描和建模。 

 

 LiDAR 能讓你的手機在 AR 應用中獲得更好的體驗，在家里放一把椅子，它比你的雙目還要更精準地知道椅子離地面多遠、離墻壁多遠。 

椅子嵌進墻里或是立在墻面的畫面，再也不會出現(xiàn)了。

 

（來源：回形針PaperClip ，作者葉航宇）