亞皮秒3D成像框架。（a）準直脈沖激光在單個點上照亮場景。使用2軸反射鏡檢流計對激光進行橫向掃描。定時和控制電子設備為每個檢測到的光子相對于上一個發(fā)射脈沖的時間戳記時間戳，并將這些事件累積在時空光子計數(shù)的直方圖中（b）。處理該直方圖以估計反射率和深度信息（c）。高亮顯示了兩個點，一個對應于高通量（d），另一個對應于低通量（e）測量。后者比較吵雜，而高通量測量則受到堆積失真的影響，這會給傳統(tǒng)算法的深度估計帶來很大的偏差。提出的估算方法可以對這兩種情況進行準確建模，允許根據(jù)嚴重失真的測量結果以亞皮秒級的精度估算反射率信息和傳播時間。

單光子雪崩二極管（SPAD）是有前途的探測器技術，可用于實現(xiàn)具有快速采集，高定時精度和高探測靈敏度的有源3D成像系統(tǒng)。這樣的系統(tǒng)在生物成像，遙感和機器人技術領域具有廣泛的應用。但是，檢測器面臨著稱為堆積的技術缺陷，這些缺陷會導致測量失真，從而限制其精度。在斯坦福大學電氣工程系進行的一項最新研究中，科學家費利克斯·海德（Felix Heide）及其同事開發(fā)了一種概率圖像形成模型，該模型可以準確地對堆積進行建模。利用提出的模型，科學家們設計了逆方法來從記錄的光子計數(shù)中有效，可靠地估計場景深度和反射率。有了算法，與現(xiàn)有技術相比，他們能夠證明計時精度的提高。更重要的是，該模型在實際場景中首次允許在光子有效的3D成像中達到亞皮秒的精度，而以前只觀察到變化很大的光子計數(shù)。結果現(xiàn)已發(fā)布在科學報告。

主動成像在從自動駕駛到生物樣品的顯微成像等各個學科的廣泛應用。這些應用的關鍵要求包括高精度，定時，快速采集速率，動態(tài)工作范圍以及對從攝像機視線隱藏的圖像對象的高檢測靈敏度。遙感和自動化應用的需求采集范圍從<1米到千米。

非視距成像依賴于除了直接反射光之外，還通過多個散射的間接光返回的幾個光子來獲得編碼信息。為了實現(xiàn)這些應用，開發(fā)了超靈敏檢測器來記錄從脈沖照明源返回的單個光子。單光子雪崩二極管（SPAD）是最靈敏的時間分辨檢測器技術之一，可以使用互補金屬氧化物半導體（CMOS）制造工藝來生產(chǎn)。SPADs已迅速建立為3D成像的核心檢測器技術。

按照其功能原理，SPAD是反向偏置的光電二極管，工作在蓋革模式，即高于其擊穿電壓。當光子入射到SPAD的有源表面上時，會觸發(fā)帶有時間戳的電子雪崩。從通常以MHz速率運行的同步脈沖照明源返回的光子的重復時間戳可累積光子計數(shù)的直方圖。所得的直方圖記錄了返回光脈沖的大致強度，以恢復并表征隱藏在視野之外的物體的距離，反射率和3D幾何形狀。

實驗重建。記錄的光子計數(shù)的時空分布。對（a，e）進行處理以估計包含深度和反照率信息的3D點云（b，c，f，g），此處針對兩個不同場景進行了顯示（（d，h）中所示的照片）。用顏色編碼的誤差圖（d，h）直接比較幾種深度估計技術的結果，包括對數(shù)匹配濾波，Coates方法和高斯擬合（在高通量測量中），以及所提出的方法。圖片來源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

根據(jù)預期的應用，SPAD可以在自由運行模式（允許在所有到達時間同時檢測所有光子事件）或門控模式（僅在脈沖之間的特定時間窗口內(nèi)檢測到光子）下運行。所有應用程序都會受到稱為堆積變形的基本現(xiàn)象的影響嚴重限制了準確性。堆積會固有地限制SPAD檢測器的工作原理。例如，在每次觸發(fā)電子雪崩之后，探測器需要先淬火，然后再探測光子到達事件。在這段“死時間”（十到幾百納秒）內(nèi)，檢測器處于非活動狀態(tài)。這可能會導致單個激光脈沖的較早光子觸發(fā)雪崩，而在死區(qū)時間內(nèi)可能會忽略較晚的脈沖；創(chuàng)建不準確的偏斜測量值，稱為堆積。可以通過在低通量狀態(tài)下運行有源成像系統(tǒng)來避免這種現(xiàn)象，就像以前用于第一光子成像的最新技術所看到的那樣。

但是，在機器人，生物成像或汽車傳感中的3D成像應用條件會有所不同，因為它們在反射高數(shù)量和低數(shù)量的光子的對象對于決策至關重要的環(huán)境中運行。由不同深度或不同對象反射率的變化導致的獲取光子計數(shù)的大變化對于3D成像至關重要。在這項工作中，Heide等人。引入了一種新的估算算法，該算法克服了使用自由運行的SPAD的主動3D成像系統(tǒng)的現(xiàn)有限制。

從低通量到高通量測量，該方法提高了現(xiàn)有深度和反照率估計的準確性�？茖W家介紹了一個概率圖像形成模型，該模型包括堆積，并使用有效的反演方法得出深度和反照率估計值。重建框架共同估算了所有未知參數(shù)，以克服以前限制時序精度的算法限制。所提出的方法允許高精度和快速的3D成像打開適用于光子計數(shù)急劇變化的條件的光子有效3D成像的新操作方案。

用于3D成像的實驗硬件。示意圖顯示了“大衛(wèi)雕像”的場景，照明源以及圖像重建的時間戳記過程。圖片來源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

在兩個反射率和深度剖面變化很大的場景（包括戴維雕像和淺浮雕場景）上評估了該方法的性能。兩個實例都包含具有復雜幾何形狀和變化的反射特性的對象，包括“大衛(wèi)雕像”的鏡面行為和“淺浮雕”場景中具有空間變化反照率的朗伯反射率。對于這兩個場景，科學家都捕獲了地面真實參考測量值（信息（由經(jīng)驗證據(jù)提供）具有5％的中性密度濾鏡，該濾鏡通過抑制光源強度消除了堆積失真。

該系統(tǒng)的硬件包括一個時間分辨?zhèn)鞲衅鳎�脈沖激光，照明和采集光學器件。該設置還具有一組掃描鏡，以實現(xiàn)光柵掃描照明圖案。利用PicoHarp 300時間相關的單光子計數(shù)模塊捕獲光子到達的時間。照明源是450 nm或670 nm皮秒激光（產(chǎn)生半高全寬的全寬，脈沖寬度為90 ps和50 ps）。收集光學系統(tǒng)由一個75 m的物鏡，30 mm的中繼鏡和一個顯微鏡物鏡組成，旨在將SPAD的視場擴展到照明源掃描的整個區(qū)域。

實驗測量值用作所提出方法的輸入，并且獲得的測量值在光路上沒有任何濾光片。在研究過程中獲得了深度和反照率重建以及相應的誤差圖。結果證明，該方法實現(xiàn)了不受場景依賴的堆積或散粒噪聲（與光的粒子性質(zhì)相關的電子噪聲）影響的高質(zhì)量重建。將結果與常規(guī)方法進行了比較，例如對數(shù)匹配濾波器估計和Coates的堆積校正方法，這些方法不能有效地抑制堆積，并且具有取決于場景的深度精度。相反，Heide等人介紹的方法。達到亞皮秒級精度。

最佳光子計數(shù)方案。450 nm Alphalas LD-450-50激光器（FWHM為90 ps）的變化光子數(shù)的深度重建精度。比較了傳統(tǒng)的對數(shù)匹配濾波器，Coates方法和提出的方法。最佳的光子數(shù)量平均位于每個脈沖平均檢測到1個光子的非常規(guī)區(qū)域附近，與脈沖響應無關，并且直方圖bin寬度范圍很廣。圖片來源：Scientific Reports，Doi：10.1038 / s41598-018-35212-x

Heide等人使用的代碼和數(shù)據(jù)。生成研究結果的方法將在GitHub上提供。總體而言，所提出的概率圖像形成模型和相應的逆方法達到了亞皮秒的精度用于主動3D成像，盡管激光脈沖寬度大于50 ps。與傳統(tǒng)技術相比，該新方法在從低通量到高通量的動態(tài)范圍內(nèi)實現(xiàn)了高精度。將來，所提出的方法可以通過復用多個堆積影響的響應來促進遠程獲取。所提出的創(chuàng)新為快速，精確的光子效率高的3D成像系統(tǒng)鋪平了道路，在該系統(tǒng)中，實際觀察到的光子數(shù)量變化很大。應用范圍涵蓋廣泛的學科，包括3D映射和導航，藝術品重建和保護，自動駕駛，機器人和機器的視覺，地理信息，工業(yè)和顯微成像。