作者：Ryan Hamerly；來(lái)源：IEEE Spectrum；編譯：昕甬智測(cè)實(shí)驗(yàn)室

說(shuō)到人工智能，你會(huì)想到什么呢？圖像識(shí)別、語(yǔ)音識(shí)別、語(yǔ)言翻譯、醫(yī)療診斷和自動(dòng)駕駛？這些任務(wù)在不久以前仍然依靠人類大腦，現(xiàn)在大多可以由計(jì)算機(jī)完成。

圖一 如今，復(fù)雜的人臉識(shí)別已經(jīng)可以由人工智能完成 | Pixabay

促成這些驚人發(fā)展的技術(shù)稱為深度學(xué)習(xí)（deep learning），指的是被稱為“人工神經(jīng)網(wǎng)絡(luò)（artificial neural network）"的數(shù)學(xué)模型。 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，其概念是將復(fù)雜模型與數(shù)據(jù)擬合。

雖然機(jī)器學(xué)習(xí)已經(jīng)存在了很長(zhǎng)時(shí)間，但由于對(duì)計(jì)算能力有更高的要求，深度學(xué)習(xí)的發(fā)展較為緩慢。這促使工程師開(kāi)發(fā)專門針對(duì)深度學(xué)習(xí)的電子硬件加速器，張量處理單元（Tensor Processing Unit, TPU）就是一例。

神經(jīng)網(wǎng)絡(luò)計(jì)算的需求與挑戰(zhàn)

首先，我們先來(lái)大致了解一下神經(jīng)網(wǎng)絡(luò)計(jì)算。人工神經(jīng)元是使用在某種數(shù)字電子計(jì)算機(jī)上運(yùn)行的特殊軟件構(gòu)建的。該軟件為給定的神經(jīng)元提供多個(gè)輸入和一個(gè)輸出。每個(gè)神經(jīng)元的狀態(tài)取決于其輸入的加權(quán)和，而這些輸入是由非線性函數(shù)（稱為激活函數(shù)）決定的。然后這個(gè)神經(jīng)元的輸出再成為各種其他神經(jīng)元的輸入。

圖二 實(shí)現(xiàn)深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)計(jì)算 

為了計(jì)算效率，這些神經(jīng)元被分組到層中，神經(jīng)元只連接到相鄰層的神經(jīng)元。這些運(yùn)算仰賴大量的線性代數(shù)計(jì)算（矩陣乘法），并且數(shù)學(xué)技巧的以被應(yīng)用來(lái)加速計(jì)算。隨著網(wǎng)絡(luò)規(guī)模的增長(zhǎng)，這些計(jì)算是深度學(xué)習(xí)中計(jì)算要求最高的部分。

現(xiàn)代計(jì)算機(jī)硬件已經(jīng)針對(duì)矩陣運(yùn)算進(jìn)行了很好的優(yōu)化。我們可以將深度學(xué)習(xí)的相關(guān)矩陣計(jì)算歸結(jié)為大量的乘法和加法運(yùn)算，就是將成對(duì)的數(shù)字相乘并將它們的乘積相加。過(guò)去二十多年來(lái)，深度學(xué)習(xí)需要越來(lái)越多的乘法累加運(yùn)算，計(jì)算機(jī)的性能也基本遵循摩爾定律大幅增長(zhǎng)。然而，隨著半導(dǎo)體工藝發(fā)展到臨近極限，摩爾定律已經(jīng)失去動(dòng)力，繼續(xù)保持成長(zhǎng)趨勢(shì)是一個(gè)極大的挑戰(zhàn)。

并且，訓(xùn)練當(dāng)今的大型神經(jīng)網(wǎng)絡(luò)通常會(huì)產(chǎn)生顯著的環(huán)境影響。例如，2019 年的一項(xiàng)研究發(fā)現(xiàn)，訓(xùn)練某個(gè)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行自然語(yǔ)言處理所產(chǎn)生的二氧化碳排放量，是一輛汽車在其“使用壽命"內(nèi)產(chǎn)生的二氧化碳排放量的五倍。

圖三 深度神經(jīng)網(wǎng)絡(luò)計(jì)算造成的碳排放不容小覷

光學(xué)可以解決問(wèn)題嗎？

數(shù)字電子計(jì)算機(jī)的改進(jìn)使深度學(xué)習(xí)得以蓬勃發(fā)展。但這并不意味著進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算的方法就是使用此類機(jī)器。幾十年前，當(dāng)數(shù)字計(jì)算機(jī)還相對(duì)原始時(shí)，一些工程師使用模擬計(jì)算機(jī)來(lái)解決困難的計(jì)算。隨著數(shù)字電子技術(shù)的改進(jìn)，那些模擬計(jì)算機(jī)被淘汰了。但現(xiàn)在可能是再次采用該策略的時(shí)候了，特別是當(dāng)模擬計(jì)算可以通過(guò)光學(xué)方式完成時(shí)。

光纖可以支持比電線高得多的數(shù)據(jù)速率。如今光數(shù)據(jù)鏈路取代了銅線，光數(shù)據(jù)通信速度更快，功耗更低。

圖四 光纖通信速度快，功耗低

光學(xué)計(jì)算具備同樣的優(yōu)勢(shì)。但是通信數(shù)據(jù)和計(jì)算之間有很大的區(qū)別。這就是模擬光學(xué)方法遇到障礙的地方。傳統(tǒng)計(jì)算機(jī)基于晶體管，晶體管是非線性的電路元件——它們的輸出不僅與輸入成正比，其非線性特性可以決定什么時(shí)候讓晶體管打開(kāi)和關(guān)閉，因此被塑造成邏輯門。但是光子遵循麥克斯韋方程，因此光學(xué)設(shè)備的輸出通常與其輸入成正比。

利用光學(xué)來(lái)做線性代數(shù)

為了說(shuō)明如何做到這一點(diǎn)，我將在這里描述一個(gè)光子設(shè)備，當(dāng)它與一些簡(jiǎn)單的模擬電子設(shè)備耦合時(shí)，可以將兩個(gè)矩陣相乘。我和我的麻省理工學(xué)院同事發(fā)表了一篇相關(guān)的論文，我們現(xiàn)在正在努力構(gòu)建這樣一個(gè)光學(xué)矩陣乘法器。

圖五 麻省理工學(xué)院提出的光學(xué)矩陣乘法器

該設(shè)備中的基本計(jì)算單元是一個(gè)分束器（BS，beam splitter）。從側(cè)面向其中發(fā)送一束光，分束器將允許一半光直接穿過(guò)它，而另一半則從有角度的鏡子反射，使其與入射光束成90度反彈.

現(xiàn)在將第二束光垂直于第一束光照射到該分束器中，使其照射到鏡子的另一側(cè)。該第二光束的一半將類似地以90度角透射和反射。兩個(gè)輸出光束將與第一個(gè)光束的兩個(gè)輸出組合。所以這個(gè)分束器BS有兩個(gè)輸入和兩個(gè)輸出。

要使用此設(shè)備進(jìn)行矩陣乘法，需要生成兩個(gè)光束，其電場(chǎng)強(qiáng)度x和y與要相乘的兩個(gè)數(shù)字成正比。將這兩束光照射到分束器中產(chǎn)生兩個(gè)輸出，其電場(chǎng)值為 (x + y)/√2 和 (x ? y)/√2。

然后我們還需要兩個(gè)簡(jiǎn)單的電子元件——光電探測(cè)器——來(lái)測(cè)量?jī)蓚€(gè)輸出光束。他們測(cè)量光束的功率，該功率與其電場(chǎng)強(qiáng)度的平方成正比。你會(huì)得到 (x2 + 2xy + y2)/2 和 (x2 ? 2xy + y2)/2 ，相減后得到 2xy ，是一個(gè)與兩個(gè)數(shù)字的乘積成正比的信號(hào)。由此，我們可以構(gòu)建一個(gè)輸出信號(hào)與兩個(gè)輸入信號(hào)乘積成正比的光學(xué)計(jì)算單元。

光學(xué)計(jì)算如何節(jié)省能耗？

上述實(shí)驗(yàn)中的光束并不需要保持穩(wěn)定。事實(shí)上，兩個(gè)輸入可以為脈沖光束，并且我們可以將輸出信號(hào)饋送到電容器中，然后只要輸入脈沖持續(xù)，電容就會(huì)積累電荷。這樣的操作便實(shí)現(xiàn)了乘法累加運(yùn)算。

以這種方式使用脈沖光可以快速順序執(zhí)行許多此類操作。其中最耗能的部分是讀取該電容器上的電壓，這需要一個(gè)模數(shù)轉(zhuǎn)換器。但是你不必在每個(gè)脈沖之后都這樣做——你可以等到一系列的結(jié)束，比如 N 個(gè)脈沖。這意味著該設(shè)備可以使用相同的能量執(zhí)行 N 次乘法累加運(yùn)算，以讀取 N 是小還是大的答案。這里，N 對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)中每層的神經(jīng)元數(shù)量，很容易達(dá)到數(shù)千個(gè)。所以這個(gè)策略消耗的能量很少。

我們也可以考慮在輸入端節(jié)省能源。這是因?yàn)橄嗤闹到?jīng)常被用作多個(gè)神經(jīng)元的輸入。與其將這個(gè)數(shù)字多次轉(zhuǎn)換為光——每次都消耗能量——它可以只轉(zhuǎn)換一次，產(chǎn)生的光束可以分成許多通道。通過(guò)這種方式，輸入轉(zhuǎn)換的能源成本可以在許多操作中分?jǐn)偂?/span>

其他光學(xué)計(jì)算相關(guān)工作

將一束光束分成多個(gè)通道不需要比透鏡更復(fù)雜的事情，但將透鏡放在芯片上可能很棘手。因此，我們正在開(kāi)發(fā)的以光學(xué)方式執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算的設(shè)備，很可能最終成為一種混合體，它將高度集成的光子芯片與單獨(dú)的光學(xué)元件結(jié)合在一起。

我在這里概述了麻省理工一直在追求的策略，但還有其他類似的工作。另一個(gè)很有前景的方案是基于一種叫做馬赫-曾德干涉儀（MZ干涉儀）的東西，它結(jié)合了兩個(gè)分束器和兩個(gè)全反射鏡。它也可用于以光學(xué)方式進(jìn)行矩陣乘法。兩家麻省理工學(xué)院的初創(chuàng)公司 Lightmatter 和 Lightelligence 正在開(kāi)發(fā)基于這種方法的光學(xué)神經(jīng)網(wǎng)絡(luò)加速器。 Lightmatter 已經(jīng)構(gòu)建了一個(gè)原型，該原型使用其制造的光學(xué)芯片。該公司預(yù)計(jì)將在今年晚些時(shí)候開(kāi)始銷售使用該芯片的光加速器板。

另一家使用光學(xué)進(jìn)行計(jì)算的初創(chuàng)公司是 Optalysis，它希望復(fù)興一個(gè)相當(dāng)古老的概念。早在 1960 年代，光學(xué)計(jì)算的*用途之一就是處理合成孔徑雷達(dá)（synthetic-aperture radar）數(shù)據(jù)。挑戰(zhàn)的一個(gè)關(guān)鍵部分是將稱為傅立葉變換的數(shù)學(xué)運(yùn)算應(yīng)用于測(cè)量數(shù)據(jù)。當(dāng)時(shí)的數(shù)字計(jì)算機(jī)一直在努力解決這些問(wèn)題。即使是現(xiàn)在，將傅立葉變換應(yīng)用于大量數(shù)據(jù)也可能是計(jì)算密集型的。但是傅立葉變換可以在光學(xué)上進(jìn)行，只需要一個(gè)鏡頭，這就是多年來(lái)工程師處理合成孔徑數(shù)據(jù)的方式。Optalysis 希望將這種方法更新并更廣泛地應(yīng)用。

還有一家名為 Luminous 的公司，是從普林斯頓大學(xué)分拆出來(lái)的，該公司正致力于創(chuàng)建基于激光神經(jīng)元的尖峰（spiking）神經(jīng)網(wǎng)絡(luò)。尖峰神經(jīng)網(wǎng)絡(luò)更接近地模仿生物神經(jīng)網(wǎng)絡(luò)的工作方式，并且像我們自己的大腦一樣，能夠使用很少的能量進(jìn)行計(jì)算。 Luminous 的硬件仍處于開(kāi)發(fā)的早期階段，但結(jié)合兩種節(jié)能方法（尖峰和光學(xué)）的承諾非常令人興奮。

光學(xué)計(jì)算的現(xiàn)實(shí)挑戰(zhàn)

當(dāng)然，仍有許多技術(shù)挑戰(zhàn)需要克服。一是提高模擬光學(xué)計(jì)算的精度和動(dòng)態(tài)范圍，這遠(yuǎn)不及數(shù)字電子設(shè)備所能達(dá)到的效果。這是因?yàn)檫@些光學(xué)處理器受到各種噪聲源的影響，而且用于輸入和輸出數(shù)據(jù)的數(shù)模轉(zhuǎn)換器和模數(shù)轉(zhuǎn)換器精度有限。事實(shí)上，很難想象一個(gè)光學(xué)神經(jīng)網(wǎng)絡(luò)的運(yùn)行精度超過(guò) 8 到 10 位。雖然存在 8 位電子深度學(xué)習(xí)硬件就是一個(gè)很好的例子），但這個(gè)行業(yè)需要更高的精度，尤其是神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

將光學(xué)元件集成到芯片上也存在困難。由于這些組件的尺寸為數(shù)十微米，因此無(wú)法像晶體管一樣緊密地封裝，因此所需的芯片面積會(huì)迅速增加。麻省理工學(xué)院研究人員在 2017 年對(duì)這種方法的演示實(shí)現(xiàn)在一個(gè)邊長(zhǎng)為 1.5 毫米的芯片上，即使是最大的芯片也不大于幾平方厘米，這限制了可以通過(guò)這種方式并行處理的矩陣大小。

圖六 這張計(jì)算機(jī)渲染圖為作者和他的同事為使用光執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算而設(shè)計(jì)的光子芯片上的圖案

光子具有將深度學(xué)習(xí)加速幾個(gè)數(shù)量級(jí)的潛力

光子學(xué)研究人員傾向于在計(jì)算機(jī)架構(gòu)方面解決許多其他問(wèn)題。但很清楚的是，至少在理論上，光子學(xué)有可能將深度學(xué)習(xí)加速幾個(gè)數(shù)量級(jí)。

基于當(dāng)前可用于各種組件（光調(diào)制器、檢測(cè)器、放大器、模數(shù)轉(zhuǎn)換器）的技術(shù)，可以合理地認(rèn)為神經(jīng)網(wǎng)絡(luò)計(jì)算的能源效率可以比當(dāng)今的電子處理器高 1,000 倍。如果對(duì)新興光學(xué)技術(shù)做出更激進(jìn)的假設(shè)，這個(gè)因素可能高達(dá)一百萬(wàn)。而且由于電子處理器功率有限，這些能源效率的改進(jìn)很可能會(huì)轉(zhuǎn)化為相應(yīng)的速度改進(jìn)。

模擬光學(xué)計(jì)算中的許多概念已有數(shù)十年歷史。有些甚至早于硅計(jì)算機(jī)。 1970 年代展示了光學(xué)矩陣乘法，甚至是光學(xué)神經(jīng)網(wǎng)絡(luò)的方案。但這種方法并沒(méi)有流行起來(lái)。這次會(huì)有所不同嗎？可能，出于三個(gè)原因。首先，深度學(xué)習(xí)現(xiàn)在真正有用，而不僅僅是學(xué)術(shù)上的好奇。其次，我們不能僅僅依靠摩爾定律來(lái)繼續(xù)改進(jìn)電子產(chǎn)品。最后，我們有了前幾代人沒(méi)有的新技術(shù)：集成光子學(xué)。這些因素表明，光神經(jīng)網(wǎng)絡(luò)這次將真正到來(lái)——而且這種計(jì)算的未來(lái)可能確實(shí)是光子的。

作者：

Ryan Hamerly 是 NTT Research 的高級(jí)科學(xué)家，也是麻省理工學(xué)院量子光子學(xué)實(shí)驗(yàn)室的訪問(wèn)科學(xué)家。

譯者：

昕甬智測(cè)實(shí)驗(yàn)室隸屬于寧波海爾新光電科技有限公司，專注于中遠(yuǎn)紅外激光光譜檢測(cè)技術(shù)（QCL/ICL+TDLAS），致力推動(dòng)激光光譜技術(shù)的產(chǎn)業(yè)化應(yīng)用，以激光之精，見(jiàn)世界之美。