NTT 和東京大學使用受人腦啟發的算法開發了世界上第一個光學計算人工智能

合作推進基於光計算的低功耗、高速人工智能的實際應用

東京——（美國商業資訊）——#科技向善 - NTT公司 （總裁兼首席執行官：Akira Shimada，“NTT”）和 東京大學 （東京文京區，總裁：Teruo Fujii）設計了一種新的學習算法，其靈感來自大腦的信息處理，適用於使用模擬操作的多層人工神經網絡（DNN）。 這一突破將減少人工智能的功耗和計算時間。 這一研發成果發表在英國科學雜誌上 自然通信 12月26^th.

研究人員通過將算法應用於使用光學模擬計算的 DNN，實現了世界上第一個高效執行光學 DNN 學習的演示，有望實現高速、低功耗的機器學習設備。 此外，他們還實現了使用模擬運算的多層人工神經網絡的世界最高性能。

過去，高負荷的學習計算都是通過數字計算來進行的，但是這個結果證明了可以通過使用模擬計算來提高學習部分的效率。 在深度神經網絡（DNN）技術中，通過將光脈衝假設為神經元，將非線性光環假設為具有遞歸連接的神經網絡來計算稱為深水庫計算的遞歸神經網絡。 通過將輸出信號重新輸入同一個光路，人為地加深了網絡。

DNN 技術支持高級人工智能 (AI)，例如機器翻譯、自動駕駛和機器人技術。 當前，所需的功率和計算時間的增長速度超過了數字計算機性能的增長速度。 DNN技術採用模擬信號計算（模擬運算），有望成為一種實現類似於大腦神經網絡的高效、高速計算的方法。 NTT 與東京大學之間的合作開發了一種適用於模擬操作 DNN 的新算法，該算法不假設理解 DNN 中包含的學習參數。

所提出的方法通過改變基於網絡最後一層的學習參數和期望輸出信號（誤差信號）的誤差的非線性隨機變換來學習。 這種計算使得在光電路等事物中更容易實現模擬計算。 它不僅可以用作物理實現的模型，還可以用作機器翻譯和各種 AI 模型（包括 DNN 模型）等應用中的尖端模型。 這項研究有望有助於解決與人工智能計算相關的新問題，包括功耗和增加的計算時間。

除了檢驗本文提出的方法對特定問題的適用性，NTT還將推動光學硬件的大規模和小型集成，旨在為未來的光學領域建立一個高速、低功耗的光學計算平台。網絡。

支持本研究：

JST/CREST 支持了部分研究結果。

雜誌刊物：

雜誌： 自然通信 (網絡版：26月XNUMX日)

文章標題：採用仿生訓練方法的物理深度學習：物理硬件的無梯度方法

作者：中島光政、井上勝馬、田中賢治、國芳康夫、橋本俊和、中島航平

術語解釋：

1. 光路：使用電子電路製造技術將矽或石英光波導集成到矽晶片上的電路。 在通信中，光通信路徑的分支和匯合是通過光干涉、波長復用/解復用等方式進行的。
2. 反向傳播（BP）方法：深度學習中最常用的學習算法。 在向後傳播誤差信號的同時獲得網絡中權重（參數）的梯度，並更新權重以使誤差變小。 由於反向傳播過程需要對網絡模型的權重矩陣進行轉置和非線性微分，因此很難在包括生物體大腦在內的模擬電路上實現。
3. 模擬計算：表達真實價值的計算機 利用光的強度和相位、磁自旋的方向和強度等物理量，根據物理定律改變這些物理量進行計算。
4. 直接反饋對齊（DFA）方法：通過對最後一層的誤差信號進行非線性隨機變換來偽計算每一層誤差信號的方法。 由於不需要網絡模型的微分信息，只需並行隨機變換即可計算，因此與模擬計算兼容。
5. 儲層計算：一種在隱藏層中具有循環連接的循環神經網絡。 它的特點是在稱為儲層的中間層中隨機固定連接。 在深層油藏計算中，信息處理是通過多層連接油藏層來進行的。

NTT 和 NTT 徽標是 NIPPON TELEGRAPH AND TELEPHONE CORPORATION 和/或其附屬公司的註冊商標或商標。 所有其他引用的產品名稱均為其各自所有者的商標。 © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

通訊錄

斯蒂芬·拉塞爾

有線通信®

對於 NTT

+1-804-362-7484

[電子郵件保護]