NTT i Uniwersytet Tokijski opracowują pierwszą na świecie sztuczną inteligencję do obliczeń optycznych przy użyciu algorytmu inspirowanego ludzkim mózgiem

Współpraca rozwija praktyczne zastosowanie niskoenergetycznej, szybkiej sztucznej inteligencji opartej na obliczeniach optycznych

TOKIO– (BUSINESS WIRE) -#TechforGood-Korporacja NTT (Prezes i Dyrektor Generalny: Akira Shimada, „NTT”) oraz University of Tokio (Bunkyo-ku, Tokio, prezes: Teruo Fujii) opracowali nowy algorytm uczenia się inspirowany przetwarzaniem informacji przez mózg, który jest odpowiedni dla wielowarstwowych sztucznych sieci neuronowych (DNN) wykorzystujących operacje analogowe. Ten przełom doprowadzi do zmniejszenia zużycia energii i czasu obliczeń dla sztucznej inteligencji. Wyniki tego rozwoju zostały opublikowane w brytyjskim czasopiśmie naukowym Nature Communications w grudniu 26^th.

Naukowcom udało się przeprowadzić pierwszą na świecie demonstrację wydajnie realizowanego optycznego uczenia DNN poprzez zastosowanie algorytmu do DNN wykorzystującego optyczne obliczenia analogowe, co ma umożliwić szybkie i energooszczędne urządzenia do uczenia maszynowego. Ponadto osiągnęli najwyższą na świecie wydajność wielowarstwowej sztucznej sieci neuronowej wykorzystującej operacje analogowe.

W przeszłości obliczenia uczenia o dużym obciążeniu były wykonywane za pomocą obliczeń cyfrowych, ale ten wynik dowodzi, że możliwe jest poprawienie wydajności części uczącej za pomocą obliczeń analogowych. W technologii Deep Neural Network (DNN) rekurencyjna sieć neuronowa zwana obliczeniami głębokiego zbiornika jest obliczana przy założeniu impulsu optycznego jako neuronu i nieliniowego pierścienia optycznego jako sieci neuronowej z połączeniami rekurencyjnymi. Poprzez ponowne wprowadzenie sygnału wyjściowego do tego samego obwodu optycznego sieć jest sztucznie pogłębiana.

Technologia DNN umożliwia zaawansowaną sztuczną inteligencję (AI), taką jak tłumaczenie maszynowe, autonomiczna jazda i robotyka. Obecnie zapotrzebowanie na moc i wymagany czas obliczeń rośnie w tempie przewyższającym wzrost wydajności komputerów cyfrowych. Oczekuje się, że technologia DNN, wykorzystująca obliczenia sygnałów analogowych (operacje analogowe), będzie metodą realizacji wysokowydajnych i szybkich obliczeń podobnych do sieci neuronowej mózgu. Współpraca pomiędzy NTT i Uniwersytetem Tokijskim pozwoliła na opracowanie nowego algorytmu odpowiedniego dla analogowego DNN, który nie zakłada zrozumienia parametrów uczenia zawartych w DNN.

Zaproponowana metoda uczy się poprzez zmianę parametrów uczenia w oparciu o końcową warstwę sieci oraz nieliniową losową transformację błędu pożądanego sygnału wyjściowego (sygnału błędu). To obliczenie ułatwia implementację obliczeń analogowych w takich rzeczach, jak obwody optyczne. Może być również używany nie tylko jako model do fizycznej implementacji, ale także jako najnowocześniejszy model wykorzystywany w aplikacjach takich jak tłumaczenie maszynowe i różne modele AI, w tym model DNN. Oczekuje się, że badania te przyczynią się do rozwiązania pojawiających się problemów związanych z przetwarzaniem AI, w tym zużycia energii i wydłużenia czasu obliczeń.

Oprócz zbadania przydatności metody zaproponowanej w tym artykule do konkretnych problemów, NTT będzie również promować integrację sprzętu optycznego na dużą i małą skalę, mając na celu stworzenie szybkiej optycznej platformy obliczeniowej o niskim poborze mocy dla przyszłych optycznych sieci.

Wsparcie dla tego badania:

JST/CREST wsparło część wyników tych badań.

Publikacja magazynu:

Magazine: Nature Communications (Wersja online: 26 grudnia)

Tytuł artykułu: Fizyczne głębokie uczenie się z biologicznie inspirowaną metodą szkolenia: podejście bezgradientowe dla sprzętu fizycznego

Autorzy: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto i Kohei Nakajima

Wyjaśnienie terminologii:

1. Obwód optyczny: Obwód, w którym krzemowe lub kwarcowe światłowody są zintegrowane z płytką krzemową przy użyciu technologii wytwarzania obwodów elektronicznych. W komunikacji rozgałęzianie i łączenie optycznych ścieżek komunikacyjnych jest realizowane przez interferencję optyczną, multipleksowanie/demultipleksowanie długości fali i tym podobne.
2. Metoda wstecznej propagacji (BP): najczęściej używany algorytm uczenia się w głębokim uczeniu się. Gradienty wag (parametrów) w sieci uzyskuje się podczas propagacji sygnału błędu wstecz, a wagi są aktualizowane tak, aby błąd był mniejszy. Ponieważ proces propagacji wstecznej wymaga transpozycji macierzy wag modelu sieci i nieliniowego różniczkowania, jest trudny do zaimplementowania w obwodach analogowych, w tym w mózgu żywego organizmu.
3. Obliczenia analogowe: Komputer, który wyraża rzeczywiste wartości używając wielkości fizycznych, takich jak natężenie i faza światła oraz kierunek i intensywność spinów magnetycznych, i wykonuje obliczenia zmieniając te wielkości fizyczne zgodnie z prawami fizyki.
4. Metoda bezpośredniego sprzężenia zwrotnego (DFA): Metoda pseudoobliczania sygnału błędu każdej warstwy poprzez wykonanie nieliniowej losowej transformacji sygnału błędu ostatniej warstwy. Ponieważ nie wymaga informacji różniczkowej modelu sieci i może być obliczona jedynie przez równoległe transformacje losowe, jest kompatybilna z obliczeniami analogowymi.
5. Reservoir computing: rodzaj rekurencyjnej sieci neuronowej z rekurencyjnymi połączeniami w warstwie ukrytej. Charakteryzuje się losowo ustalającymi się połączeniami w warstwie pośredniej zwanej warstwą zbiornikową. W obliczeniach głębokich zbiorników przetwarzanie informacji odbywa się poprzez łączenie warstw zbiorników w wielu warstwach.

NTT i logo NTT są zastrzeżonymi znakami towarowymi lub znakami towarowymi firmy NIPPON TELEGRAPH AND TELEPHONE CORPORATION i/lub jej podmiotów stowarzyszonych. Wszystkie inne wymienione nazwy produktów są znakami towarowymi ich właścicieli. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Kontakt

Stephena Russella

Komunikacja przewodowa®

dla NTT

+ 1-804-362-7484

[email chroniony]