Ekspert ds. bezpieczeństwa Bar Lanyado przeprowadził ostatnio badania na temat tego, w jaki sposób generatywne modele sztucznej inteligencji przyczyniają się w sposób niezamierzony do powstania ogromnych potencjalnych zagrożeń bezpieczeństwa w świecie tworzenia oprogramowania. Takie badania przeprowadzone przez Lanyado wykazały niepokojący trend: sztuczna inteligencja sugeruje pakiety wyimaginowanego oprogramowania, a programiści, nawet nie będąc tego świadomi, włączają je do swoich baz kodów.
Problem ujawniony
Problem polega na tym, że wygenerowane rozwiązanie było fikcyjną nazwą – czymś typowym dla sztucznej inteligencji. Jednak te fikcyjne nazwy pakietów są następnie z pewnością sugerowane programistom, którzy mają trudności z programowaniem za pomocą modeli AI. Rzeczywiście, niektóre wymyślone nazwy pakietów zostały częściowo oparte na ludziach – jak Lanyado – a niektórzy poszli dalej i zamienili je w prawdziwe pakiety. To z kolei doprowadziło do przypadkowego włączenia potencjalnie złośliwego kodu do prawdziwych i legalnych projektów oprogramowania.
Jedną z firm, która znalazła się pod tym wpływem, była Alibaba, jeden z głównych graczy w branży technologicznej. W instrukcji instalacji GraphTranslator Lanyado odkrył, że Alibaba dołączył sfałszowany pakiet o nazwie „huggingface-cli”. W rzeczywistości istniał prawdziwy pakiet o tej samej nazwie, hostowany w indeksie pakietów Pythona (PyPI), ale przewodnik Alibaby odnosił się do tego, który stworzył Lanyado.
Testowanie wytrwałości
Badania Lanyado miały na celu ocenę trwałości i potencjalnego wykorzystania nazw pakietów generowanych przez sztuczną inteligencję. W tym sensie w ramach projektu LQuery przeprowadzono odrębne modele sztucznej inteligencji dotyczące wyzwań programistycznych i między językami w procesie zrozumienia, czy w sposób skuteczny i systematyczny rekomendowano te fikcyjne nazwy. Z tego eksperymentu jasno wynika, że istnieje ryzyko, że szkodliwe podmioty mogą wykorzystać nazwy pakietów wygenerowane przez sztuczną inteligencję do dystrybucji złośliwego oprogramowania.
Wyniki te mają głębokie implikacje. Źli aktorzy mogą wykorzystać ślepe zaufanie programistów do otrzymanych rekomendacji w taki sposób, że mogą zacząć publikować szkodliwe pakiety pod fałszywymi tożsamościami. W przypadku modeli sztucznej inteligencji ryzyko wzrasta w związku z konsekwentnymi zaleceniami sztucznej inteligencji dotyczącymi wymyślonych nazw pakietów, które nieświadomi programiści uznaliby za złośliwe oprogramowanie. **Droga naprzód**
Dlatego w miarę dalszej integracji sztucznej inteligencji z rozwojem oprogramowania może pojawić się potrzeba naprawienia luk w zabezpieczeniach, jeśli będzie to powiązane z zaleceniami wygenerowanymi przez sztuczną inteligencję. W takich przypadkach należy zachować należytą staranność, aby pakiety oprogramowania proponowane do integracji były legalne. Co więcej, platforma hostująca repozytorium oprogramowania powinna umożliwiać weryfikację i być na tyle silna, aby nie rozpowszechniać żadnego kodu o złej jakości.
Połączenie sztucznej inteligencji i rozwoju oprogramowania ujawniło niepokojące zagrożenie bezpieczeństwa. Ponadto model sztucznej inteligencji może prowadzić do przypadkowego polecania fałszywych pakietów oprogramowania, co stwarza duże ryzyko dla integralności projektów oprogramowania. Fakt, że Alibaba zamieścił w swoich instrukcjach pudełko, które nigdy nie powinno się tam znaleźć, jest jedynie niezbitym dowodem na to, że w rzeczywistości mogą pojawić się nowe możliwości, gdy ludzie automatycznie zastosują się do zaleceń
podane przez AI. W przyszłości należy zachować czujność w zakresie proaktywnych środków, aby chronić przed niewłaściwym wykorzystaniem sztucznej inteligencji do tworzenia oprogramowania.
Źródło: https://www.cryptopolitan.com/ai-generated-software-packages-threats/