安全專家 Bar Lanyado 最近做了一些研究，研究生成式 AI 模型如何無意中對軟體開發領域造成巨大的潛在安全威脅。 Lanyado 的此類研究發現了一個令人擔憂的趨勢：人工智慧建議使用虛構的軟體包，而開發人員甚至在不知情的情況下將其包含在他們的程式碼庫中。
問題揭曉
現在的問題是，生成的解決方案是一個虛構的名稱——這是人工智慧的典型特徵。然而，這些虛構的套件名稱隨後會被自信地建議給那些難以使用人工智慧模型進行程式設計的開發人員。事實上，一些發明的軟體包名稱部分是基於像蘭亞多這樣的人，而有些則繼續將它們變成真正的軟體包。這反過來又導致真實和合法的軟體專案中意外包含潛在的惡意程式碼。
受到這種影響的企業之一是阿里巴巴，它是科技業的主要參與者之一。 Lanyado 在 GraphTranslator 的安裝說明中發現阿里巴巴包含了一個名為「huggingface-cli」的偽造軟體包。事實上，Python 包索引（PyPI）上確實有一個同名的包，但阿里巴巴的指南提到的是 Lanyado 製作的包。
測試持久性
Lanyado 的研究旨在評估這些人工智慧產生的套件名稱的壽命和潛在利用。從這個意義上說，LQuery 在了解是否有效、有系統地推薦這些虛構名稱的過程中，針對程式設計挑戰和語言之間建立了不同的人工智慧模型。在這個實驗中可以清楚地看出，有害實體存在濫用人工智慧產生的套件名稱來分發惡意軟體的風險。
這些結果具有深遠的意義。不良行為者可能會利用開發人員對收到的建議的盲目信任，從而開始以虛假身份發布有害軟體包。使用人工智慧模型，隨著對發明的軟體包名稱提出一致的人工智慧建議，風險會增加，這些名稱可能會被不知情的開發人員作為惡意軟體包含在內。 **前進之路**
因此，隨著人工智慧與軟體開發的進一步結合，如果與人工智慧產生的建議相結合，可能會出現修復漏洞的需要。在這種情況下，必須進行盡職調查，確保建議整合的軟體包是合法的。此外，託管軟體儲存庫的平台應該到位，以進行驗證並且足夠強大，以免分發惡意品質的程式碼。
人工智慧和軟體開發的交叉揭示了令人擔憂的安全威脅。此外，人工智慧模型可能會導致誤推薦虛假軟體包，這對軟體專案的完整性構成很大風險。事實上，阿里巴巴在他的指示中包含了一個不應該存在的盒子，但這足以證明當人們機器人地遵循建議時，可能性實際上是如何發生的
由AI給出。未來，必須保持警惕，採取積極主動的措施，防止人工智慧被濫用於軟體開發。
來源：https://www.cryptopolitan.com/ai- generated-software-packages-threats/