人工智能十年反思（第 3 部分）

最近管理技術會議十週年版的經驗（www.iccve2022.org）引發了對人工智慧過去十年的反思過程。 系列的第一篇文章， 對人工智慧十年的反思 (forbes.com)，探討了人工智慧技術的歷史背景、機器學習（ML）方法當前的成功以及與傳統演算法設計的比較。

前一篇文章， 人工智慧十年反思（第 2 部分） (forbes.com)，探討了以安全為中心的設計在安全驗證方面所採用的歷史方法，並深入研究了機載系統。 如下圖所示，最初電子硬體（HW Paradigm）的使用為系統設計人員注入了強大的新功能，並開發了附帶的安全方法來利用電子的力量。 在過去的 30 年裡，軟體已經成為一種強大的新功能，安全方法也必須不斷發展。 今天，我們是人工智慧範式的起點，利用這個強大的工具需要在安全方法論方面取得進展。

人工智慧範式到底是什麼？

人工智慧範式允許使用機器學習從數據中建立智慧。 在自治的情況下，這些數據通常來自各個感測器域。 有了這些能力，聲音可以被解釋為語言（NLP），視訊可以導致物體識別（視覺），還有更多的應用。 這種人工智慧範式建立在另一個稱為人工智慧模型的抽象之上。 卷積神經網路 (CNN)、循環神經網路 (RNN)、Transformer 等各種術語用於描述這些模型。 從根本上講，這些模型是可以映射從輸入到輸出的複雜功能關係的容器。

在人工智慧範式中，資料流用於「訓練」底層模型。 目標是建立反映某些潛在關係的演算法，並將該關係用於訓練集以外的資料流。

這實際上是數據生成軟體！

出於多種原因，這種功能對於系統設計人員來說非常有吸引力，但它如何適應現有的安全關鍵方法？

在這些系統中，安全性包括驗證共同構成整個設計的組件網路。 在組件級別，驗證技術特定於組件的性質。 電子硬體只是一個具有危險、設計限制和潛在安全後果的組件，必須小心處理。 電子軟體是一種特殊形式的硬體組件，也是可編程的。

考慮到上述想法，人工智慧元件可以簡單地定義為用數據編程的軟體元件。

上述簡單的說法非常強大，因為它允許人工智慧元件繼承過去 30 年來將軟體元件整合到安全關鍵系統中所做的大量工作。 現在，人們必須「僅」管理資料產生「代碼」與傳統人類程式設計的問題。 這種差異對安全性有何影響？ 在驗證領域，影響在於三個核心功能：覆蓋率分析、程式碼審查和版本控制。

覆蓋率分析：在傳統軟體中，軟體程式​​是由人編寫的（很像文章開頭的圖形）。 標準驗證技術是驅動暴露程序每個部分的測試。 其基本原理是，如果程式結構的覆蓋率非常高，人們就可以確信軟體元件已經過良好的測試。 在人工智慧/機器學習中，「軟體」沒有結構，因此傳統的程式碼覆蓋率是不可能的。

代碼審查：就像作家從編輯中受益一樣，程式設計師也從小組程式碼審查中受益。 這項技術非常有效，以至於它被整合到高效能軟體團隊的基本設計和驗證過程中。 在 AI/ML 中，沒有傳統意義上的需要審查的程式碼。 在小組評審中檢視人工智慧訓練的結果可能仍然有意義，但這項任務非常困難，因為人們無法向程式設計師詢問設計轉變的理由。

版本控制：傳統軟體流程的一個深層部分是仔細控制安全關鍵軟體的建置和發布。 程式設計師共同努力為中央程式碼庫提供量子更新，然後在發佈到現場之前進行測試。 在人工智慧/機器學習範式中，「代碼」是由資料產生的。 這是否意味著必須從訓練過程一開始就擷取和累積訓練資料集？ 如果起點由其他供應商的「預熱」模型組成呢？ 這在很長一段時間內可行嗎？ 如果不是，如何知道正在捕獲和測試的確切函數。

整體而言，在傳統軟體中智慧測試產生極為困難，因為必須運用所有有趣的「邊緣」條件來驗證設計。 對於 AI/ML，由於上述問題，這項任務變得更加困難。 目前，這是一個重要的學術研究領域，提出了有趣的建議，例如：

1. 對抗性人工智慧/機器學習：在這種方法中，創建了一個人工智慧對手，試圖主動打破核心系統的安全範式。
2. 安全項圈：在這種方法中，確定性的傳統軟體形成了 AI/ML 元件無法違反的項圈。
3. 投票系統：不同的組件提出一個答案，投票範式選擇最終答案。

雖然學術工作很有趣，但商業解決方案已經轉向強大的自動定向偽隨機測試生成器，這些生成器構建場景的目的是更徹底地運用人工智慧組件。 在汽車領域，自動化和測量系統標準化協會 (ASAM) 定義了一個測試框架，其中包含 OpenSCENARIO V2.0 等標準，以及諸如 前額 正在積極執行該標準。 雖然特定於汽車，但通用技術同樣適用於人工智慧元件作為解決方案一部分的其他自主領域。

總之，在過去的十年中，人工智慧/機器學習驗證方法開始在具有深厚系統規範文化的設計領域中出現。

然而，人工智慧/機器學習的關鍵能力之一是能夠在不真正了解正在建造的內容及其工作原理的情況下建立功能。 這是一個如此強大的工具，系統設計人員發現它非常有吸引力，但在這種情況下，明顯的問題是：如果您不知道它是如何工作的，您如何知道它正在工作？ 這將是下一篇文章的主題。

筆記：

1. 空中交通管制雜誌 (ATCA) 上的一篇文章 期刊 (atca.org) （2022 年 XNUMX 月號）更詳細地介紹了從傳統軟體轉向 AI/ML 組件進行系統驗證的方法。
2. AI/ML 是一種非常簡單但意義深遠的方法。 事實上，許多科學家將其類比為生物的演化過程。 關於人工智慧與演化的連結的很好的討論可以在 Leslie Valient 的書“大概正確“