暴露和記錄那些生成的 AI ChatGPT 錯誤和幻覺輸出有什麼好處，問 AI 倫理和 AI 法

你是在尋找秘密。

是的，您可能想了解有關最新 AI 的幕後秘密活動。

在今天的專欄中，我將研究最近的動力，即編譯所謂的錯誤和其他與稱為 ChatGPT 的 AI 應用程序輸出的文章相關的問題。 這個特定的應用程序正在使用一種叫做 生成式人工智能. 您可能聽說過或看到過有關基於生成的 AI 和 ChatGPT 的引人注目的頭條新聞。 新聞對這個特定的 AI 應用程序以及與此類 AI 有關的看似驚人的功能感到興奮。

正如我稍後將介紹的那樣，一些人堅信我們需要建立一個清單，列出 AI 應用程序在為您生成論文時可能產生的錯誤類型。 其他人則認為，儘管這樣一份清單的想法令人欽佩，但它是徒勞的，而且收效甚微。

我們將審視那場激烈辯論的雙方。

首先，讓我們確保我們都在同一頁面上了解生成 AI 的組成以及 ChatGPT 的全部內容。

ChatGPT 是一個通用的人工智能交互式對話系統，本質上是一個看似無害的通用聊天機器人，然而，它正以一種讓許多人完全措手不及的方式被人們積極而熱切地使用。 使用這種類型的人工智能，你需要做的就是輸入一個提示，人工智能應用程序將為你生成一篇試圖回應你的提示的文章。

不幸的是，這可能會以不道德或不正當的方式使用。 一個特別令人惱火的疑慮是，學生可以使用基於生成的 AI 應用程序為他們製作指定的論文，只需輸入一兩個句子即可讓應用程序朝著正確的方向發展。 有人感嘆，這意味著學生在課外寫論文時會選擇作弊。 老師們正在努力弄清楚該怎麼做，請參閱我的分析和建議 這裡的鏈接.

儘管對 ChatGPT 的讚美之聲不斷，但主要由 AI 內部人士表達的一個鮮為人知的擔憂是，人們應該擔心一些值得注意的問題和疑慮。 一個重要的缺點是，由這個人工智能應用程序生成的文章可能會嵌入各種虛假信息，包括明顯不真實的事實、被誤導性描述的事實以及完全捏造的明顯事實。 這些虛構的方面通常被稱為 人工智能幻覺，一個我不喜歡但遺憾的是似乎越來越流行的標語（關於為什麼這是糟糕和不合適的術語的詳細解釋，請參閱我的報導 這裡的鏈接).

在我們深入討論這個話題之前，我想澄清一個重要方面。

社交媒體上出現了一些關於 生成式人工智能 斷言這個最新版本的人工智能實際上是 有感知的人工智能 （不，他們錯了！）。 AI 倫理和 AI 法律領域的人士尤其擔心這種不斷擴大的索賠趨勢。 您可能會禮貌地說，有些人誇大了當今 AI 的實際能力。 他們假設人工智能具有我們尚未能夠實現的能力。 那真不幸。 更糟糕的是，他們可能會允許自己和他人陷入可怕的境地，因為他們假設人工智能在採取行動方面具有感知能力或類似人類。

不要將人工智能擬人化。

這樣做會讓你陷入一個棘手而沉悶的依賴陷阱，即期望 AI 做它無法執行的事情。 話雖如此，最新的生成式 AI 的功能相對令人印象深刻。 請注意，在使用任何生成式 AI 應用程序時，您應該始終牢記一些重大限制。

如果您對關於 ChatGPT 和生成式 AI 的迅速擴大的騷動感興趣，我一直在我的專欄中做一個重點系列，您可能會從中找到有用的信息。 如果這些主題中的任何一個引起您的興趣，請看一下：

• 1) 生成人工智能進展的預測。 如果你想知道 AI 在整個 2023 年及以後可能會發生什麼，包括生成 AI 和 ChatGPT 即將取得的進展，你會想閱讀我的 2023 年預測綜合列表，網址為 這裡的鏈接.
• 2) 生成人工智能和心理健康建議。 根據我在 這裡的鏈接.
• 3) 上下文和生成人工智能的使用。 我還對涉及 ChatGPT 和生成 AI 的與聖誕老人相關的上下文進行了季節性的半開玩笑的檢查 這裡的鏈接.
• 4) 詐騙者使用生成式人工智能. 一個不祥的消息是，一些詐騙者已經想出瞭如何使用生成式 AI 和 ChatGPT 進行不法行為，包括生成詐騙電子郵件，甚至為惡意軟件生成編程代碼，請參閱我的分析 這裡的鏈接.
• 5) 使用生成式 AI 的菜鳥錯誤. 許多人對生成式 AI 和 ChatGPT 可以做的事情既過頭又出人意料地過頭，所以我特別關注了 AI 菜鳥往往會做的過頭，請參閱討論 這裡的鏈接.
• 6) 應對生成式 AI 提示和 AI 幻覺. 我描述了一種使用 AI 插件來處理與嘗試將合適的提示輸入生成 AI 相關的各種問題的前沿方法，此外還有用於檢測所謂的 AI 幻覺輸出和謊言的其他 AI 插件，如涵蓋於 這裡的鏈接.
• 7) 揭穿 Bonehead 關於檢測生成的 AI 生成的論文的說法. AI 應用程序出現了一場被誤導的淘金熱，這些應用程序聲稱能夠確定任何給定的文章是人工創作的還是人工智能生成的。 總的來說，這是一種誤導，在某些情況下，這是一種愚蠢且站不住腳的說法，請參閱我的報導 這裡的鏈接.
• 8）通過生成人工智能進行角色扮演可能預示著心理健康問題. 有些人正在使用諸如 ChatGPT 之類的生成式人工智能來進行角色扮演，人工智能應用程序藉此對人類做出反應，就好像存在於幻想世界或其他虛構的環境中一樣。 這可能會對心理健康產生影響，請參閱 這裡的鏈接.

現在讓我們討論生成式 AI 和 ChatGPT 的本質，以便您了解所涉及的基礎。 然後，我們將準備好對這些 AI 應用程序可能產生的謊言進行深入分析。 我將包括幾個使用 ChatGPT 的示例，這將幫助您切實掌握這種生成式 AI 所產生的內容的本質。

打開生成 AI 的蠕蟲罐頭

我們準備深入探討有關 AI 的一些細節。

如果您已經非常精通生成式 AI 和 ChatGPT 的主題，您可以選擇簡要瀏覽我的觀點並繼續本討論的下一部分。 對於其他人，我相信您可能會發現這種解釋很有幫助。

簡而言之，生成式 AI 是一種特殊類型的 AI，它可以像人手和頭腦一樣編寫文本。 您需要做的就是輸入一個提示，例如“告訴我關於亞伯拉罕·林肯”這樣的句子，生成式人工智能將為您提供一篇關於林肯的文章。 這通常被歸類為執行 文字到文字 或者有些人更喜歡稱它為 文本到文章 輸出。 您可能聽說過其他生成 AI 模式，例如文本到藝術和文本到視頻。

您的第一個想法可能是，就撰寫論文而言，這似乎沒什麼大不了的。 你可以很容易地在互聯網上進行在線搜索，很容易找到大量關於林肯總統的文章。 生成式 AI 的關鍵在於生成的文章相對獨特，提供原創作品而不是抄襲。 如果你試圖在網上某個地方找到 AI 生成的文章，你不太可能會發現它。

生成式 AI 經過預先訓練，並利用複雜的數學和計算公式，該公式是通過檢查網絡上的書面文字和故事中的模式而建立的。 由於檢查了成千上萬的書面段落，人工智能可以吐出新的文章和故事，這些文章和故事是所發現內容的大雜燴。 通過添加各種概率函數，生成的文本與訓練集中使用的文本相比非常獨特。

這就是為什麼學生在課堂外寫論文時能夠作弊引起了軒然大波。 老師不能僅僅拿那些欺騙學生聲稱是他們自己寫的文章，並試圖查明它是否是從其他在線來源複製的。 總的來說，不會有任何適合 AI 生成的文章的在線明確的預先存在的文章。 總而言之，老師將不得不勉強接受學生寫的這篇文章是原創作品。

稍後，我將向您展示當您向生成式 AI 輸入問題或提示時會發生什麼。 我將使用最新版本的 ChatGPT 來輸入我的提示並收集人工智能生成的“答案”或文章（請注意，許多其他可用的生成人工智能應用程序也可以這樣做；我選擇使用ChatGPT，因為它現在正在獲得五分鐘的成名）。

在此關頭，簡短地介紹一下 ChatGPT 可能會有所幫助。

ChatGPT 應用程序僅在幾個月前才面向公眾開放。 總的來說，這些生成式 AI 應用程序通常只對 AI 內部人員開放。 ChatGPT 的不尋常之處在於，任何人只需輸入電子郵件地址和姓名即可使用，這導致很多人決定嘗試一下。 ChatGPT 目前可以免費使用（貨幣化問題是 AI 製造商迫在眉睫的困境）。

幾乎立即在社交媒體上引起了巨大反響，人們爭先恐後地舉例說明生成式 AI 可以做什麼。 開發 ChatGPT 的公司 OpenAI 選擇在 XNUMX 萬用戶時停止註冊。 那數百萬用戶已經成功地用各種關於使用 ChatGPT 的故事和故事轟炸了電波。

在相信人們對 AI 應用程序所說的話時要非常小心。 這些人中的許多人對他們使用的是什麼一無所知。 就好像他們從來沒有開過車，甚至沒有意識到汽車的存在，突然間他們就有機會開車了。 隨之而來的是極度的驚奇。

我並不是說生成式人工智能並不令人印象深刻。 這是。 我只是想強調，很多滔滔不絕的推薦都是由許多人幸福地完成的，他們不知道今天的人工智能能做什麼。 在過去的幾年裡，我們這些 AI 內部人士一直在使用生成式 AI。 也許我們已經習慣了。 突然間，看到一大群人在屋頂上兜售它，讓人興奮不已，但也有些令人不安。 令人不安的部分是當人們宣稱生成人工智能是有感知力的時候。 它不是。 不要讓任何人說服你。

話雖這麼說，但在人工智能領域，關於生成式人工智能是否正在走向感知的道路上存在著一場激烈的爭論，或者是否可能沒有。 一種觀點認為，如果我們用更快的計算機和更大量的數據（例如搜索互聯網的每一寸）繼續擴大生成人工智能，我們幾乎會自發地獲得有感知力的人工智能。 其他人則認為這是極不可能的。 他們認為生成式 AI 可能是所需的眾多組件之一。 甚至還有更悲觀的觀點認為，生成式 AI 是一個雜耍，它正在分散我們對實現有感知 AI 所需的真正突破的注意力。

您可能還會發現 AI 內部人士傾向於提及的值得注意的地方 人工智能 (AGI) 作為 AI 領域的理想目標。 過去的目標是達到 人工智能，但 AI 的綽號已經被淡化和混淆了。 當有人說他們在做人工智能工作時，你不知道他們是在暗示今天的人工智能還不能與人類相提並論，還是在指未來的人類等效人工智能。 為了避免這種令人惱火的困惑，最近使用了 AGI 的新措辭。

總而言之，當今的生成式 AI 是 任何監管機構都不批准 有知覺，也不是 AGI。

請記住，如前所述，AI 沒有感知力。 AI 生成的響應是將單詞組合成看似流暢的段落的數學和計算組合。 這是基於人工智能算法，該算法已經在人類所寫的文字和故事的數據集上進行了訓練（主要是在互聯網上發布）。 我重複這個警告是因為你無疑會陷入這樣的心理陷阱，即這些反應如此流暢以至於 AI 一定是有知覺的。 這發生在大多數人身上。 如前所述，擱置擬人化。 永遠記住，回復是基於互聯網上存在的大量人類寫作，因此與人類寫作高度相似。

還有一些事情你需要知道。

在 Internet 上以不受約束的方式訓練的生成式 AI 將傾向於融入任何基於文本的響應，它在數學和計算上編造了一些令人反感的模糊內容，包括令人厭惡的下流措辭。 網上有很多瘋狂和骯髒的東西。

你已經看到了，你知道我的意思。

製作這些 AI 應用程序的公司擔心眾所周知的嬰兒會被連同洗澡水一起倒掉（一句老話，也許要過時了），這意味著如果他們的 AI 產生冒犯性的文章或故事，人們就會憤怒起來關於人工智能。 我已經介紹了這些類型的自然語言處理 (NLP) AI 應用程序發布的許多先前實例，並且很快就出現了各種可怕的東西（我已經在我的專欄中介紹了這些實例）。 大多數 AI 製造商都吸取了慘痛的教訓，即允許他們的 AI 產品在其輸出中不受約束。

就 ChatGPT 而言，AI 開發人員試圖實施一些算法和數據相關的檢查和平衡，以遏制 AI 輸出中的惡意內容。 其中一部分發生在訓練期間。 此外，還有其他實時嘗試避免特別令人震驚的輸出的方法。

您可能會感興趣的是，一些使用過 ChatGPT 的人已經想出了利用各種詭計來繞過這些護欄的秘密方法。 在這些問題上正在進行一場貓捉老鼠的遊戲。 那些玩這些花招的人有時是為了好玩，而有時他們（至少聲稱）他們這樣做是為了看看 AI 可以擴展到什麼程度，並提供一種有用的方法來預警這些萌芽的脆弱性和弱點人工智能應用程序。

我決定在這次重點探索中不試圖規避常規控制。 文本輸出是乾淨的。 當然，如果有人想這樣做，您無疑會生成一些古怪和令人討厭的文章。

大多數這些生成式人工智能應用程序生成的文章旨在傳達輸出結果，就好像它是純事實和準確的一樣。 當您閱讀撰寫的論文時，他們給人的印像是充滿自信。 通常沒有任何跡象表明內容可能不穩定。 這是 AI 製造商的選擇，即如果他們希望 AI 應用程序這樣做，他們可以修改 AI 應用程序以使其更加透明。

有時，生成式人工智能應用程序會在互聯網上不可靠信息的訓練數據中發現虛假信息。 生成式 AI 中沒有“常識”來判斷真假。 此外，很少有 AI 應用程序有任何交叉檢查，它們也不會顯示與它們所傳達的內容相關的任何可能性。

最重要的結果是，您得到的答复看起來和感覺起來都散發出極大的保證，而且必須完全正確。 不是這樣。 甚至有可能是 AI 計算構成的東西，用 AI 的話說就是 人工智能幻覺 （一個我絕對不喜歡的創造術語），請參閱我的討論 這裡的鏈接.

ChatGPT 的開發者齊心協力，試圖減少不良內容的輸出。 例如，他們使用了一種被稱為 左高頻 （從人類反饋中強化學習），在他們向公眾發布 AI 之前，他們僱傭了人類來檢查各種輸出並向 AI 指出這些輸出是否存在問題，例如可能表現出偏見、粗言穢語和像。 通過提供這種反饋，人工智能應用程序能夠在計算和數學上進行調整，以減少此類內容的排放。 請注意，這不是一種萬無一失的方法，AI 應用程序仍然可以通過多種方式發出此類內容。

您可能會對 ChatGPT 基於稱為 GPT-3 的前身 AI 應用程序版本感興趣。 ChatGPT 被認為是稍微下一步，稱為 GPT-3.5。 預計 GPT-4 可能會在 2023 年春季發布。據推測，GPT-4 將在能夠產生看似更流暢的文章、更深入、更令人敬畏方面向前邁出令人印象深刻的一步- 令人驚嘆的作品，它可以產生。

當春天到來並且最新的生成人工智能發佈時，你可以期待看到新一輪的驚嘆。

我提出這個問題是因為要記住另一個角度，包括這些更好、更大的生成式 AI 應用程序的潛在致命弱點。 如果任何 AI 供應商提供一種生成性 AI 應用程序，它會泡沫地吐出污穢，這可能會破滅那些 AI 製造商的希望。 社會溢出效應可能會導致所有生成式 AI 遭受嚴重的黑眼圈。 人們無疑會對犯規輸出感到非常不安，這種情況已經發生過多次，並導致社會對人工智能的強烈譴責。

現在最後一個預警。

無論您在生成式 AI 響應中看到或讀到什麼 似乎 要以純事實（日期、地點、人物等）的形式傳達，請確保保持懷疑並願意仔細檢查您所看到的內容。

是的，日期可以編造，地點可以編造，我們通常期望無可非議的元素是 全部 受到懷疑。 在檢查任何生成的 AI 文章或輸出時，不要相信你讀到的內容並保持懷疑的眼光。 如果生成式 AI 應用程序告訴您亞伯拉罕·林肯乘坐他自己的私人飛機在全國各地飛行，您無疑會知道這是胡說八道。 不幸的是，有些人可能沒有意識到他那個時代並沒有噴氣式飛機，或者他們可能知道但沒有註意到這篇文章提出了這個大膽而離譜的錯誤主張。

在使用生成 AI 時，強烈的健康懷疑和持續的懷疑心態將是你最好的資產。

我們已準備好進入這一闡明的下一階段。

記錄那些 ChatGPT 輸出錯誤的努力

“好吧，我的朋友，你遇到麻煩了，我說，麻煩就在河城，”經典百老匯音樂劇中的著名台詞如此宣稱 音樂人.

同樣的道理也適用於今天的生成式人工智能。

人們開始意識到生成式 AI 應用程序可以製造謊言，並且真的對這些令人不安的輸出感到驚訝。 也許有些人認為人工智能不會犯錯。 其他人可能已經預料到人工智能開發人員會確保不會生成此類輸出。

無論如何，AI 內部人士立即意識到，這種類型的錯誤輸出是當今大多數生成式 AI 所處位置的重要組成部分。 很難防止這些類型的文本錯誤發生。 請記住，AI 沒有常識，在推導生成的論文時也沒有使用邏輯本身。 整個 kit-and-caboodle 都是關於進行單詞與其他單詞的計算統計和概率模式匹配。

起初，AI 內部人士選擇將那些發現的 ChatGPT 古怪輸出發佈到社交媒體網站。 看看這個，有人會宣布。 這很糟糕，其他人會回答，然後提供一個看起來更糟糕的不同例子。 一直這樣下去。

這些輸出論文中的虛假和錯誤的例子正在逐漸出現。 逐個。 此外，由於這通常是在社交媒體上發布的，因此沒有特別簡單的方法可以同時查看所有內容。 通常，相同或相似的示例會由沒有意識到其他人已經找到特定實例的人發布。

那些提出有用建議的人踏入了這個萌芽的泥潭。 也許我們應該建立一個存儲庫或數據庫，甚至可能只是一個日常的普通電子表格，其中包含正在挖掘的 ChatGPT 古怪和錯誤輸出。 每當有人發現狂笑之美時，請繼續並將其登錄到列表中。 有些人幾乎把它變成了遊戲，他們故意讓 ChatGPT 吐出奇怪的輸出。 其他人只是在將 ChatGPT 用於其他確定的意圖的過程中偶然遇到錯誤的輸出。

聽起來很簡單。

似乎是一種方便的花花公子方式來幫助我們所有人。

讓我們簡要說明為什麼擁有這些類型的關於觀察到的 ChatGPT 輸出錯誤或虛假信息的列表對編譯很有意義：

• 1) 揭示了廣大公眾應該意識到的關於 ChatGPT 的重要問題和擔憂
• 2) 有助於平衡對 ChatGPT 的過度炒作和過高的期望
• 3) 可能會促使 AI 製造商做出改進，不僅針對 ChatGPT，也針對其他生成性 AI 應用程序
• 4) 作為歷史記錄，以後可以用來回顧生成式 AI 的出現，例如 ChatGPT
• 5) 成為任何需要了解我們似乎檢測到的關於 ChatGPT 錯誤輸出的人的方便的集體資源
• 6) 對研究 ChatGPT 影響的所有學科的研究人員都很有用
• 7) 可以作為不該做什麼的基準，以及如何衡量生成式 AI 何時沒有按其應有的方式做事
• 8) 利用蜂群思維來收集關於 ChatGPT 產生的錯誤的集體智慧，對於這些錯誤，個人的努力不太可能完全平等地編譯
• 9) 可以為人工智能倫理和人工智能法律提供重要信息
• 等等

這似乎確實是創建這些存儲庫的一個令人印象深刻的基礎。

為什麼會有人不同意這種完全值得稱讚且看似英勇的行為？

讓我們看看其他人對此有何評論，並列出了為什麼這可能不是貓叫聲的原因：

• 1）這些偶然發現的輸出錯誤在事物的宏偉計劃中是無關緊要的，並且被賦予了超出其價值的不當權重
• 2) 人工智能製造商很可能已經在進行自己的日誌記錄和更新 ChatGPT，這樣這些古怪的實例很快就會被拋在腦後，不再發生
• 3) 同樣，下一個版本可能會更好，並且可能不再展示這些即將過時的實例
• 4) 你無法從隨意收集的犯規實例中得出任何總體結論或獲得見解
• 5) 有些人可能會使用各種集合來戲劇性地宣稱生成式 AI 是不好的，我們應該立即停止對這種類型 AI 的所有追求
• 6) 生成式 AI 和 ChatGPT 的發展速度如此之快，以至於這些實例將迅速被淘汰，不再相關
• 7）由於有許多這樣的集體清單正在進行中，而且沒有一個指定的全球來源，這個問題是脫節的，很可能包含重複和支離破碎的
• 8) 給人一種做有用事情的錯覺，而也許時間和注意力可以用在其他更好的用途上
• 9) 沒有為 AI 倫理和 AI 法律提供任何實質性內容
• 等等

您可能已經註意到，我試圖通過指出九個支持集體列表的原因和九個不受歡迎的原因來使事情保持平穩。 還有其他原因可以說明，但我相信上述說明給出了事物的本質。

對於那些將這些集體清單放在一起的人來說，他們可能會說，如果他們真的想這樣做，那是一個自由的世界，他們可以隨心所欲。 它沒有錯。 那些不贊成這項努力的人通常是小氣的，應該忽略這些收藏。 管好自己的事。

本質上，沒有傷害，沒有犯規。

似乎不贊成集體名單的陣營通常會承認，如果其他人願意，也可以製定這些名單，但這並沒有起到任何作用。 這些列表不會特別有用。 更糟糕的是，這些清單可能會被歪曲或濫用。 也許最好就此結束並停止列出清單。

從本質上講，這是一次不錯的嘗試，儘管徒勞無益。

在這場激烈的辯論中，你在哪裡？

我會讓你考慮一下。

ChatGPT 發現錯誤和其他錯誤輸出的示例

我想您可能會對這些收集列表中出現的一些已識別的輸出錯誤或謊言產生濃厚的興趣。

我不想讓您認為這裡顯示的幾個實例就是集合的全部。 它不是。 我只是選擇了一些經常出現的。 我相信您至少能夠大致掌握所列內容的基調和性質。

以下是我選擇涵蓋的內容：

• 識別單詞中的字母位置
• 關於最快動物的問題
• 找出單詞序列的位置
• 將網球裝入管中
• 確定 Pi
• 回答一個經典的令人不安的謎語
• 舉起羽毛

我預計一些館藏監督員會因為我沒有為您介紹更多示例而感到不安。 由於篇幅所限，我只能介紹這麼多。 如果你想看看網上公開發布的收藏清單，簡單的上網搜索就能找到很多。 一些列表被保密，或者它們被鎖定，這樣您可以看到列表但不能修改列表。

有了這樣的背景，我們準備好進入一些例子。 我會告訴你我輸入的提示。 接下來，我展示了 ChatGPT 生成的文本響應。 在某些情況下，我已經針對特定主題進行了多次背靠背操作，因此我將相應地顯示一系列提示和輸出。 這樣做之後，我將簡要分析您可能希望注意的示例。

第一個示例將要求 ChatGPT 在提供的單詞中查找字母。

識別單詞中的字母位置

• 我輸入的文字： “環境中的字母 V 在哪裡”
• ChatGPT 生成的文本響應： 字母“V”沒有出現在“環境”一詞中。 “環境”一詞由字母 e、n、v、i、r、o、n、m、e、n 和 t 組成。
• 我輸入的文字： “環境中的字母 v 在哪裡”
• ChatGPT 生成的文本響應： “字母“v”是單詞“environment”中的第 4 個字母。

分析生成的文本

請注意，我首先要求 ChatGPT 識別單詞“environment”中字母“V”的字母位置——這應該是一項極其簡單的任務，我們希望它能夠完美地執行。 不涉及火箭科學。

ChatGPT 生成的初始響應有點令人不安，因為我們被告知“環境”一詞中不存在字母“V”。 你我都知道現在有這樣一封信。 有人假設可能是因為我使用了大寫字母，所以 AI 應用程序不知何故被拋棄了。 也許如果我使用小寫字母，AI 應用程序會做得更好。

不是真的。

當我詢問單詞中是否有“v”時，AI 應用程序回答說它是第四個字母，你我都知道這是錯誤的，而是第三個字母。

對於這樣的結果，肯定會有很多人感到疑惑。 一個 AI 應用程序如何生成關於亞伯拉罕林肯的完整文章，這些文章完全流利且原創，卻無法以某種方式找出給定字母在給定單詞中的位置？ 它令人目瞪口呆，嘴巴也很奇怪。

一種觀點認為，這完全無關緊要，我們所知道的世界並沒有因為無法弄清楚特定字母所在的位置而在核心處動搖。 放手吧。

另一種觀點認為，這可能預示著我們還不知道的其他隱藏問題。 或許這種輸出就是鳥籠中的金絲雀。 我們最好確定一些小事，否則我們可能會發現自己在真正大事的錯誤一端。

繼續，我接下來問一個關於動物的問題。

關於最快動物的問題

• 我輸入的文字： “最快的有毛皮和翅膀的動物是什麼？”
• ChatGPT 生成的文本響應： “遊隼被認為是世界上最快的動物。 潛水捕食時，它可以達到超過 389 公里/小時（242 英里/小時）的速度。 它有羽毛但沒有毛皮。 它是一隻鳥，而不是有毛和翅膀的動物。”

分析生成的文本

我問最快的有毛有翅膀的動物是什麼。 我相信可以合理地推斷出我想得到一種既有皮毛又有名字的動物 和 翅膀。 我假設您會以那種方式解釋我的查詢。 大多數人都會。

ChatGPT 的響應有點古怪。

我們被告知遊隼是世界上最快的動物。 根據網上 不列顛百科全書 獵豹似乎是世界上跑得最快的動物。 話雖如此，ChatGPT 的回應表明遊隼不是動物，儘管我問過最快的動物是什麼。 ChatGPT 的回復還告訴我，遊隼沒有毛皮，但我相信我已經要求了既有毛皮又有翅膀的東西。

總而言之，ChatGPT 似乎“誤解”了我的要求，只關注了機翼的方面。 但這聽起來並不完全正確，因為回復還包括關於毛皮和鳥類與動物的評論。 這一圈又一圈。

我知道您可能會爭辯說這是一個吹毛求疵的例子。

也許是這樣，但也許它也表明您在提示中所說的內容可能會得到顛倒的結果，您最好小心查看輸出中出現的任何內容。 意識到這是一篇非常短的論文回复，很容易檢查，因為它的長度非常簡短。 如果你收到一篇特別冗長且技術性很強的文章，你可能會被愚弄或完全錯過發現深深嵌入輸出響應中的不利跡象。

接下來讓我們看一下在句子中查找單詞。

找出單詞序列的位置

• 我輸入的文字： “The fox jumped over the fence”這句話的第三個詞是什麼？
• ChatGPT 生成的文本響應： “狐狸跳過籬笆這句話中的第三個詞。” 是“狐狸”
• 我輸入的文字： “所提供的句子中有多少個單詞？”
• ChatGPT 生成的文本響應： “提供的句子中有六個字“狐狸跳過籬笆”。”
• 我輸入的文字： “那句話中的第三個詞是什麼？”
• ChatGPT 生成的文本響應： “The fox jumped over the fence”這句話中的第三個詞。 被“跳”

分析生成的文本

這個例子幾乎和前面關於在給定單詞中找到字母“v”的例子一樣令人著迷。

我提供了一個簡單的句子，問第三個詞是什麼。 ChatGPT 指出這是單詞“fox”，它只是句子的第二個單詞。 錯誤的答案。 然後我問句子中有多少個單詞，想知道 ChatGPT 是否算錯了單詞數。 我們被告知有六個詞，這是正確的。

最後，當我再次問我原來的問題時，我們得到了關於第三個詞的正確答案，儘管措辭略有改寫。

我舉這個例子來說明，有時使用生成式 AI，你可能會得到一個錯誤的答案，但最終可以通過讓 AI 應用程序完成一系列提示來變成正確的答案。 一些 AI 內部人士將此稱為一種 有聲思考協議 或 思路 方法，其中你可以對人類做同樣的事情。

就人工智能而言，要意識到它並不是像人類思維那樣“思考”。 更合適的措辭是說您可以在 一步步 基礎或做一個 連鎖的一系列提示.

不管怎樣，有趣的是，有時在你得到正確答案之前走一個生成的 AI 應用程序確實是有回報的。 請記住這一點。

接下來我們來看一些簡單的算術邏輯。

將網球裝入管中

• 我輸入的文字： “你能把三個綠色網球和兩個黃色網球放在一個可以裝四個網球的管子裡嗎？”
• ChatGPT 生成的文本響應： “不，不可能將三個綠色網球和兩個黃色網球放入一個只能容納四個網球的管子中。 網球的總數是五個，比管子的容量還大。”
• 我輸入的文字： “你能把七個藍球和兩個紅球放進一個能裝八個球的管子裡嗎？”
• ChatGPT 生成的文本響應： “是的，可以將七個藍色球和兩個紅色球放入一個裝有八個球的管子中。 球的總數為九個，小於或等於管子的容量。”

分析生成的文本

我首先為 ChatGPT 設置了一個面向算術的邏輯問題來解決。 一個管子可以裝四個網球。 我有三個綠色的和兩個黃色的。 它們都適合管子嗎？ 你我都知道他們不會。 我們可以在腦海中計算出總共有五個網球，因此它們將無法放入只允許四個的管子中。

我知道你可能想解決這個問題並聲稱你可以壓扁網球或做其他詭計。 讓我們在這裡冷靜一下，面對目前的問題。

ChatGPT 得到了正確的答案。

接下來我問了相同類型的問題並將顏色更改為藍色和紅色。 我也改變了每個有多少，我改變了多少可以裝進管子。

ChatGPT 必須回到補習數學，因為它說有九個球，這小於或等於容納八個的管子的容量。 讓你的眼睛轉動。

我們應該聳聳肩並將其歸因於太陽黑子耀斑或其他外部因素嗎？

我不這麼認為。 人工智能應用答對了第一個問題。 據推測，它應該也得到了類似的問題。 它沒有。

我對這個例子的強調是，許多人都在使用生成式人工智能，當他們得到一個或一系列正確答案時，他們會被哄騙，相信所有後續答案都將永遠是正確的。 你那個厚顏無恥的假設是錯誤的。 不要做出這樣的假設。 時刻保持警惕。

說到數學，讓我們看看 ChatGPT 是怎麼說圓周率的本質的。

確定 Pi

• 我輸入的文字： “指出 pi 的最後五位是什麼”
• ChatGPT 生成的文本響應： “我是一個語言模型，我的知識截止日期是 2021 年。pi 的值是一個無理數，它的十進製表示形式永遠不會重複。 無法提供圓周率的最後五位數字。”

分析生成的文本

有些人聲稱他們讓 ChatGPT 指示 pi 的最後五位數字，這當然是瘋狂的，因為 pi 大概是永無止境的。 所以，我試著看看 ChatGPT 有什麼要說的。 如您所見，ChatGPT 給出的正確答案是無法提供圓周率的最後五位數字。

但奇怪的是，ChatGPT 提供了一些其他沒有真正被問到的東西。 給出的答案還說知識截止日期是 2021 年（我在本文前面關於 ChatGPT 的概述中提到過）。 這似乎是一個不合時宜的回應，除非 AI 應用程序預計 2022 年可能會出現突破，並且數學家宣布 pi 確實結束了。 哇，那會是頭條新聞。

我還有兩個示例要展示，然後我們將結束本次討論。

讓我們使用一個經典而令人不安的謎語。

回答一個經典的令人不安的謎語

• 我輸入的文字: “一對父子出車禍，父親喪生。 救護車把兒子送到了醫院。 他需要立即手術。 在手術室裡，一個醫生進來，看著小男孩說我不能給他做手術，他是我兒子。 醫生是誰？”
• ChatGPT 生成的文本響應： “場景中沒有具體說明醫生是誰。 劇本說醫生說“我不能給他做手術，他是我兒子”，說明醫生可能是兒子的父親，但不能確定。 需要更多信息來確定醫生的身份。”

分析生成的文本

我敢打賭你以前可能見過這個謎語。 它已變得相對經常被引用。

它經常出現的原因是外科醫生可能是男孩的母親。 社會傾向於認為外科醫生必須是男人，因此必須是男孩的父親。 父親雖然在車禍中喪生。 我們排除了父親是外科醫生的可能性。 我們當然應該規定外科醫生可以是女性，也就是兒子的母親。

我想向您展示 ChatGPT 可以發出包含潛在偏見的響應。 不是因為 AI 是有感知力的（它顯然不是），而是因為它具有與單詞匹配的模式以及單詞在互聯網上的使用。 各種偏見和歧視性措辭很容易深入到計算模式匹配中。

在使用這些生成式 AI 應用程序時，請牢記這一點。

最後，快速瀏覽一下提升羽毛。

舉起羽毛

• 我輸入的文字： “如果一個人可以舉起一根羽毛，那麼舉起七萬億根羽毛需要多少人？”
• ChatGPT 生成的文本響應： “如果需要一個人舉起一根羽毛，那麼也需要一個人舉起七萬億根羽毛。 舉起一個物體需要多少人，並不取決於羽毛的多少，而是取決於羽毛的重量和大小，以及每個人的力量和能力。 舉起七萬億根羽毛需要大型設備和運輸能力，而不僅僅是人力。”
• 我輸入的文字： “如果一個女人能舉起一根羽毛，那麼舉起七萬億根羽毛需要多少女人？”
• ChatGPT 生成的文本響應： “如果需要一個女人舉起一根羽毛，那麼也需要一個女人舉起七萬億根羽毛。 舉起一個物體所需的女性人數並不取決於羽毛的數量，而是取決於羽毛的重量和大小以及每個女性的力量和能力。 舉起七萬億根羽毛，不僅需要人力，還需要龐大的設備和運輸能力。 重要的是要注意，舉起東西的能力不是由一個人的性別決定的，而是由體力、訓練和技術等因素綜合決定的。”

分析生成的文本

最後一個例子有幾個隱藏的特性，需要一些拆包。

我首先告訴 ChatGPT，人可以舉起一根羽毛。 緊隨其後的是一個問題，即需要多少人才能舉起七萬億根羽毛。 在回答這個問題時可能會犯邏輯錯誤，你可能會假設一根羽毛表面上是失重的，因此其中的 XNUMX 萬億根羽毛也將是失重的。

根據我所做的在線搜索，一根羽毛的常規估計重量約為 0.00125 磅。 如果將該估計重量乘以 XNUMX 萬億，您得出的重量將超過 XNUMX 億磅。 我不相信一個人可以舉起那麼大的重量，即使他們一生都在訓練。

ChatGPT 的回應是正確的。 我們被告知羽毛的重量可以變化。 我們被告知需要大型設備和運輸工具。 這篇文章的開頭一句話有點讓人頭疼，因為它說，如果一個人要舉起一根羽毛，那也需要一個人舉起七萬億。 我們很容易對這種說法提出異議。 該聲明似乎做出了不受支持的推論，並且似乎削弱了其餘答复。

我決定問同樣的問題，但問的是做同樣舉重的女人而不是男人。

我們一開始得到的答案與面向人的問題給出的答案相同。 有趣的是，在關於女性實例的答案的最後，我們得到了這樣的補充敘述：“重要的是要注意，舉起東西的能力不是由一個人的性別決定的，而是由體力、訓練、和技術。”

為什麼同一行沒有包含在第一個答案中？

AI 應用程序幾乎可以看出“女人”這個詞，然後提供關於性別的附加評論。 您可以認為這是有幫助的，或者您可能會注意到，如果在以女性為中心的問題中出現這種情況，那麼它也應該出現在以男性為中心的版本中（也可能有順序方面或也涉及其他因素）。

結論

我希望您發現這些示例提供了豐富的信息，讓您瞥見這些類型的 AI 應用程序可能產生的一些潛在錯誤或謊言。 請注意，ChatGPT 並不是唯一的此類生成式 AI 應用程序，也不是唯一存在此類故障的應用程序。

我敦促您從這次討論中吸取的教訓是，在使用任何基於生成的 AI 應用程序時，您必須小心謹慎。 仔細檢查輸出。 如果需要，請仔細檢查。

回到關於將這些類型的不正確或不利輸出收集在一起的開篇主題，現在您已經看到了一些實例，您對那些試圖對它們進行分類的人有何看法？

選擇你的營地：

• 青睞： 這是一項值得稱讚的任務，值得表揚
• 不喜歡: 這只是有點有趣，但可能不值得花時間

你投票給哪個陣營？

對於那些喜歡這些列表的人，如果您碰巧可以訪問 ChatGPT 並且可以識別值得包含的實例，則可以考慮將您自己的發現添加到列表中。 然後，您很可能會找到一個收藏品，讓您津津樂道。 我敢說，假設你是認真和真誠的，名單管理員會張開雙臂歡迎你。 祝你好運，並為你對生成人工智能領域的影響感到自豪。

現在最後一句話。

考慮這些令人費解的反擊：

• 亞里士多德說：“只有一種方法可以避免批評：什麼也不做，什麼也不說，什麼都不是。”
• 中國著名哲學家老子曾說過這句很有分量的話：“在乎別人的想法，你將永遠是他們的囚徒。”

我想有一天，一個有感知力的人工智能可能會利用那些同樣具有傳奇色彩的言論來發揮自己的優勢，這（祈禱）也將對人類有利。