胡說八道不可怕，一本正經(jīng)的胡說八道才可怕，你因?yàn)橐槐菊?jīng)而信了ta的胡說八道，更可怕……這就是當(dāng)下我們（捏著鼻子）使用 AI 時(shí)需要面對(duì)的現(xiàn)狀。
如何避免 AI 生成虛假的事實(shí)內(nèi)容，對(duì)使用者產(chǎn)生誤導(dǎo)呢？各個(gè)大模型平臺(tái)一直在研究和嘗試，而要想“避免”問題，首先得“識(shí)別”問題。6 月 19 日，牛津大學(xué)一個(gè)研究團(tuán)隊(duì)發(fā)表在《自然》雜志上的一項(xiàng)新研究，提出了一種頗有潛力的給AI“測(cè)謊”的方法，下面咱們就詳細(xì)聊聊。
大模型的胡說八道和風(fēng)險(xiǎn)
“幻覺”（Hallucinations）是大語言模型（例如 ChatGPT、Gemini、或文心一言）面臨的一個(gè)關(guān)鍵問題，也是網(wǎng)絡(luò)上常見的用戶體驗(yàn)吐槽類型之一，這個(gè)術(shù)語可以粗略地理解為 AI 一本正經(jīng)的胡說八道。
比如，你問 ChatGPT：恐龍扛狼是什么意思？
它會(huì)一本正經(jīng)地告訴你——這象征著舊勢(shì)力和新力量的對(duì)抗，是弱小但機(jī)智靈活的挑戰(zhàn)者和強(qiáng)大卻缺乏靈活的對(duì)手之間的博弈。
答案非常洗滌靈魂，上升到哲理和價(jià)值觀高度，但是，它在胡說八道。
這只是大語言模型常見的“幻覺”類型之一，其他類型還包括：
1、錯(cuò)誤的歷史事實(shí)
“誰是美國的第一位總統(tǒng)？” ChatGPT 回答：“托馬斯·杰斐遜。”
2、錯(cuò)誤的科學(xué)信息
“水的沸點(diǎn)是多少？” ChatGPT 回答：“水在標(biāo)準(zhǔn)大氣壓下的沸點(diǎn)是 120 攝氏度。”
3、編造引用，AI 縫合怪
“愛因斯坦在相對(duì)論中說了什么？” ChatGPT 回答：“愛因斯坦曾在《相對(duì)論與現(xiàn)實(shí)》一書中說過，‘時(shí)間是一種幻覺’。”雖然愛因斯坦的確討論過時(shí)間的相對(duì)性，但他并沒有在所謂的《相對(duì)論與現(xiàn)實(shí)》一書中發(fā)表這句話。實(shí)際上，這本書可能根本不存在。這是模型編造的引用。
4、誤導(dǎo)性的健康、法務(wù)、財(cái)務(wù)建議
你問：“感冒了應(yīng)該吃什么藥？” ChatGPT 回答：“感冒了應(yīng)該吃抗生素。”
除了上述問題，相信大家在使用 AI 的過程中也會(huì)碰到其他胡說八道的情況。盡管各個(gè)大模型都在積極處理這類問題，上面舉的例子很多可能也已經(jīng)得到了修復(fù)，但這類問題一直難以找到“根治”或“清除”的辦法，在檢驗(yàn)判斷上也往往需要人工反饋或數(shù)據(jù)集標(biāo)注，這會(huì)帶來不低的成本。
這讓我們使用 AI 的體驗(yàn)大打折扣——誰敢毫無保留地信任一個(gè)滿嘴跑火車的助手呢？何況有些問題事關(guān)健康和安全，弄錯(cuò)可是要出大事的。
有沒有什么辦法，能更通用化地“計(jì)算”出 AI 到底有沒有瞎說呢？
“語義熵”如何幫助大模型檢測(cè)謊言？
日前（6 月 19 日），牛津大學(xué)團(tuán)隊(duì)在《自然》（Nature）雜志發(fā)表了一篇論文，提出了一種新的分析和計(jì)算方法，為解決大語言模型“幻覺”問題，打開了新思路。
圖源：《自然》（Nature）官網(wǎng)，中文翻譯來自瀏覽器插件“沉浸式翻譯”
團(tuán)隊(duì)提出了一種基于統(tǒng)計(jì)學(xué)的熵估計(jì)方法，稱為“語義熵”，來檢測(cè)大語言模型中的“編造”（confabulation），即大模型飽受詬病的“胡言亂語癥”。作者在多個(gè)數(shù)據(jù)集上測(cè)試了語義熵方法，結(jié)果顯示語義熵方法在檢測(cè)編造方面顯著優(yōu)于其他基準(zhǔn)方法。
那么“語義熵”究竟是什么呢？
拋開冗長的專業(yè)解釋，我們可以將語義熵簡單理解為概率統(tǒng)計(jì)的一種指標(biāo)，用來測(cè)量一段答案中的信息是否一致。如果熵值較低，即大家都給出類似的答案，說明信息可信。但如果熵值較高，答案各不相同，說明信息可能有問題。
這有點(diǎn)類似于，如果一個(gè)人在撒謊，他可能沒辦法每次把謊言的細(xì)節(jié)編造得一模一樣。一個(gè)謊言往往需要無數(shù)個(gè)謊言來幫它扯圓。從信息論的角度來看，可能會(huì)引入更多的不確定性和隨機(jī)性。說謊者需要引入額外的信息或細(xì)節(jié)來支持其不真實(shí)的敘述，這可能會(huì)增加信息的不確定性或熵值，進(jìn)而被算法檢測(cè)出來。
比如，當(dāng)你問 AI“世界上最高的山是哪座？”
大模型可能會(huì)給出幾個(gè)答案：“珠穆朗瑪峰”“乞力馬扎羅山”“安第斯山脈”。
通過計(jì)算這些答案的語義熵，發(fā)現(xiàn)“珠穆朗瑪峰”這個(gè)答案出現(xiàn)頻率最高，其他答案則很少甚至沒有出現(xiàn)。低語義熵值表明“珠穆朗瑪峰”是可信的答案。
語義熵，既有優(yōu)勢(shì)，也有弱點(diǎn)
語義熵檢測(cè)方法的優(yōu)勢(shì)在于不需要任何先驗(yàn)知識(shí)，無需額外的監(jiān)督或強(qiáng)化學(xué)習(xí)。通俗地講，使用這種方法時(shí)，并不需要上知天文下知地理，只需要遇事不決看看大家都怎么說。
而目前常用的諸如標(biāo)注數(shù)據(jù)、對(duì)抗性訓(xùn)練等方法，“泛化”效果（即舉一反三的能力），都不如通過語義熵計(jì)算。即便是大模型從未遇到過的新語義場(chǎng)景，也能適用語義熵方法。
當(dāng)然，語義熵雖然是一種相對(duì)有效的辦法，但不是萬靈藥，它自己也有一定局限性：
1、處理模糊和復(fù)雜問題的能力有限
語義熵在處理非常模糊或復(fù)雜的問題時(shí)可能不夠有效。
在面對(duì)多種可能正確答案的問題時(shí)，比如“最好的編程語言是什么？”，語義熵可能無法明確區(qū)分哪一個(gè)答案更可靠，因?yàn)槎鄠€(gè)答案都可能是合理的。
（誰說是 Python？我 C++第一個(gè)不服！！）
2、忽略上下文和常識(shí)
語義熵主要基于統(tǒng)計(jì)和概率計(jì)算，可能忽略了上下文和常識(shí)的影響。在一些需要綜合上下文和常識(shí)來判斷的問題中，語義熵可能無法提供準(zhǔn)確的可靠性評(píng)估。比如經(jīng)常談戀愛的朋友可能有體會(huì)，情侶間一句話：“我沒事兒，你忙吧。”
你覺得 TA 是真沒事兒，還是有很大事兒？
在這種情況下，得結(jié)合上下文場(chǎng)景、人物狀態(tài)等信息判斷，不同的上下文會(huì)導(dǎo)致不同的理解。語義熵只能基于詞語的統(tǒng)計(jì)概率進(jìn)行評(píng)估，可能會(huì)給出錯(cuò)誤的判斷。
再比如常識(shí)性的判斷，既物理世界的客觀規(guī)律，假設(shè)我們問一個(gè)問題：“太陽從哪邊升起？”
正確答案是“東邊”。然而，如果我們有以下兩個(gè)候選答案：
1.太陽從東邊升起。
2.太陽從西邊升起。
（這可能由于模型訓(xùn)練數(shù)據(jù)的偏差和生成過程的隨機(jī)性導(dǎo)致）
即使語義熵檢測(cè)到兩個(gè)答案的概率分布接近，但常識(shí)告訴我們答案 1 才是正確的。語義熵在這種情況下可能無法提供足夠的信息來判斷答案的可靠性。
3、如果訓(xùn)練數(shù)據(jù)被無意或刻意“污染”，語義熵也沒辦法很好識(shí)別
如果用錯(cuò)誤的數(shù)據(jù)，給大模型施加了“思想鋼印”，模型對(duì)其生成的錯(cuò)誤陳述非常“自信”（即錯(cuò)誤陳述在模型的輸出概率分布中占主導(dǎo)地位），那么這些陳述的熵值可能并不會(huì)很高。
最后總結(jié)一下，從大模型的內(nèi)容生成機(jī)制上看，“幻覺”問題沒辦法 100%避免。當(dāng)我們?cè)谑褂肁I生成的內(nèi)容時(shí)，重要的數(shù)理推理、歷史事件或科學(xué)結(jié)論、法律和健康知識(shí)等方面最好進(jìn)行人工核查。
不過，換個(gè)角度，“幻覺”也是大語言模型的創(chuàng)造力體現(xiàn)，我們也許應(yīng)該善用大模型的“幻覺”能力。畢竟幻覺不一定是 bug（故障），而是大模型的 feature（特點(diǎn)）。
如果需要檢索事實(shí)，我們已經(jīng)有了搜索引擎工具。但如果需要有人幫我們編輯一個(gè)“恐龍扛狼”的無厘頭劇本，那么，大語言模型顯然是個(gè)更好的助手。
比如筆者費(fèi)盡心思想畫一幅恐龍扛狼圖，但某 AI 油鹽不進(jìn)，畫出了一幅恐龍把狼吞了（疑似）的圖，難怪理解不了恐龍扛狼的真意啊……
參考文獻(xiàn)
[1] S. Farquhar, J. Kossen, L. Kuhn, and Y. Gal, “Detecting hallucinations in large language models using semantic entropy,” Nature, vol. 630, no. 8017, pp. 625–630, 2024, doi: 10.1038/s41586-024-07421-0.
