通信世界網(wǎng)消息（CWW）你是否經(jīng)歷過(guò)大語(yǔ)言模型一本正經(jīng)“胡說(shuō)八道”？大模型在發(fā)展初期的幻覺(jué)問(wèn)題尤為嚴(yán)重，所回答問(wèn)題基本屬于“已讀亂回”，至于哪家企業(yè)的大模型不在本文探討之列，大家心知肚明，更重要的是大語(yǔ)言模型的幻覺(jué)問(wèn)題有了最新進(jìn)展。

今日，百度創(chuàng)始人李彥宏公開(kāi)表示，“大模型基本消除了幻覺(jué)”，這對(duì)于大語(yǔ)言模型來(lái)說(shuō)是一個(gè)巨大的進(jìn)步，過(guò)去一年來(lái)大模型的幻覺(jué)問(wèn)題為用戶造成了很多困擾，筆者在參加某次業(yè)內(nèi)會(huì)議時(shí)，有專家明確指出：“我們期望大模型即使不回答也不要輸出誤導(dǎo)性的錯(cuò)誤答案?！?/p>

面對(duì)大語(yǔ)言模型的幻覺(jué)問(wèn)題，各企業(yè)也在全力攻克，尤其頭部的一些大模型開(kāi)發(fā)廠商。OpenAl CEO Sam Altman曾指出：“我們正在努力解決幻覺(jué)問(wèn)題，這將需要一年半到兩年的時(shí)間?！?/p>

然而，信息技術(shù)行業(yè)發(fā)展到今天，已經(jīng)步入到“日日新”的階段，大型語(yǔ)言模型發(fā)展短短兩年時(shí)間，就已在該領(lǐng)域上取得了巨大突破。

那么，為什么LLM會(huì)出現(xiàn)幻覺(jué)？360創(chuàng)始人周鴻祎曾一針見(jiàn)血地指出：“目前人工智能存在一個(gè)全世界公認(rèn)的難題——它會(huì)產(chǎn)生幻覺(jué)，這是大模型本身固有的特性。”也就是說(shuō)，幻覺(jué)問(wèn)題是大語(yǔ)言模型與生俱來(lái)的。

此外，產(chǎn)生幻覺(jué)的原因可大致分為三個(gè)方面：數(shù)據(jù)源、訓(xùn)練過(guò)程、推理。

具體來(lái)看，大語(yǔ)言模型產(chǎn)生幻覺(jué)的原因包括數(shù)據(jù)質(zhì)量、算法、專業(yè)領(lǐng)域知識(shí)豐富度、是否擬合等。

從數(shù)據(jù)質(zhì)量上來(lái)看，大規(guī)模數(shù)據(jù)集中可能存在數(shù)據(jù)質(zhì)量問(wèn)題，例如缺失值、異常值或不一致性，這些問(wèn)題可能會(huì)導(dǎo)致大文本模型輸出錯(cuò)誤結(jié)果。

從算法選擇來(lái)看，目前大模型已經(jīng)遍地開(kāi)花，各家大模型選擇的算法各不相同，不同的算法對(duì)于大規(guī)模數(shù)據(jù)的處理方式各不相同，選擇不恰當(dāng)?shù)乃惴赡軐?dǎo)致對(duì)數(shù)據(jù)的錯(cuò)誤建模，從而產(chǎn)生幻覺(jué)。

從專業(yè)領(lǐng)域的知識(shí)的豐富程度來(lái)看，大語(yǔ)言模型在涉及某些專業(yè)領(lǐng)域時(shí)，會(huì)因?yàn)橹R(shí)儲(chǔ)備（語(yǔ)料）不充足或者不能理解專業(yè)領(lǐng)域的數(shù)據(jù)，產(chǎn)生對(duì)客觀事實(shí)的錯(cuò)誤解讀。

從大語(yǔ)言模型訓(xùn)練的角度來(lái)看，存在過(guò)擬合的問(wèn)題。模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但是對(duì)樣本外的數(shù)據(jù)進(jìn)行測(cè)試時(shí)表現(xiàn)效果不佳，欠擬合和過(guò)擬合的大模型出現(xiàn)幻覺(jué)的概率一般較高。

雖然大語(yǔ)言模型幻覺(jué)一度困擾開(kāi)發(fā)者和用戶，但有人卻持有不同的觀點(diǎn)——大模型幻覺(jué)是非常寶貴的特性，之所以有這樣的觀點(diǎn)，是他們認(rèn)為因?yàn)椤盎糜X(jué)和創(chuàng)新其實(shí)只有一線之隔”，未來(lái)，如何破除幻覺(jué)和創(chuàng)新的壁壘將是大模型努力的方向。

其實(shí)大語(yǔ)言模型發(fā)展到今天，面臨的不止“幻覺(jué)”這一個(gè)挑戰(zhàn)，如未來(lái)隨著數(shù)據(jù)量的巨增，必須要進(jìn)行模型壓縮與優(yōu)化；多模態(tài)模型與大語(yǔ)言模型的結(jié)合，將自然語(yǔ)言處理與計(jì)算機(jī)視覺(jué)、語(yǔ)音處理等多模態(tài)信息相結(jié)合，擴(kuò)大應(yīng)用場(chǎng)景。