道路千萬(wàn)條，套路第一條。

這屆高考，應(yīng)該是過(guò)去五年來(lái)，最特殊的一次。因?yàn)槎嗔艘粋€(gè)新角色——AI考生。

第一天的語(yǔ)文考試剛結(jié)束，全網(wǎng)就掀起AI作文大賽。GhatGPT、文心一言、通義千問(wèn)等AI大模型，被人們拿來(lái)寫(xiě)高考作文。幾秒鐘就能生成一篇，不僅速度驚人、邏輯嚴(yán)密，還能引經(jīng)據(jù)典。

(資料圖)

乍一看，AI大模型寫(xiě)作文，簡(jiǎn)直太輕松，似乎對(duì)人類構(gòu)成降維打擊。畢竟，論知識(shí)儲(chǔ)備量，沒(méi)有人可以跟AI比。AI把整個(gè)互聯(lián)網(wǎng)上的資料都學(xué)習(xí)消化了，然后模仿人類的表達(dá)方式，用自己的邏輯輸出。

但是，如果我們仔細(xì)分析AI考生的“答卷”，會(huì)發(fā)現(xiàn)AI并沒(méi)有很多人想象的那樣無(wú)所不能。AI大模型普遍存在的套路化寫(xiě)作、不會(huì)數(shù)數(shù)、胡說(shuō)八道等問(wèn)題，也在作文中出現(xiàn)。

事實(shí)上，按照高考作文的評(píng)分標(biāo)準(zhǔn)，AI生成的作文都存在某些方面的局限。戰(zhàn)勝人類，目前還不現(xiàn)實(shí)。

深A(yù)I用高考作文測(cè)試了三款A(yù)I大模型——GhatGPT（OpenAI）、文心一言（百度）、通義千問(wèn)（阿里），發(fā)現(xiàn)了一些有趣的結(jié)論。

比如，AI不會(huì)數(shù)數(shù)，文心一言、通義千問(wèn)的作文都沒(méi)有達(dá)到“不少于800字”的硬性要求；一本正經(jīng)胡說(shuō)八道的毛病還沒(méi)改，為了湊字?jǐn)?shù)可以車(chē)轱轆話來(lái)回說(shuō)；AI寫(xiě)作文基本離不開(kāi)套路，一個(gè)模板反復(fù)套用。

以下是詳細(xì)內(nèi)容，歡迎討論。

01 一個(gè)沒(méi)有感情的答題機(jī)器

今年高考全國(guó)甲卷的作文主題是“人·技術(shù)·時(shí)間”，要求以“人們因技術(shù)發(fā)展得以更好地掌控時(shí)間，但也有人因此成了時(shí)間的仆人”這句話展開(kāi)，寫(xiě)自己的聯(lián)想與思考。

我們先看一下教育部教育考試院發(fā)布的《試題解析》：

劃重點(diǎn)：引導(dǎo)考生深入思考信息時(shí)代理性分析和審慎判斷的重要性。這是文章的內(nèi)核。

深A(yù)I測(cè)試了三個(gè)大模型發(fā)現(xiàn)，它們都沒(méi)有抓住這個(gè)內(nèi)核——東拉西扯說(shuō)一通，啥都說(shuō)了但其實(shí)啥也沒(méi)說(shuō)。

先看GhatGPT的作文：

再看文心一言的：

最后看通義千問(wèn)的：

這三篇作文，堪稱頂級(jí)“端水大師”，圍繞主題正反來(lái)回說(shuō)，就是沒(méi)有把“批判性思維”這個(gè)點(diǎn)說(shuō)透。只有文心一言明確提到了“深入思考和批判性思維的培養(yǎng)”。

通義千問(wèn)的作文是最空洞的。它把重點(diǎn)放在了“時(shí)間管理”上，偏離了主題，而且論述的道理也是人人皆知的常識(shí)。另外，通義千問(wèn)的作文沒(méi)有標(biāo)題，扣分。

我們?cè)儆眯抡n標(biāo)I卷的作文試題“故事的力量”，看看三家的表現(xiàn)。

這篇作文要求根據(jù)以下這段話，寫(xiě)自己的聯(lián)想和思考：好的故事，可以幫我們更好地表達(dá)和溝通，可以觸動(dòng)心靈、啟迪智慧；好的故事，可以改變一個(gè)人的命運(yùn)，可以展現(xiàn)一個(gè)民族的形象……故事是有力量的。

GhatGPT的作文：

文心一言的：

通義千問(wèn)的：

不得不說(shuō)，除了通義千問(wèn)的作文相對(duì)平淡，其他兩篇的表述方式、行文邏輯，尤其是用詞還是可圈可點(diǎn)的。尤其是文心一言用場(chǎng)景化的開(kāi)場(chǎng)方式，讓人眼前一亮。

不過(guò)問(wèn)題也是顯而易見(jiàn)的——同一個(gè)事情用不同的話術(shù)翻來(lái)覆去說(shuō)，導(dǎo)致全文讀下來(lái)，給人一種“你說(shuō)的我都知道”的感覺(jué)。

一個(gè)沒(méi)有感情的答題機(jī)器，這是很多人的評(píng)價(jià)。

“內(nèi)容空洞，車(chē)轱轆變著來(lái)回說(shuō)。”有人評(píng)價(jià)。還有人說(shuō)：“全是沒(méi)營(yíng)養(yǎng)沒(méi)內(nèi)涵的大白話。”

我們不妨拆解一下文心一言的這篇作文，就會(huì)知道什么是“車(chē)轱轆話”。

文中標(biāo)黃、標(biāo)綠的部分，都是完全相同的意思，甚至可以說(shuō)是相同的話術(shù)，在文中反復(fù)出現(xiàn)。在文末“總結(jié)來(lái)說(shuō)”標(biāo)藍(lán)的一整段，則是把文中的觀點(diǎn)和話術(shù)，搞了個(gè)大雜燴。

這給人一種湊字?jǐn)?shù)的即視感。

深A(yù)I更改提示詞，讓ChatGPT想象自己是一個(gè)在高考現(xiàn)場(chǎng)的考生，并再次寫(xiě)一篇作文，它上來(lái)第一句話就是“當(dāng)我坐在這個(gè)考試的座位上時(shí)，我的手中拿著一只先進(jìn)的電子筆......”

這樣參加考試，估計(jì)會(huì)被判違規(guī)，直接零分。

沒(méi)有靈魂，是AI作文最大的減分項(xiàng)。

02 套路，全是套路

為了讓作文看起來(lái)像那么回事，AI用了很多套路。

它們很喜歡用“首先、其次、然后、最后”的句式。最典型的是ChatGPT，最后一段一定會(huì)是“總的來(lái)說(shuō)……”

比如ChatGPT的這兩篇作文：

文心一言、通義千問(wèn)也有相似的套路。前面一頓輸出猛如虎，最后一定用“總而言之”“總的來(lái)說(shuō)”結(jié)尾。

這就跟彈吉他一樣，只要掌握了萬(wàn)能和弦公式（比如萬(wàn)能的卡農(nóng)進(jìn)行），就能彈出上百首曲子。

甚至于，我們讓文心一言給自己寫(xiě)的作文打分，它也是“首先、其次、此外、綜上……”一頓長(zhǎng)篇大論。

而在“人·技術(shù)·時(shí)間”的作文題中，ChatGPT和通義千問(wèn)居然用了幾乎完全相同的表述：用“那么”提出一個(gè)問(wèn)題，用“首先、其次、最后”展開(kāi)具體論述。框架和邏輯像是一個(gè)模子里刻出來(lái)的。

盡管如此，文心一言非常自信地給自己的高考作文打出了90分的高分（假設(shè)滿分100分），還自我評(píng)價(jià)“值得肯定”。我們把它的作文丟給ChatGPT，ChatGPT竟然毫不吝嗇地給出了100分的滿分……

AI大模型就像工業(yè)流水線，批量生產(chǎn)作文。但本質(zhì)上，無(wú)論它說(shuō)出來(lái)的話多么像人話，驅(qū)動(dòng)的技術(shù)都是數(shù)學(xué)和統(tǒng)計(jì)，而非意識(shí)。

在人工智能行業(yè)，讓AI聽(tīng)懂人話、會(huì)說(shuō)人話，一直以來(lái)都是一件很困難的事情。人類的自然語(yǔ)言是一個(gè)極其復(fù)雜的系統(tǒng)，科學(xué)家讓機(jī)器模擬了人類大腦的神經(jīng)網(wǎng)絡(luò)，使其具備深度學(xué)習(xí)能力，但始終不具備跟人一樣的自然語(yǔ)言能力。

于是有人另辟蹊徑，把語(yǔ)言問(wèn)題轉(zhuǎn)化成數(shù)學(xué)問(wèn)題，然后通過(guò)計(jì)算，間接解決自然語(yǔ)言處理的問(wèn)題。按照自然語(yǔ)言處理專家吳軍的說(shuō)法：語(yǔ)言模型不是邏輯框架，不是生物學(xué)的反饋系統(tǒng)，而是由數(shù)學(xué)公式構(gòu)建的模型。這其中的關(guān)鍵詞是“數(shù)學(xué)”。

這決定了人工智能沒(méi)有自我意識(shí)或情緒，無(wú)法根據(jù)個(gè)人感覺(jué)來(lái)說(shuō)話。寫(xiě)作文對(duì)它們來(lái)說(shuō)，是以結(jié)果和任務(wù)為導(dǎo)向的一種邏輯表達(dá)。

而通過(guò)抓取全網(wǎng)海量數(shù)據(jù)進(jìn)行訓(xùn)練，不斷學(xué)習(xí)模仿人類的語(yǔ)言表達(dá)方式，AI大模型現(xiàn)在說(shuō)話已經(jīng)非常接近人類，雖然它還不懂文字背后的意思，但不影響交流。

在根本上，AI沒(méi)有自己的思想。這也是為什么它的作文看起來(lái)頭頭是道，仔細(xì)一品，你會(huì)發(fā)現(xiàn)沒(méi)有靈魂，全是套路的根本原因。

03 AI真的不會(huì)數(shù)數(shù)

前面我們提到，語(yǔ)言模型的參數(shù)都是靠統(tǒng)計(jì)得出的。它的原理是給定一個(gè)文本的歷史，預(yù)測(cè)下一個(gè)詞的概率，然后補(bǔ)全下文。

2017年谷歌首次提出基于自我注意力機(jī)制（self-attention）的變換器（Transformer）模型，現(xiàn)在類似ChatGPT之類的語(yǔ)言大模型，都是建立在Transformer架構(gòu)上。

Transformer的注意力機(jī)制比之前的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）、GRU和LSTM等深度學(xué)習(xí)算法具有極長(zhǎng)的記憶力。它還可以記住輸入的順序，所以能讀懂“我愛(ài)你”和“你愛(ài)我”是不一樣的意思。

但即便如此，它依然有局限。

比如，深A(yù)I讓通義千問(wèn)給它自己的作文打個(gè)分，它混淆了“你”和“我”的概念。開(kāi)頭說(shuō)是它自己的文章，然后又說(shuō)是“你”的文章……

《大模型時(shí)代》作者龍志勇對(duì)深A(yù)I解釋，這可能是因?yàn)檎驹谧笥一ゲ慕嵌龋瑩Q位了。

在測(cè)試AI大模型寫(xiě)高考作文的過(guò)程中，我們還發(fā)現(xiàn)一個(gè)有意思的現(xiàn)象——AI不會(huì)數(shù)數(shù)。

高考作文有一個(gè)要求是字?jǐn)?shù)不少于800字。深A(yù)I跟大模型進(jìn)行了多次互動(dòng)，除了ChatGPT，文心一言和通義千問(wèn)第一版交上來(lái)的作文都沒(méi)有達(dá)到800字。

比如文心一言，深A(yù)I多次提醒，文章字?jǐn)?shù)不夠800，需要重寫(xiě)。文心一言每次都是：首先態(tài)度非常謙卑地道歉，保證一定符合要求，然后快速用十幾秒鐘的時(shí)間生成一篇新的作文——還是不到800字。

這個(gè)“考生”讀不懂作文題，且屢教不改，是個(gè)大大的減分項(xiàng)。

龍志勇對(duì)深A(yù)I解釋：“大模型預(yù)測(cè)下一個(gè)詞的訓(xùn)練方式，沒(méi)有讓它學(xué)會(huì)數(shù)數(shù)，它并不知道800是多少，更不懂得數(shù)著字?jǐn)?shù)來(lái)生成文章。”

事實(shí)上，別說(shuō)800，連10這樣的數(shù)字，文心一言也數(shù)不清。

這是語(yǔ)言模型普遍存在的問(wèn)題。至于為什么數(shù)不清，什么時(shí)候、通過(guò)什么辦法就能數(shù)清，目前還沒(méi)有結(jié)論。“雖然有一些提示工程的技巧可以幫助它數(shù)數(shù)，但并不是通用的解法。大模型現(xiàn)階段就是靠做黑箱實(shí)驗(yàn)來(lái)驗(yàn)證它的能力，靠做黑箱訓(xùn)練來(lái)提升它的能力。”龍志勇說(shuō)。

在龍志勇的建議下，深A(yù)I更改提示詞，輸入“內(nèi)容再豐富，再長(zhǎng)一些”，文心一言輸出的作文超過(guò)了800字。

在前面的高考作文題中，ChatGPT的作文超過(guò)了800字，但其實(shí)，它也沒(méi)學(xué)會(huì)數(shù)數(shù)。

ChatGPT這樣對(duì)深A(yù)I解釋：

所以，其實(shí)“優(yōu)等生”ChatGPT的作文字?jǐn)?shù)達(dá)標(biāo)，是靠蒙的。它也不知道800字是多少，就盡可能多寫(xiě)點(diǎn)。

還不能完全聽(tīng)懂人話，但又具備超強(qiáng)的知識(shí)儲(chǔ)備和表達(dá)能力，就導(dǎo)致有時(shí)候會(huì)出現(xiàn)讓人哭笑不得的場(chǎng)面。

從這次AI大戰(zhàn)高考作文的結(jié)果來(lái)看，大模型的寫(xiě)作能力已經(jīng)有很大進(jìn)步。在選詞用詞、邏輯論述、引經(jīng)據(jù)典方面，甚至超過(guò)很多人。

不過(guò)，對(duì)作文質(zhì)量的評(píng)價(jià)，本身帶有主觀因素，不像數(shù)學(xué)題一樣只有唯一正確答案。好看的詞句千篇一律，有趣的靈魂萬(wàn)里挑一。如何給作文注入靈魂，AI大模型還沒(méi)玩明白。AI大模型固有的一些問(wèn)題，也還需要通過(guò)技術(shù)迭代慢慢解決。

標(biāo)簽：