整理 | 鄭麗媛
上線沒到一個月,ChatGPT 已經被網友玩出了「花」:寫詩、編劇本、寫程式碼、做計算題……在 ChatGPT 獲得頗多讚譽的同時,近來一些學術界教授卻發現了它另一種令人擔憂的用途:學生正在利用 ChatGPT 代寫論文。
為此,弗曼大學哲學助理教授 Darren Hick 還在 Facebook 上發佈了一篇長文,開頭就是:「今天,我把我抓到的第一個利用 AI 寫論文的作弊者報上去了,我想有些人可能會對其中的細節感到好奇。」


句法連貫,但毫無意義
事情的起因,是 Darren Hick 要求學生課後寫一篇 500 字的文章,主題關於 18 世紀哲學家大衛 • 休謨和恐怖悖論,即研究人們是如何從他們害怕的東西中獲得樂趣的。
很正常的一個作業,也並沒有什麼特別的難度,至少 Darren Hick 是這麼認為的——所以他事先怎麼也沒想到,居然會有學生用 ChatGPT 來寫這篇文章。
「有一篇文章很特別,看起來很乾淨,但隱約能看出 AI 的痕跡。它寫得很像一個非常聰明的 12 年級學生寫的。」Darren Hick 指出,ChatGPT 的回答會用一些沒有錯、但特別奇怪的措辭,就像你教別人怎麼寫文章時,對方還沒搞清楚自己風格之前的寫法。
Darren Hick 表示:「就我而言,我認為這篇文章可能是用 AI 生成的第一個跡象是:儘管文章的句法連貫,但它毫無意義。」
具體來說,這篇可疑文章的主題是大衛 • 休謨和恐怖悖論,的確沒跑題,但全文卻以一種完全錯誤的方式「自信而徹底地描述了休謨關於恐怖悖論的觀點」。文章確實說了一些關於休謨的真實事件,也介紹了恐怖悖論的概念,但之後就全是胡扯了。
如果是一個根本不了解大衛 • 休謨和恐怖悖論的人來看這篇文章,可能不會發現任何問題,說不定還覺得很好理解;但對於 Darren Hick 來說,這篇文章就完全是「狗屁不通」了。

由 GPT 技術生成的可能性:99.9%
有了這個懷疑後,Darren Hick 便開始思考:要如何證實他的猜測?
所幸,Darren Hick 知道開發 ChatGPT 的同一個團隊還開發了 GPT 檢測器(https://huggingface.co/openai-detector/),它使用與 ChatGPT 生成響應相同的方法來分析文字,可以計算文字是由 GPT 技術生成的可能性。
於是,Darren Hick 便將他懷疑的這篇文章複製到 GPT 檢測器中,發現其中任意一段都有 99.9% 的可能性是由 GPT 技術生成的:「這讓我對我的假設有了信心。」
但與我們日常查重論文時會體現原文來自哪裡的軟體不同,即便檢測到了 99.9% 的可能性,GPT 檢測器也沒有提供任何引證——第一個問題是,ChatGPT 不搜尋網際網路,所以只要資料不在它的訓練資料中,它就無法訪問;第二個問題是,ChatGPT 沒有辦法展示它是如何產生答案的。
不過,Darren Hick 發現,雖然每次對 ChatGPT 進行提問它都會給出些許不同的答案,但「在文章結構上有一些一致性」。因此,Darren Hick 開始場景復現:他試圖帶入學生視角,想象學生會問的問題,讓 ChatGPT 寫出了同樣主題的文章——雖然並非完全相同,但也十分類似。
到這種程度,Darren Hick 覺得他的推測已經八九不離十了。他直接去質問了這名學生,對方也承認使用了 ChatGPT,因此被掛科。最終,Darren Hick 將這名本科生移交給了學校的學術院長處理。

教授:「我感到極度恐懼」
儘管這次 Darren Hick 成功抓到了這名學生,但正如他所說的那樣:「這次成功是因為學生自己承認使用了 ChatGPT。如果她堅持否認,我的這些推測並不能作為足夠的證據。」
更可怕的是,ChatGPT 作為一種 AI 語言模型,它才剛上線不到 1 個月,未來它會繼續不斷學習,變得越來越強大——而目前 Darren Hick 可以發現的那些蛛絲馬跡,也可能在 ChatGPT 之後的升級最佳化中,變得更難發現。
「ChatGPT 太先進了,它肯定會流行起來的。這與讓同學幫你寫文章還不同,ChatGPT 是免費和即時的,我的學生用 ChatGPT 寫那篇文章大約只需要 5 分鐘。」Darren Hick 感慨:「我感到極度恐懼,同時在思考這對我的日常工作到底意味著什麼。」
當前,不論是學校還是政府方面,都還沒有任何有關這類事件的處理標準。因此 Darren Hick 認為,目前最好的辦法可能只能是「即興答辯」了:讓有嫌疑的學生在沒有準備的情況下回答導師的提問,以此判斷他是否完全掌握了作業內容。
參考連結:
https://nypost.com/2022/12/26/students-using-chatgpt-to-cheat-professor-warns/?utm_source=reddit.com
https://www.facebook.com/title17/posts/pfbid0DSWaYQVwJxcgSGosS88h7kZn6dA7bmw5ziuRQ5br2JMJcAHCi5Up7EJbJKdgwEZwl