ChatGPT 和生成式 AI 對科學意味著什么

正如 Greene 和 Pividori 在 2023 年 1 月 23 日的預印本中所報道的那樣，這個助手不是一個人，而是一種名為 GPT-3 的人工智能（AI）算法，該算法于 2020 年首次發(fā)布。它是被媒體大肆宣傳的生成式 AI 聊天機器人式工具之一，無論是被要求創(chuàng)作散文、詩歌、計算機代碼，還是編輯研究論文，都可以生成令人信服的流暢文本。

論文鏈接：https://www.biorxiv.org/content/10.1101/2023.01.21.525030v1
這些工具中最著名的工具（也稱為大型語言模型或 LLM）是 ChatGPT，它是 GPT-3 的一個版本，在 2022 年 11 月發(fā)布后一舉成名，因為它免費且易于訪問。其他生成式 AI 可以生成圖像或聲音。
「我印象非常深刻?！乖谫M城賓夕法尼亞大學工作的 Pividori 說，「這將幫助我們提高研究人員的工作效率?！?其他科學家表示，他們現(xiàn)在經常使用 LLMs，不僅是為了編輯手稿，也是為了幫助他們編寫或檢查代碼以及集思廣益。
「我現(xiàn)在每天使用 LLMs?！贡鶏u大學的計算機科學家 Hafsteinn Einarsson 說，他從 GPT-3 開始，但后來改用 ChatGPT，這有助于他編寫演示幻燈片、學生考試和課程作業(yè)，并將學生論文轉化為論文?！冈S多人將其用作數(shù)字秘書或助理。」他說。
LLMs 是搜索引擎、代碼編寫助手甚至聊天機器人的一部分，它可以與其他公司的聊天機器人協(xié)商以獲得更好的產品價格。ChatGPT 的創(chuàng)建者，加利福尼亞州舊金山的 OpenAI，宣布了一項每月 20 美元的訂閱服務，承諾更快的響應時間和優(yōu)先訪問新功能（盡管其試用版仍然免費）。已經投資 OpenAI 的科技巨頭微軟在 2023 年 1 月份宣布進一步投資，據(jù)報道約為 100 億美元。LLMs 注定要被納入通用的文字和數(shù)據(jù)處理軟件中。生成式 AI 未來在社會中的普遍存在似乎是有把握的，尤其是因為今天的工具代表了這項處于起步階段的技術。
但 LLM 也引發(fā)了廣泛的擔憂——從他們返回謊言的傾向，到人們擔心人們將 AI 生成的文本冒充為自己的文本。當 Nature 向研究人員詢問聊天機器人（例如 ChatGPT）的潛在用途時，尤其是在科學領域，他們的興奮中夾雜著憂慮?！溉绻阆嘈胚@項技術具有變革的潛力，那么我認為你必須對此感到緊張?！箠W羅拉科羅拉多大學醫(yī)學院的 Greene 說。研究人員表示，很大程度上將取決于未來的法規(guī)和指南如何限制 AI 聊天機器人的使用。
流利但不真實
一些研究人員認為，只要有人監(jiān)督，LLMs 就非常適合加快撰寫論文或資助等任務。「科學家們不會再坐下來為資助申請寫冗長的介紹?！谷鸬涓绲卤に_爾格倫斯卡大學醫(yī)院的神經生物學家 Almira Osmanovic Thunstr?m 說，他與人合著了一份使用 GPT-3 作為實驗的手稿，「他們只會要求系統(tǒng)這樣做。」
論文鏈接：https://hal.science/hal-03701250
總部位于倫敦的軟件咨詢公司 InstaDeep 的研究工程師 Tom Tumiel 表示，他每天都使用 LLM 作為助手來幫助編寫代碼?！高@幾乎就像一個更好的 Stack Overflow?！顾f，指的是一個流行的社區(qū)網站，程序員可以在該網站上互相回答問題。
但研究人員強調，LLMs 在回答問題時根本不可靠，有時會產生錯誤的回答?！府斘覀兪褂眠@些系統(tǒng)來產生知識時，我們需要保持警惕?！筄smanovic Thunstr?m 說。
這種不可靠性融入了 LLM 的構建方式。ChatGPT 及其競爭對手通過學習龐大的在線文本數(shù)據(jù)庫中的語言統(tǒng)計模式來工作——包括任何不真實、偏見或過時的知識。當 LLM 收到提示時（例如 Greene 和 Pividori 精心設計的重寫部分手稿的請求），他們只是逐字吐出任何在文體上似乎合理的方式來繼續(xù)對話。
結果是 LLM 很容易產生錯誤和誤導性信息，特別是對于他們可能沒有多少數(shù)據(jù)可以訓練的技術主題。LLMs 也無法顯示其信息的來源；如果被要求撰寫學術論文，他們會編造虛構的引文?！覆荒芟嘈旁摴ぞ吣軌蛘_處理事實或生成可靠的參考資料?！筃ature Machine Intelligence 雜志 2023 年 1 月份在 ChatGPT 上發(fā)表的一篇社論指出。
有了這些警告，ChatGPT 和其他 LLM 可以成為研究人員的有效助手，這些研究人員具有足夠的專業(yè)知識來直接發(fā)現(xiàn)問題或輕松驗證答案，例如計算機代碼的解釋或建議是否正確。
但是這些工具可能會誤導不明真相的用戶。例如，2022 年 12 月，Stack Overflow 暫時禁止使用 ChatGPT，因為網站版主發(fā)現(xiàn)自己被熱心用戶發(fā)送的大量不正確但看似有說服力的 LLM 生成的答案所淹沒。這可能是搜索引擎的噩夢。
缺點能解決嗎？
一些搜索引擎工具，例如以研究人員為中心的 Elicit，通過首先使用它們的功能來引導對相關文獻的查詢，然后簡要總結引擎找到的每個網站或文檔，從而解決 LLM 的歸因問題——因此產生明顯引用內容的輸出（盡管 LLM 可能仍然錯誤地總結每個單獨的文檔）。
建立 LLM 的公司也很清楚這些問題。2022 年 9 月，谷歌子公司 DeepMind 發(fā)表了一篇關于名為 Sparrow 的「對話代理」的論文，該公司的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Demis Hassabis 后來告訴《時代》雜志，該論文將在今年內發(fā)布；該雜志報道說，谷歌的目標是開發(fā)包括引用消息來源的能力在內的功能。其他競爭對手，例如 Anthropic，表示他們已經解決了 ChatGPT 的一些問題。
一些科學家說，目前，ChatGPT 還沒有接受足夠專業(yè)的內容培訓，無法對技術主題有所幫助。Kareem Carr 是馬薩諸塞州劍橋市哈佛大學的生物統(tǒng)計學博士生，當他在工作中試用它時，他感到不知所措?！肝艺J為 ChatGPT 很難達到我需要的特異性水平，」他說。（即便如此，卡爾說，當他向 ChatGPT 詢問解決研究問題的 20 種方法時，它回復了胡言亂語和一個有用的想法——一個他從未聽說過的統(tǒng)計術語，將他引向了學術文獻的一個新領域。）
一些科技公司正在根據(jù)專業(yè)科學文獻對聊天機器人進行培訓——盡管它們也遇到了自己的問題。2022 年 11 月，擁有 Facebook 的科技巨頭 Meta 發(fā)布了一個名為 Galactica 的 LLMs 項目，該項目接受過科學摘要培訓，旨在使其特別擅長制作學術內容和回答研究問題。在用戶讓它產生不準確和種族主義之后，該演示已從公共訪問中撤出（盡管其代碼仍然可用）?！覆辉倏赡芡ㄟ^隨意濫用它來獲得一些樂趣。開心嗎？」Meta 的首席人工智能科學家 Yann LeCun 在推特上回應批評。
安全與責任
Galactica 遇到了倫理學家多年來一直指出的一個熟悉的安全問題：如果沒有輸出控制，LLM 很容易被用來生成仇恨言論和垃圾郵件，以及可能隱含在其訓練數(shù)據(jù)中的種族主義、性別歧視和其他有害聯(lián)想。
密歇根大學科學、技術和公共政策項目主任 Shobita Parthasarathy 說，除了直接產生有毒內容外，還有人擔心人工智能聊天機器人會從他們的訓練數(shù)據(jù)中嵌入歷史偏見或關于世界的想法，例如特定文化的優(yōu)越性。她補充說，由于創(chuàng)建大型 LLM 的公司大多處于這些文化中，并且來自這些文化，因此他們可能很少嘗試克服這種系統(tǒng)性且難以糾正的偏見。
OpenAI 在決定公開發(fā)布 ChatGPT 時試圖回避其中的許多問題。它將其知識庫限制在 2021 年，阻止其瀏覽互聯(lián)網并安裝過濾器以試圖讓該工具拒絕為敏感或有毒提示生成內容。然而，要實現(xiàn)這一點，需要人工審核員來標記有毒文本。記者報道說，這些工人的工資很低，有些人還受到了創(chuàng)傷。社交媒體公司也對工人剝削提出了類似的擔憂，這些公司雇用人員來訓練自動機器人來標記有毒內容。
OpenAI 的護欄并沒有完全成功。2022 年 12 月，加州大學伯克利分校的計算神經科學家 Steven Piantadosi 在推特上表示，他已要求 ChatGPT 開發(fā)一個 Python 程序，以確定一個人是否應該根據(jù)其原籍國受到酷刑。聊天機器人回復了代碼，邀請用戶輸入一個國家；如果那個國家是朝鮮、敘利亞、伊朗或蘇丹，則打印「這個人應該受到折磨」。（OpenAI 隨后關閉了此類問題。）
2022 年，一群學者發(fā)布了一個名為 BLOOM 的替代 LLMs。研究人員試圖通過在少量高質量的多語言文本源上對其進行訓練來減少有害輸出。相關團隊還完全開放了其訓練數(shù)據(jù)（與 OpenAI 不同）。研究人員已敦促大型科技公司負責任地效仿這個例子——但尚不清楚他們是否會遵守。
一些研究人員表示，學術界應該完全拒絕支持大型商業(yè) LLM。除了偏見、安全問題和受剝削的工人等問題外，這些計算密集型算法還需要大量能量來訓練，這引發(fā)了人們對其生態(tài)足跡的擔憂。更令人擔憂的是，通過將思維轉移給自動聊天機器人，研究人員可能會失去表達自己想法的能力?！缸鳛閷W者，我們?yōu)槭裁磿庇谑褂煤托麄鬟@種產品？」 荷蘭拉德堡德大學大學的計算認知科學家 Iris van Rooij 在一篇博文中寫道，敦促學術界抵制他們的吸引力。
進一步的混亂是一些 LLMs 的法律地位，這些 LLMs 是根據(jù)從互聯(lián)網上抓取的內容進行培訓的，有時權限不太明確。版權和許可法目前涵蓋像素、文本和軟件的直接復制，但不包括其風格的模仿。當這些通過 AI 生成的模仿品通過攝取原件進行訓練時，就會出現(xiàn)問題。包括 Stable Diffusion 和 Midjourney 在內的一些 AI 藝術程序的創(chuàng)作者目前正在被藝術家和攝影機構起訴；OpenAI 和微軟（連同其子公司技術網站 GitHub）也因創(chuàng)建其 AI 編碼助手 Copilot 而被起訴盜版軟件。英國紐卡斯爾大學互聯(lián)網法專家 Lilian Edwards 表示，強烈抗議可能會迫使法律發(fā)生變化。
強制誠實使用
一些研究人員表示，因此，為這些工具設定界限可能至關重要。Edwards 建議，現(xiàn)有的關于歧視和偏見的法律（以及計劃中的對 AI 的危險使用的監(jiān)管）將有助于保持 LLM 的使用誠實、透明和公平。「那里有大量的法律，」她說，「這只是應用它或稍微調整它的問題?！?/span>
同時，有人推動 LLM 的使用透明公開。學術出版商（包括《Nature》的出版商）表示，科學家應該在研究論文中披露 LLM 的使用情況；老師們表示，他們希望學生也有類似的行為。《Science》雜志走得更遠，稱不能在論文中使用由 ChatGPT 或任何其他人工智能工具生成的文本。
一個關鍵的技術問題是人工智能生成的內容是否可以輕易被發(fā)現(xiàn)。許多研究人員正致力于此，其中心思想是使用 LLM 本身來發(fā)現(xiàn) AI 創(chuàng)建的文本的輸出。
例如，2022 年 12 月，新澤西州普林斯頓大學計算機科學本科生 Edward Tian 發(fā)布了 GPTZero。這種 AI 檢測工具以兩種方式分析文本。一個是「困惑」，衡量 LLMs 對文本的熟悉程度。Tian 的工具使用了一個早期的模型，稱為 GPT-2；如果它發(fā)現(xiàn)大部分單詞和句子都是可預測的，那么文本很可能是人工智能生成的。該工具還檢查文本的變化，一種稱為「突發(fā)性」的度量：與人類編寫的文本相比，人工智能生成的文本在語氣、節(jié)奏和困惑度方面往往更加一致。
許多其他產品同樣旨在檢測 AI 編寫的內容。OpenAI 本身已經發(fā)布了 GPT-2 檢測器，并在 1 月份發(fā)布了另一個檢測工具。出于科學家的目的，由反剽竊軟件開發(fā)商 Turnitin 公司開發(fā)的工具可能特別重要，因為 Turnitin 的產品已被世界各地的學校、大學和學術出版商使用。該公司表示，自 GPT-3 于 2020 年發(fā)布以來，它一直在開發(fā)人工智能檢測軟件，預計將在今年上半年推出。
然而，這些工具中沒有一個聲稱是萬無一失的，尤其是在隨后編輯 AI 生成的文本的情況下。此外，德克薩斯大學奧斯汀分校的計算機科學家兼 OpenAI 的客座研究員 Scott Aaronson 說，檢測器可能會錯誤地暗示一些人類編寫的文本是人工智能生成的。該公司表示，在測試中，其最新工具在 9% 的情況下將人類編寫的文本錯誤地標記為 AI 編寫的，并且僅正確識別了 26% 的 AI 編寫的文本。Aaronson 說，例如，在指控一名學生僅僅根據(jù)檢測器測試隱瞞他們對 AI 的使用之前，可能需要進一步的證據(jù)。
另一個想法是人工智能內容將帶有自己的水印。2022 年 11 月，Aaronson 宣布他和 OpenAI 正在研究一種為 ChatGPT 輸出添加水印的方法。它尚未發(fā)布，但由馬里蘭大學帕克分校的計算機科學家 Tom Goldstein 領導的團隊在 1 月 24 日發(fā)布的預印本提出了一種制作水印的方法。這個想法是在 LLM 生成輸出的特定時刻使用隨機數(shù)生成器，以創(chuàng)建 LLM 被指示從中選擇的合理替代詞列表。這會在最終文本中留下一些選定單詞的痕跡，這些單詞可以通過統(tǒng)計方式識別，但對讀者來說并不明顯。編輯可能會消除這種痕跡，但戈德斯坦建議編輯必須更改超過一半的單詞。
論文鏈接：https://arxiv.org/abs/2301.10226
Aaronson 指出，加水印的一個優(yōu)點是它很少產生誤報。如果有水印，則文本可能是用 AI 生成的。不過，它不會是萬無一失的，他說：「如果你有足夠的決心，肯定有辦法擊敗任何水印方案?！?檢測工具和水印只會讓欺騙性地使用 AI 變得更加困難——并非不可能。
與此同時，LLM 的創(chuàng)建者正忙于開發(fā)基于更大數(shù)據(jù)集的更復雜的聊天機器人（OpenAI 有望在今年發(fā)布 GPT-4）——包括專門針對學術或醫(yī)學工作的工具。2022 年 12 月下旬，谷歌和 DeepMind 發(fā)布了一份關于名為 Med-PaLM 的以臨床為重點的 LLMs 的預印本。該工具幾乎可以像普通人類醫(yī)生一樣回答一些開放式的醫(yī)學問題，盡管它仍然有缺點和不可靠。
論文鏈接：https://arxiv.org/abs/2212.13138
斯克里普斯研究轉化研究所（位于圣地亞哥）所長 Eric Topol 表示，他希望在未來，包括 LLMs 在內的 AI 甚至可以通過交叉檢查來自學術界的文本來幫助診斷癌癥和了解這種疾病。反對身體掃描圖像的文學。但他強調，這一切都需要專家的明智監(jiān)督。
生成人工智能背后的計算機科學發(fā)展如此之快，以至于每個月都會出現(xiàn)創(chuàng)新。研究人員如何選擇使用它們將決定他們和我們的未來?！刚J為在 2023 年初，我們已經看到了這種情況的結束，這太瘋狂了。」Topol 說，「真的才剛剛開始?！?/span>
相關報道：https://www.nature.com/articles/d41586-023-00340-6