十多位OpenAI員工聯(lián)名吹哨：前沿AI公司會隱瞞風(fēng)險，內(nèi)部監(jiān)管機制就是擺設(shè)！

編譯 | 陳駿達

編輯 | Panken

智東西6月5日消息，OpenAI安全疑云又有新瓜了。據(jù)報道，前超級對齊部門成員奧波德·阿申布倫納（Leopold Aschenbrenner）透露了他被開除的真實原因——他給幾位董事會成員分享了一份OpenAI安全備忘錄，結(jié)果招致OpenAI管理層的不滿。

今年4月，阿申布倫納被OpenAI以泄露公司機密為由解雇。他說OpenAI當(dāng)時很清楚地告訴他，開除他的主要原因就是這份備忘錄。之后阿申布倫納上線了一個網(wǎng)站，165頁PDF文件匯總了他在OpenAI工作期間所了解的信息，還創(chuàng)辦了一家專注于通用人工智能（AGI）的投資公司。

地址：https://situational-awareness.ai/

感到“背叛”的不只是阿申布倫納。13位來自O(shè)penAI和Google DeepMind的前員工與現(xiàn)員工聯(lián)合發(fā)布一封公開信，揭發(fā)OpenAI的魯莽和保密文化，強調(diào)前沿AI技術(shù)的嚴峻風(fēng)險，表達了對AI公司在開發(fā)和推廣AI技術(shù)時利益優(yōu)先、打壓異見者和規(guī)避監(jiān)管等種種行徑的擔(dān)憂。

這封公開信還獲得了兩位2018年圖靈獎得主約書亞·本吉奧（Yoshua Bengio）、喬弗里·辛頓（Geoffrey Hinton）的署名支持。加州大學(xué)伯克利分校伯克利分校計算機科學(xué)教授、人類兼容人工智能中心主任斯圖亞特·拉塞爾（Stuart Russell）也在公開信末尾署名。

▲OpenAI和Google DeepMind前員工與現(xiàn)員工公開信原文部分截圖

OpenAI最初是一個非營利研究實驗室，在官網(wǎng)上OpenAI將公司的使命定義為“確保通用人工智能（AGI）造福人類”。但簽署公開信的OpenAI前員工們稱，OpenAI目前的重點是利潤和增長。其中一位簽署人丹尼爾·科科塔約洛（Daniel Kokotajlo）說道：“公司對構(gòu)建AGI感到十分興奮，正在與其它公司進行魯莽的競爭，力求成為第一家實現(xiàn)AGI的公司?！?/p>

01.

公開信呼吁OpenAI優(yōu)化內(nèi)部監(jiān)督渠道，但OpenAI認為自己在安全上做得很好

簽署這封公開信的各大AI公司的員工們呼吁，AI公司不應(yīng)繼續(xù)簽訂或執(zhí)行任何不詆毀條款、提供匿名監(jiān)督的程序、支持公開批評的文化，并保證不會對批評者進行任何報復(fù)。

以下是對此封公開信的完整編譯：

警告先進AI的權(quán)利

我們是各大前沿AI公司的現(xiàn)任和前任員工，我們相信AI技術(shù)有潛力為人類帶來前所未有的好處。

我們也理解這些技術(shù)帶來的嚴重風(fēng)險。這些風(fēng)險包括加劇現(xiàn)有的不平等、操縱和誤導(dǎo)信息、以及失控的自主AI系統(tǒng)可能導(dǎo)致人類滅絕。AI公司自身已經(jīng)承認了這些風(fēng)險，政府和其他AI專家也有類似的看法。

我們希望這些風(fēng)險能夠在科學(xué)界、政策制定者和公眾的充分指導(dǎo)下得到有效的緩解。然而，AI公司有強烈的財務(wù)動機避免有效的監(jiān)督，我們不相信公司為自己量身定制的治理結(jié)構(gòu)能夠改變這一點。

AI公司擁有大量關(guān)于其系統(tǒng)能力和局限性的非公開信息，這些信息涉及系統(tǒng)的保護措施以及系統(tǒng)的各種風(fēng)險水平。然而，他們目前只需要向政府分享部分信息，并不背負著向政府匯報的強烈義務(wù)，更沒有義務(wù)向社會公眾分享任何信息。我們不認為他們可以完全自愿地分享這些信息。

只要這些公司沒有有效的政府監(jiān)督，那現(xiàn)任和前任員工就是少數(shù)能夠讓公司負起責(zé)任的公眾人士之一。然而，廣泛的保密協(xié)議阻止了我們表達擔(dān)憂，除非是向那些可能未能解決這些問題的公司報告。普通的舉報者保護不足以應(yīng)對此類問題，因為它們主要關(guān)注非法活動，而我們關(guān)心的許多風(fēng)險尚未受到監(jiān)管?？紤]到行業(yè)歷史上一些案例中的各種報復(fù)行為，我們中的一些人合理地擔(dān)心會受到各種形式的報復(fù)。我們并不是第一個遇到或談?wù)撨@些問題的人。

因此，我們呼吁先進的AI公司承諾以下原則：

公司不會簽訂或執(zhí)行任何禁止因風(fēng)險相關(guān)問題而對公司進行詆毀或批評的協(xié)議，也不會通過阻礙任何既得經(jīng)濟利益來報復(fù)風(fēng)險相關(guān)的批評；

公司將創(chuàng)建一個可驗證的匿名流程，使現(xiàn)任和前任員工能夠向公司的董事會、監(jiān)管機構(gòu)以及具有相關(guān)專業(yè)知識的適當(dāng)獨立組織提出風(fēng)險相關(guān)的擔(dān)憂；

公司將支持公開批評的文化，并允許現(xiàn)任和前任員工向公眾、公司的董事會、監(jiān)管機構(gòu)或具有相關(guān)專業(yè)知識的適當(dāng)獨立組織提出他們對技術(shù)風(fēng)險的相關(guān)擔(dān)憂，只要適當(dāng)保護商業(yè)秘密和其他知識產(chǎn)權(quán)利益即可；

公司不會報復(fù)那些在其他流程失敗后，公開分享風(fēng)險相關(guān)機密信息的現(xiàn)任和前任員工。我們知道，任何報告風(fēng)險相關(guān)擔(dān)憂的努力都應(yīng)避免不必要地泄露機密信息。

因此，一旦存在一個足夠安全的匿名提出擔(dān)憂的流程，現(xiàn)任和前任員工應(yīng)首先通過此類流程提出擔(dān)憂。

然而，只要此類流程不存在，現(xiàn)任和前任員工應(yīng)保留向公眾報告其擔(dān)憂的自由。

簽署人：

雅各布·希爾頓（Jacob Hilton），前OpenAI員工

丹尼爾·科科塔約洛（Daniel Kokotajlo），前OpenAI員工

拉瑪納·庫馬爾（Ramana Kumar），前Google DeepMind員工

尼爾·奈達（Neel Nanda），現(xiàn)Google DeepMind員工，前Anthropic員工

威廉·桑德斯（William Saunders），前OpenAI員工

卡羅爾·懷恩萊特（Carroll Wainwright），前OpenAI員工

丹尼爾·齊格勒（Daniel Ziegler），前OpenAI員工

匿名，現(xiàn)OpenAI員工

匿名，現(xiàn)OpenAI員工

匿名，現(xiàn)OpenAI員工

匿名，現(xiàn)OpenAI員工

匿名，前OpenAI員工

匿名，前OpenAI員工

支持者：

約書亞·本吉奧（Yoshua Bengio）

喬弗里·辛頓（Geoffrey Hinton）

斯圖亞特·羅素（Stuart Russell）

2024年6月4日

OpenAI駁斥了本次公開信事件中對OpenAI內(nèi)部AI安全問題的指控，他們向外媒Android Authority做出如下回應(yīng)：

“我們公司過去便一直提供最強大和最安全的AI系統(tǒng)。我們對此感到自豪，并相信我們能利用科學(xué)的方法來應(yīng)對風(fēng)險。我們同意，鑒于這項技術(shù)的重要性，進行嚴格的辯論是至關(guān)重要的，我們將繼續(xù)與政府、社會和世界各地的其他群體進行接觸。這也是為什么我們?yōu)閱T工提供了表達擔(dān)憂的途徑，包括一個匿名的誠信熱線以及由我們董事會成員和公司安全部門領(lǐng)導(dǎo)組成的安全與保障委員會?！?/p>

02.

安全委員會被架空，內(nèi)部監(jiān)管幾近失效

在此封公開信中，來自各家開發(fā)AI系統(tǒng)的企業(yè)的現(xiàn)任和前任員工們呼吁，在OpenAI和其他AI公司停止使用不詆毀和保密協(xié)議。他們寫道，“廣泛的保密協(xié)議阻止我們表達自己的擔(dān)憂”。

他們還呼吁AI公司“支持公開批評的文化”，并建立一個報告流程，讓員工匿名提出與安全相關(guān)的擔(dān)憂。

勞倫斯·萊西格（Lawrence Lessig）是一位知名的法律學(xué)者，同時擔(dān)任簽署本次公開信的團體的公益律師。他在接受采訪時稱，傳統(tǒng)的舉報人保護適用于非法行為的舉報，但鑒于AI技術(shù)的重要性，AI公司有必要為公司員工創(chuàng)造開放自由的討論空間，讓員工表達對技術(shù)風(fēng)險和潛在危害的看法。

萊西格認為，公司員工是一道重要的安全防線，如果他們不能自由地表達觀點并不受報復(fù)，那么這條防線就會失效。

丹尼爾·科科塔約洛（Daniel Kokotajlo）是聯(lián)名簽署此封公開信的OpenAI前員工之一。他在2022年加入OpenAI，所任職務(wù)是公司的治理研究員。今年4月份他正式從OpenAI辭職，原因是他對公司“失去了信心，認為OpenAI無法在AI系統(tǒng)實現(xiàn)接近人類水平表現(xiàn)時負責(zé)任地行事”。

▲OpenAI前員工丹尼爾·科科塔約洛（Daniel Kokotajlo）

在OpenAI，科科塔約洛看到，盡管公司已經(jīng)制定了安全相關(guān)的規(guī)章制度，但這些規(guī)章制度常常處于被架空的狀態(tài)。例如，OpenAI與微軟共同建立了部署安全委員會，此委員會的主要目的是為了在正式發(fā)布模型之前評估新模型中可能包含的種種風(fēng)險，但這一委員會似乎并沒有起到應(yīng)有的作用。

科科塔約洛稱，2022年，微軟開始在印度秘密測試新版必應(yīng)（Bing）搜索引擎，部分OpenAI員工認為這一版本的搜索引擎使用了當(dāng)時還未發(fā)布的GPT-4模型。OpenAI和微軟的聯(lián)合部署安全委員會對這一測試并不知情，他們是在收到一系列來自用戶對必應(yīng)搜索引擎在測試期間異常行為的報告后，才知道此次測試的存在。而這并沒有減慢微軟推出新版必應(yīng)搜索引擎的步伐。

微軟的發(fā)言人弗蘭克·肖（Frank Shaw）否認了這些指控。他說在印度的測試中沒有使用任何OpenAI的模型，包括GPT-4。微軟首次發(fā)布基于GPT-4模型的產(chǎn)品是在2023年初，并且獲得了部署安全委員會的批準。

科科塔約洛稱，他對OpenAI的自我監(jiān)管持懷疑態(tài)度。OpenAI采取了種種措施避免監(jiān)督，這也包括來自前員工的批評和曝光。

在離開OpenAI時，公司員工需要簽署一份極為復(fù)雜的離職文件，其中就包含不詆毀條款和保密協(xié)議。若不簽署，OpenAI就將收回離職員工的既得股權(quán)，而這些股權(quán)占據(jù)了OpenAI員工薪酬方案的絕大部分。

但仍有部分員工拒絕簽署這些協(xié)議，科科塔約洛便是其中一員。他稱自己的既得股權(quán)價值大約為170萬美元，這構(gòu)成了他凈資產(chǎn)的絕大部分，而他已經(jīng)準備好放棄這些財產(chǎn)。

在媒體報道了這些協(xié)議后，OpenAI迅速作出回應(yīng)，稱公司從未從前員工處收回過既得股權(quán)，也不會這么做。OpenAI首席執(zhí)行官薩姆·阿爾特曼（Sam Altman）稱自己感到特別尷尬，因為他不知道這些協(xié)議的存在。但相關(guān)文件上卻有阿爾特曼本人的簽名。

▲有阿爾特曼本人簽名的文件

03.

安全問題劣跡斑斑

曾直接開除表達擔(dān)憂的員工

OpenAI已經(jīng)不是第一次面臨安全相關(guān)的問題了。在OpenAI的GPT-4o模型發(fā)布不久后，OpenAI原首席科學(xué)家，同時也是支持罷免阿爾特曼的4位前董事會成員之一的伊爾亞·蘇茨克維（Ilya Sutskever）正式官宣離職。他曾在《衛(wèi)報》拍攝的紀錄片中，對強大的AI系統(tǒng)的潛在風(fēng)險發(fā)出警報。

伊爾亞離職不久后，OpenAI超級對齊團隊聯(lián)合負責(zé)人楊·萊克（Jan Leike）也在推特上宣布離職。他稱OpenAI領(lǐng)導(dǎo)層關(guān)于公司核心優(yōu)先事項的看法一直不合，超級對齊團隊過去幾個月一直在逆風(fēng)航行，在提升模型安全性的道路上受到公司內(nèi)部的重重阻礙。萊克在官宣離職的一系列推文中稱，“（OpenAI的）安全文化和安全流程已經(jīng)讓位給閃亮的產(chǎn)品”。

▲萊克在X平臺上的推文

此外，根據(jù)報道，今年早些時候因為“泄密”而被解雇的OpenAI安全研究員利奧波德·阿申布倫納（Leopold Aschenbrenner）實際上是因為向董事會提出安全問題而被解雇的，他也否認自己向董事會提供備忘錄包含任何敏感信息。

▲OpenAI前安全研究員利奧波德·阿申布倫納（Leopold Aschenbrenner）

阿申布倫納在工作時寫了一份關(guān)于OpenAI安全性的內(nèi)部備忘錄，認為OpenAI的模型權(quán)重和算法關(guān)鍵機密極易遭到竊取。

在他完成這份備忘錄的幾周之后，OpenAI遭遇了一場重大安全事件，這促使他與幾位OpenAI董事會成員分享這份備忘錄。然而，他說公司領(lǐng)導(dǎo)層對他與公司董事會分享備忘錄的行為極為不滿，因為董事會在安全方面給領(lǐng)導(dǎo)層帶來了麻煩。

阿申布倫納在上述事件幾個月后被解雇，而解雇時OpenAI清楚地告訴他，這份安全備忘錄就是他被解雇的主要原因。

04.

結(jié)語：安全等問題頻繁暴雷

OpenAI深陷輿論風(fēng)波

本次公開信事件只是OpenAI近期面臨的諸多危機中的一個。OpenAI目前仍未完全從去年的那場“未遂政變”中恢復(fù)過來，OpenAI近期的人事動蕩便是最好的證據(jù)。

OpenAI還面臨著與內(nèi)容創(chuàng)作者的法律斗爭，他們指控OpenAI竊取版權(quán)作品來訓(xùn)練其模型。

好萊塢知名演員斯嘉麗·約翰遜（Scarlett Johansson）更是指控OpenAI在未經(jīng)許可的情況下使用了她的聲音。根據(jù)最新報道，來自美國亞利桑那州州立大學(xué)的聲音鑒識專家認為，斯嘉麗的聲音比98%的女演員都要更接近OpenAI的Sky語音。

OpenAI的前董事會成員海倫·托納（Helen Toner）也在近期指控OpenAI首席執(zhí)行官阿爾特曼在公司內(nèi)部的種種不當(dāng)行為，并質(zhì)疑阿爾特曼能否帶領(lǐng)公司安全地實現(xiàn)AGI的目標。

或許，正如OpenAI前員工科科塔約洛所說，我們需要的是某種民主問責(zé)且透明的治理結(jié)構(gòu)，來負責(zé)管理AI技術(shù)的發(fā)展，而不是只有幾家不同的私營公司相互競爭，并將一切都列為機密。

（本文系網(wǎng)易新聞?網(wǎng)易號特色內(nèi)容激勵計劃簽約賬號【智東西】原創(chuàng)內(nèi)容，未經(jīng)賬號授權(quán)，禁止隨意轉(zhuǎn)載。）

原標題：《OpenAI員工們開始反抗了！》

閱讀原文