OpenAI員工們開始反抗了

OpenAI員工們開始反抗了

wulanmu 2025-03-17 百度 2 次瀏覽 0個評論
OpenAI員工們開始反抗了

十多位OpenAI員工聯(lián)名吹哨:前沿AI公司會隱瞞風(fēng)險,內(nèi)部監(jiān)管機制就是擺設(shè)!

編譯 | 陳駿達

編輯 | Panken

智東西6月5日消息,OpenAI安全疑云又有新瓜了。據(jù)報道,前超級對齊部門成員奧波德·阿申布倫納(Leopold Aschenbrenner)透露了他被開除的真實原因——他給幾位董事會成員分享了一份OpenAI安全備忘錄,結(jié)果招致OpenAI管理層的不滿。

今年4月,阿申布倫納被OpenAI以泄露公司機密為由解雇。他說OpenAI當(dāng)時很清楚地告訴他,開除他的主要原因就是這份備忘錄。之后阿申布倫納上線了一個網(wǎng)站,165頁PDF文件匯總了他在OpenAI工作期間所了解的信息,還創(chuàng)辦了一家專注于通用人工智能(AGI)的投資公司。

OpenAI員工們開始反抗了

地址:https://situational-awareness.ai/

感到“背叛”的不只是阿申布倫納。13位來自O(shè)penAI和Google DeepMind的前員工與現(xiàn)員工聯(lián)合發(fā)布一封公開信,揭發(fā)OpenAI的魯莽和保密文化,強調(diào)前沿AI技術(shù)的嚴峻風(fēng)險,表達了對AI公司在開發(fā)和推廣AI技術(shù)時利益優(yōu)先、打壓異見者和規(guī)避監(jiān)管等種種行徑的擔(dān)憂。

這封公開信還獲得了兩位2018年圖靈獎得主約書亞·本吉奧(Yoshua Bengio)、喬弗里·辛頓(Geoffrey Hinton)的署名支持。加州大學(xué)伯克利分校伯克利分校計算機科學(xué)教授、人類兼容人工智能中心主任斯圖亞特·拉塞爾(Stuart Russell)也在公開信末尾署名。

OpenAI員工們開始反抗了

▲OpenAI和Google DeepMind前員工與現(xiàn)員工公開信原文部分截圖

OpenAI最初是一個非營利研究實驗室,在官網(wǎng)上OpenAI將公司的使命定義為“確保通用人工智能(AGI)造福人類”。但簽署公開信的OpenAI前員工們稱,OpenAI目前的重點是利潤和增長。其中一位簽署人丹尼爾·科科塔約洛(Daniel Kokotajlo)說道:“公司對構(gòu)建AGI感到十分興奮,正在與其它公司進行魯莽的競爭,力求成為第一家實現(xiàn)AGI的公司?!?/p>

01.

公開信呼吁OpenAI優(yōu)化內(nèi)部監(jiān)督渠道,但OpenAI認為自己在安全上做得很好

簽署這封公開信的各大AI公司的員工們呼吁,AI公司不應(yīng)繼續(xù)簽訂或執(zhí)行任何不詆毀條款、提供匿名監(jiān)督的程序、支持公開批評的文化,并保證不會對批評者進行任何報復(fù)。

以下是對此封公開信的完整編譯:

警告先進AI的權(quán)利

我們是各大前沿AI公司的現(xiàn)任和前任員工,我們相信AI技術(shù)有潛力為人類帶來前所未有的好處。

我們也理解這些技術(shù)帶來的嚴重風(fēng)險。這些風(fēng)險包括加劇現(xiàn)有的不平等、操縱和誤導(dǎo)信息、以及失控的自主AI系統(tǒng)可能導(dǎo)致人類滅絕。AI公司自身已經(jīng)承認了這些風(fēng)險,政府和其他AI專家也有類似的看法。

我們希望這些風(fēng)險能夠在科學(xué)界、政策制定者和公眾的充分指導(dǎo)下得到有效的緩解。然而,AI公司有強烈的財務(wù)動機避免有效的監(jiān)督,我們不相信公司為自己量身定制的治理結(jié)構(gòu)能夠改變這一點。

AI公司擁有大量關(guān)于其系統(tǒng)能力和局限性的非公開信息,這些信息涉及系統(tǒng)的保護措施以及系統(tǒng)的各種風(fēng)險水平。然而,他們目前只需要向政府分享部分信息,并不背負著向政府匯報的強烈義務(wù),更沒有義務(wù)向社會公眾分享任何信息。我們不認為他們可以完全自愿地分享這些信息。

只要這些公司沒有有效的政府監(jiān)督,那現(xiàn)任和前任員工就是少數(shù)能夠讓公司負起責(zé)任的公眾人士之一。然而,廣泛的保密協(xié)議阻止了我們表達擔(dān)憂,除非是向那些可能未能解決這些問題的公司報告。普通的舉報者保護不足以應(yīng)對此類問題,因為它們主要關(guān)注非法活動,而我們關(guān)心的許多風(fēng)險尚未受到監(jiān)管??紤]到行業(yè)歷史上一些案例中的各種報復(fù)行為,我們中的一些人合理地擔(dān)心會受到各種形式的報復(fù)。我們并不是第一個遇到或談?wù)撨@些問題的人。

因此,我們呼吁先進的AI公司承諾以下原則:

公司不會簽訂或執(zhí)行任何禁止因風(fēng)險相關(guān)問題而對公司進行詆毀或批評的協(xié)議,也不會通過阻礙任何既得經(jīng)濟利益來報復(fù)風(fēng)險相關(guān)的批評;

公司將創(chuàng)建一個可驗證的匿名流程,使現(xiàn)任和前任員工能夠向公司的董事會、監(jiān)管機構(gòu)以及具有相關(guān)專業(yè)知識的適當(dāng)獨立組織提出風(fēng)險相關(guān)的擔(dān)憂;

公司將支持公開批評的文化,并允許現(xiàn)任和前任員工向公眾、公司的董事會、監(jiān)管機構(gòu)或具有相關(guān)專業(yè)知識的適當(dāng)獨立組織提出他們對技術(shù)風(fēng)險的相關(guān)擔(dān)憂,只要適當(dāng)保護商業(yè)秘密和其他知識產(chǎn)權(quán)利益即可;

公司不會報復(fù)那些在其他流程失敗后,公開分享風(fēng)險相關(guān)機密信息的現(xiàn)任和前任員工。我們知道,任何報告風(fēng)險相關(guān)擔(dān)憂的努力都應(yīng)避免不必要地泄露機密信息。

因此,一旦存在一個足夠安全的匿名提出擔(dān)憂的流程,現(xiàn)任和前任員工應(yīng)首先通過此類流程提出擔(dān)憂。

然而,只要此類流程不存在,現(xiàn)任和前任員工應(yīng)保留向公眾報告其擔(dān)憂的自由。

簽署人:

雅各布·希爾頓(Jacob Hilton),前OpenAI員工

丹尼爾·科科塔約洛(Daniel Kokotajlo),前OpenAI員工

拉瑪納·庫馬爾(Ramana Kumar),前Google DeepMind員工

尼爾·奈達(Neel Nanda),現(xiàn)Google DeepMind員工,前Anthropic員工

威廉·桑德斯(William Saunders),前OpenAI員工

卡羅爾·懷恩萊特(Carroll Wainwright),前OpenAI員工

丹尼爾·齊格勒(Daniel Ziegler),前OpenAI員工

匿名,現(xiàn)OpenAI員工

匿名,現(xiàn)OpenAI員工

匿名,現(xiàn)OpenAI員工

匿名,現(xiàn)OpenAI員工

匿名,前OpenAI員工

匿名,前OpenAI員工

支持者:

約書亞·本吉奧(Yoshua Bengio)

喬弗里·辛頓(Geoffrey Hinton)

斯圖亞特·羅素(Stuart Russell)

2024年6月4日

OpenAI駁斥了本次公開信事件中對OpenAI內(nèi)部AI安全問題的指控,他們向外媒Android Authority做出如下回應(yīng):

“我們公司過去便一直提供最強大和最安全的AI系統(tǒng)。我們對此感到自豪,并相信我們能利用科學(xué)的方法來應(yīng)對風(fēng)險。我們同意,鑒于這項技術(shù)的重要性,進行嚴格的辯論是至關(guān)重要的,我們將繼續(xù)與政府、社會和世界各地的其他群體進行接觸。這也是為什么我們?yōu)閱T工提供了表達擔(dān)憂的途徑,包括一個匿名的誠信熱線以及由我們董事會成員和公司安全部門領(lǐng)導(dǎo)組成的安全與保障委員會?!?/p>

02.

安全委員會被架空,內(nèi)部監(jiān)管幾近失效

在此封公開信中,來自各家開發(fā)AI系統(tǒng)的企業(yè)的現(xiàn)任和前任員工們呼吁,在OpenAI和其他AI公司停止使用不詆毀和保密協(xié)議。他們寫道,“廣泛的保密協(xié)議阻止我們表達自己的擔(dān)憂”。

他們還呼吁AI公司“支持公開批評的文化”,并建立一個報告流程,讓員工匿名提出與安全相關(guān)的擔(dān)憂。

勞倫斯·萊西格(Lawrence Lessig)是一位知名的法律學(xué)者,同時擔(dān)任簽署本次公開信的團體的公益律師。他在接受采訪時稱,傳統(tǒng)的舉報人保護適用于非法行為的舉報,但鑒于AI技術(shù)的重要性,AI公司有必要為公司員工創(chuàng)造開放自由的討論空間,讓員工表達對技術(shù)風(fēng)險和潛在危害的看法。

萊西格認為,公司員工是一道重要的安全防線,如果他們不能自由地表達觀點并不受報復(fù),那么這條防線就會失效。

丹尼爾·科科塔約洛(Daniel Kokotajlo)是聯(lián)名簽署此封公開信的OpenAI前員工之一。他在2022年加入OpenAI,所任職務(wù)是公司的治理研究員。今年4月份他正式從OpenAI辭職,原因是他對公司“失去了信心,認為OpenAI無法在AI系統(tǒng)實現(xiàn)接近人類水平表現(xiàn)時負責(zé)任地行事”。

OpenAI員工們開始反抗了

▲OpenAI前員工丹尼爾·科科塔約洛(Daniel Kokotajlo)

在OpenAI,科科塔約洛看到,盡管公司已經(jīng)制定了安全相關(guān)的規(guī)章制度,但這些規(guī)章制度常常處于被架空的狀態(tài)。例如,OpenAI與微軟共同建立了部署安全委員會,此委員會的主要目的是為了在正式發(fā)布模型之前評估新模型中可能包含的種種風(fēng)險,但這一委員會似乎并沒有起到應(yīng)有的作用。

科科塔約洛稱,2022年,微軟開始在印度秘密測試新版必應(yīng)(Bing)搜索引擎,部分OpenAI員工認為這一版本的搜索引擎使用了當(dāng)時還未發(fā)布的GPT-4模型。OpenAI和微軟的聯(lián)合部署安全委員會對這一測試并不知情,他們是在收到一系列來自用戶對必應(yīng)搜索引擎在測試期間異常行為的報告后,才知道此次測試的存在。而這并沒有減慢微軟推出新版必應(yīng)搜索引擎的步伐。

微軟的發(fā)言人弗蘭克·肖(Frank Shaw)否認了這些指控。他說在印度的測試中沒有使用任何OpenAI的模型,包括GPT-4。微軟首次發(fā)布基于GPT-4模型的產(chǎn)品是在2023年初,并且獲得了部署安全委員會的批準。

科科塔約洛稱,他對OpenAI的自我監(jiān)管持懷疑態(tài)度。OpenAI采取了種種措施避免監(jiān)督,這也包括來自前員工的批評和曝光。

在離開OpenAI時,公司員工需要簽署一份極為復(fù)雜的離職文件,其中就包含不詆毀條款和保密協(xié)議。若不簽署,OpenAI就將收回離職員工的既得股權(quán),而這些股權(quán)占據(jù)了OpenAI員工薪酬方案的絕大部分。

但仍有部分員工拒絕簽署這些協(xié)議,科科塔約洛便是其中一員。他稱自己的既得股權(quán)價值大約為170萬美元,這構(gòu)成了他凈資產(chǎn)的絕大部分,而他已經(jīng)準備好放棄這些財產(chǎn)。

在媒體報道了這些協(xié)議后,OpenAI迅速作出回應(yīng),稱公司從未從前員工處收回過既得股權(quán),也不會這么做。OpenAI首席執(zhí)行官薩姆·阿爾特曼(Sam Altman)稱自己感到特別尷尬,因為他不知道這些協(xié)議的存在。但相關(guān)文件上卻有阿爾特曼本人的簽名。

OpenAI員工們開始反抗了

▲有阿爾特曼本人簽名的文件

03.

安全問題劣跡斑斑

曾直接開除表達擔(dān)憂的員工

OpenAI已經(jīng)不是第一次面臨安全相關(guān)的問題了。在OpenAI的GPT-4o模型發(fā)布不久后,OpenAI原首席科學(xué)家,同時也是支持罷免阿爾特曼的4位前董事會成員之一的伊爾亞·蘇茨克維(Ilya Sutskever)正式官宣離職。他曾在《衛(wèi)報》拍攝的紀錄片中,對強大的AI系統(tǒng)的潛在風(fēng)險發(fā)出警報。

伊爾亞離職不久后,OpenAI超級對齊團隊聯(lián)合負責(zé)人楊·萊克(Jan Leike)也在推特上宣布離職。他稱OpenAI領(lǐng)導(dǎo)層關(guān)于公司核心優(yōu)先事項的看法一直不合,超級對齊團隊過去幾個月一直在逆風(fēng)航行,在提升模型安全性的道路上受到公司內(nèi)部的重重阻礙。萊克在官宣離職的一系列推文中稱,“(OpenAI的)安全文化和安全流程已經(jīng)讓位給閃亮的產(chǎn)品”。

OpenAI員工們開始反抗了

▲萊克在X平臺上的推文

此外,根據(jù)報道,今年早些時候因為“泄密”而被解雇的OpenAI安全研究員利奧波德·阿申布倫納(Leopold Aschenbrenner)實際上是因為向董事會提出安全問題而被解雇的,他也否認自己向董事會提供備忘錄包含任何敏感信息。

OpenAI員工們開始反抗了

▲OpenAI前安全研究員利奧波德·阿申布倫納(Leopold Aschenbrenner)

阿申布倫納在工作時寫了一份關(guān)于OpenAI安全性的內(nèi)部備忘錄,認為OpenAI的模型權(quán)重和算法關(guān)鍵機密極易遭到竊取。

在他完成這份備忘錄的幾周之后,OpenAI遭遇了一場重大安全事件,這促使他與幾位OpenAI董事會成員分享這份備忘錄。然而,他說公司領(lǐng)導(dǎo)層對他與公司董事會分享備忘錄的行為極為不滿,因為董事會在安全方面給領(lǐng)導(dǎo)層帶來了麻煩。

阿申布倫納在上述事件幾個月后被解雇,而解雇時OpenAI清楚地告訴他,這份安全備忘錄就是他被解雇的主要原因。

04.

結(jié)語:安全等問題頻繁暴雷

OpenAI深陷輿論風(fēng)波

本次公開信事件只是OpenAI近期面臨的諸多危機中的一個。OpenAI目前仍未完全從去年的那場“未遂政變”中恢復(fù)過來,OpenAI近期的人事動蕩便是最好的證據(jù)。

OpenAI還面臨著與內(nèi)容創(chuàng)作者的法律斗爭,他們指控OpenAI竊取版權(quán)作品來訓(xùn)練其模型。

好萊塢知名演員斯嘉麗·約翰遜(Scarlett Johansson)更是指控OpenAI在未經(jīng)許可的情況下使用了她的聲音。根據(jù)最新報道,來自美國亞利桑那州州立大學(xué)的聲音鑒識專家認為,斯嘉麗的聲音比98%的女演員都要更接近OpenAI的Sky語音。

OpenAI的前董事會成員海倫·托納(Helen Toner)也在近期指控OpenAI首席執(zhí)行官阿爾特曼在公司內(nèi)部的種種不當(dāng)行為,并質(zhì)疑阿爾特曼能否帶領(lǐng)公司安全地實現(xiàn)AGI的目標。

或許,正如OpenAI前員工科科塔約洛所說,我們需要的是某種民主問責(zé)且透明的治理結(jié)構(gòu),來負責(zé)管理AI技術(shù)的發(fā)展,而不是只有幾家不同的私營公司相互競爭,并將一切都列為機密。

(本文系網(wǎng)易新聞?網(wǎng)易號特色內(nèi)容激勵計劃簽約賬號【智東西】原創(chuàng)內(nèi)容,未經(jīng)賬號授權(quán),禁止隨意轉(zhuǎn)載。)

原標題:《OpenAI員工們開始反抗了!》

閱讀原文

轉(zhuǎn)載請注明來自濟南富森木工刀具制造有限公司 ,本文標題:《OpenAI員工們開始反抗了》

百度分享代碼,如果開啟HTTPS請參考李洋個人博客
每一天,每一秒,你所做的決定都會改變你的人生!

發(fā)表評論

快捷回復(fù):

驗證碼

評論列表 (暫無評論,2人圍觀)參與討論

還沒有評論,來說兩句吧...

Top