訂閱
<%if prop.topic_id !=0 %> <%/if%>
<%:prop.genus%> <%:~formatDate(prop.online_date, 'YYYY MMM DD' )%> <%:prop.title%>
<%:prop.realname%> <%:prop.realname%>
<%:prop.realname%>

<%:prop.realname%>

<%:prop.intro%>

add
新會員

<%:prop.email%>

add

<%:prop.title%>

矽谷宗教戰爭(上):全面解析 AI 末日論背後的「有效利他主義」

ISSUE #129

矽谷宗教戰爭(上):全面解析 AI 末日論背後的「有效利他主義」

Jan 02, 2024

圖片來源 Image credit - Midjourney

OpenAI 執行長山姆.奧特曼被開除又回歸的鬧劇,背後其實是矽谷科技圈「有效利他主義」和「有效加速主義」的宗教戰爭煙硝,AI 末日論和 AI 救世論、科技悲觀主義和科技樂觀主義的對立衝突浮上檯面。這場影響人類社會百年發展的科技價值戰,《旭時報》詳細梳理兩派立場的理念、歷史和發展,分上、下兩篇刊出。

上個月(2023 年 11 月)17 日,因 ChatGPT 而爆紅的新創公司 OpenAI 執行長山姆.奧特曼(Sam Altman)遭董事會突襲式解雇,總裁格雷格.布魯克曼(Greg Brockman)也被逐出董事會,隨後自行宣布辭職。在經歷投資人跳腳任命臨時執行長微軟接收奧特曼和布魯克曼董事會向最大競爭對手 Anthropic 尋求併購,以及超過 95 % 員工連署要求撤回決定否則集體辭職後,奧特曼在 22 日重回執行長寶座,OpenAI 董事會解散重組,結束這場為期五天的矽谷鬧劇

導致這場政變的原因,至今仍未明朗,但多家媒體都指出,OpenAI 董事會成員間早已存在嫌隙。至少三名董事會成員,包含首席科學家伊利亞.蘇茨克弗(Ilya Sutskever)、獨立董事塔莎.麥卡利(Tasha McCauley)和海倫.托納(Helen Toner),都擔憂隨著 AI 不斷進步,人類將失去對 AI 的掌控,在最糟的情況下,失控的超級 AI 將導致人類滅絕。他們認為應放慢 AI 的開發,將資源投入安全性研究,以確保科技不會反噬人類。

三名董事的保守態度,與奧特曼傾向快速發展、盡早實現「通用 AI」(artificial general intelligence)的路線發生衝突,進而導致了這次的 OpenAI 內鬥。

由於麥卡利和托納都與一個被稱作「有效利他主義」(effective altruism,簡稱 EA)的社會運動有關,奧特曼所代表的「快速行動,打破陳規」的矽谷創業精神,則在近期被冠以「有效加速主義」(effective accelerationism,簡稱 e/acc)之名,這場發生在當前 AI 革命最前線的衝突,正式將矽谷科技圈「有效利他主義」和「有效加速主義」的宗教戰爭,帶到了聚光燈底下

「EA vs. e/acc」代表的,是放緩或加速、控制或成長的抉擇,是 AI 末日論和 AI 救世論、科技悲觀主義和樂觀主義的對立。儘管加速主義似乎已贏下 OpenAI 這一局,兩派勢力的對抗,仍將繼續影響 AI 以及人類的未來與發展。

《旭時報》將詳細梳理兩派哲學的理念、歷史和發展,分上下兩篇刊出。在本篇中,我們將討論有效利他主義是如何從學院內的哲學思考,在短短十年間吸引大量人才和資金,成為全世界最有影響力的慈善運動。將於下週二(1 月 9 日)刊出的下篇,則聚焦於去年剛剛興起、被形容為「邪教」的有效加速主義陣營。通過全面解析這場「EA vs. e/acc」的矽谷宗教戰爭,我們想帶領您一同思考 AI 革命的未來。


EA:讓思考超越時空,行最大的善

「隨著 AI 不斷進步,你認為人類因此滅絕的可能性有多大?」根據多份調查報告,當被問到上述問題,專家們給出的答案從 0.1 % 到 40 % 不等,意見十分分歧。

以下這個問題的答案,在有效利他主義的信仰者眼中,卻毫無異議:「我們是否應該投入大量資源,預防 AI 可能帶來的滅絕風險?」

答案是百分之百的肯定。因為滅絕對人類來說,是無可挽救的結果,會對整體文明帶來無限大的破壞。相比之下,如果真能阻止人類滅絕,哪怕過程中耗費再多人力、物力,都不過是有限的成本。衡量無限大的破壞和有限的成本,自然該選擇後者。

結論是,投入大量資源以避免 AI 失控,是合理且必要的行動。這是近年有效利他主義運動大力推廣的主張,在宣揚「AI 末日論」上,該運動扮演了最重要的角色。

有效利他主義的兩大信念,分別是「行最大的善」和「長期主義」(longtermism)。此處先談第一個信念。

簡單來說,有效利他主義嘗試通過邏輯推理和理性分析,尋找最有效率的方式來改善他人生活,為世界帶來最大的善。身為慈善家,他們永遠做著經濟學計算,思考如何分配有限的資源,製造最大的行善效益。

這樣一種哲學理念顯然不是太難理解。試想你手上突然多了一筆閒錢,你決定捐給慈善機構,那比起經營不良、存在貪腐問題的組織,你肯定更願意把錢交給運作良好的慈善團體,因為後者能更有效率地運用你的捐款,幫助到更多的人。但當我們將理性行善的邏輯推至極致,便得出違反直覺、甚至令人不安的推論

澳洲哲學家彼得.辛格(Peter Singer)是有效利他主義運動最重要的推動者之一。他在 2013 年 5 月發布於 YouTube 的 TED 演講,第一次讓這個思想走入公共視野。

演講中,辛格提供了以下例子:在美國,訓練一隻導盲犬的成本是昂貴的 4 萬美元,卻只能幫助到一位盲人;相比之下,在開發中國家,只需要 20 到 50 美元,就能治好一名因砂眼而失明的視障人士。也就是說,在美國訓練一隻導盲犬的 4 萬美元,在開發中國家能讓 400 到 2,000 位盲人重見光明。

「要怎麼做比較好,我認為是顯而易見的。」辛格說道。一旦接受「所有生命平等」的前提,並考量有限的慈善預算,幫 400 位盲人治好砂眼,確實是 CP 值較高的選項。

另一個相關的例子是,一名性命垂危的孩童,無論倒在你回家經過的路上,還是身處千里之外的貧窮國度,你都該盡全力救他。一條生命無論活在世界上哪個角落,都擁有相同的價值

但如果這條生命,不只身處異國,而是尚未出生,活在未來的某個時空,他仍具有相同價值嗎?這是另一位有效利他主義哲學家,威廉.麥卡斯基(William MacAskill)提出的問題。

今年 36 歲的麥卡斯基任教於英國牛津大學,這裡也是有效利他主義的大本營。他與同事托比.奧德(Toby Ord)共同發展出「長期主義」的思想。

長期主義的核心主張為:「未來人的生命,和現存的生命一樣重要。」也就是說,在考慮行善的對象時,必須超越空間和時間的限制,將遠方和未來的人類都納入思考的範圍。

由於此刻的所作所為,將影響未來人類的生活乃至生存,我們在行動時,有義務考慮未來世代的利益。具體來說,長期主義者認為我們應投入大量資源,預防可能阻止未來人類誕生,終止人類文明的「滅絕風險」,如核戰、氣候變遷、小行星撞擊,以及消滅人類的超級 AI,哪怕這些事件發生的機率極小無比。

「想像你登上飛機,感到有點緊張。飛行員想安撫你,於是說道:『只有千分之一的機率會墜機,別擔心!』你會因此感到放心嗎?」麥卡斯基在 2018 年的 TED 演講中說道。

更重要的是,假定人類如典型哺乳動物一般,能存活 100 萬年,那阻止滅絕,將拯救佔整個人類物種史約 70 % 的生命。這顯然是生活在 2023 年的有效利他主義者,所能想像的最大的善。於是他們得出結論:就算超級 AI 只有萬分之一的機率,會造成人類滅絕,我們也該做點什麼來預防。



「為施而取」,一場菁英慈善運動

有了哲學理念和目標,還得有錢,否則有效利他主義就只是象牙塔裡的空談。十年來,該主義卻成功吸引到世界上最聰明的人才和最有錢的金主,成為全球最有勢力的慈善運動之一

根據 2021 年一份由核心成員進行的估計,目前全世界共有 7,400 名活躍的有效利他主義者。一位典型的有效利他主義者,通常具有以下特質:25 至 34 歲的白人男性,歐美名校畢業,主修哲學、數學或科學。

他們在大學期間第一次接觸到有效利他主義思想,社群成員會主動聯繫適宜的人選,靠邏輯和理性說服對方,讓對方成為精英小團體的一員。某種程度上,這個社群更像個兄弟會,只不過能得到入場卷的,大多是一群不擅社交、性格古怪的理科天才。

一個著名的例子,是曾經風光一時的加密貨幣交易所 FTX 創辦人山姆.班克曼-弗德里(Sam Bankman-Fried,又稱 SBF)。2013 年,班克曼-弗德里仍是麻省理工的大三學生。某天,他收到麥卡斯基的電郵,邀他一起喝杯咖啡,並參加這位牛津教授在哈佛的演講。麥卡斯基的遊說效果非凡,班克曼-弗德里從此踏上「利他主義的職涯」。麻省理工畢業五年後,他成為億萬富翁,承諾捐出大部分財產,貢獻公益。(後來的故事,我們都知道了。2022 年 12 月,班克曼-弗德里因涉嫌金融詐欺被捕,連帶使有效利他主義運動遭受嚴重打擊。)

與其說有效利他主義吸引高收入人才,不如說該主義提倡的道德觀,給了其信徒從事高薪職業的動力,為追求高薪找到合乎道德的理由

「為施而取」(Earning to give)[1] 是該運動的著名口號,意指從事一個可能不直接對社會帶來正面效益,但薪水豐厚的職業(如銀行或金融業),然後將大部分所得,捐給有效率的慈善機構。有效利他主義者認為,這樣的選擇比直接投身公益行動(如成為無國界醫生),能為世界帶來更大的善。

在西方,許多人深受「為施而取」的理念吸引,從事高薪職業。他們每年賺取數十萬美元,將 10 % 甚至 50 % 的薪水捐出,投入各種慈善事業(包含有效利他主義運動本身)。某些狂熱的信徒,還會在網路上公開自己的收入和捐款明細。靠著大量捐款不斷湧入,有效利他主義得以在歐美菁英圈持續擴張,吸引更多的高薪人才。

近年來,矽谷成為有效利他主義運動的中心,關鍵原因是臉書共同創辦人達斯汀.莫斯科維茨(Dustin Moskovitz)和妻子、前《華爾街日報》記者卡里.圖納(Cari Tuna),宣布將幾乎全部資產(約 190 億美元)投入慈善運動。2017 年,兩人正式創立 Open Philanthropy 基金會,以效益最大化、長期主義的思維,將龐大資產分配給獲得認可的組織和計畫。

根據基金會網站,Open Philanthropy 主要關注兩個領域:「全球健康與福祉」(Global Health and Wellbeing)和「全球災難性風險」(Global Catastrophic Risks),後者便包含「先進 AI 的潛在風險」(Potential Risks from Advanced Artificial Intelligence)。

網站寫道:「接下來的幾十年裡, AI 可能會取得顯著進展,甚至有可能發展到在許多或幾乎所有智能領域都超越人類的程度(儘管要做出自信的預測是困難或不可能的)。這些進步可能帶來非常正面的發展,但也可能因誤用、意外或有害的社會影響而潛在地造成風險,這些風險很可能達到全球災難性的水平。」

於是,為防範可能的滅絕風險,Open Philanthropy 每年投入鉅額資金,積極參與 AI 的研究與發展,在 AI 領域樹立起龐大影響力。舉例來說,2019 年基金會給予美國喬治城大學(Georgetown University)安全與新興技術中心(Center for Security and Emerging Technology,簡稱 CSET)一筆 5,500 萬美元的資金,2021 年又追加了 3,892 萬。



矽谷與華府: AI 安全的兩大戰場

Open Philanthropy 在 AI 領域的龐大影響力,首先體現在與兩間當前最著名的 AI 公司,OpenAI 與 Anthropic 千絲萬縷的關係上。

2016 年,當時仍領導矽谷最知名創投加速器 Y Combinator 的奧特曼,宣布投資 5000 萬美元到 Open Philanthropy 創辦人莫斯科維茨的軟體公司 Asana。隔年,Open Philanthropy 也對創立不久的 OpenAI 投入 3000 萬美元的資金

時至今日,Asana 和 OpenAI 仍共享一位董事會成員:亞當.德安吉洛(Adam D'Angelo)。上個月 OpenAI 政變告吹、董事會解散重組後,德安吉洛是唯一留任的董事會成員,讓這位 Quora 共同創辦人兼現任執行長,更添神秘色彩。

事實上,有效利他主義的影響,能追溯到 OpenAI 成立之初。

2015 年,特斯拉執行長馬斯克和 PayPal 聯合創辦人彼得.提爾(Peter Thiel)擔任主要出資人,投入十億美元創立了OpenAI。提爾和馬斯克曾分別在 2013 和 2015 年的有效利他主義峰會上發表演講,後者還在 X(前身為推特)上分享過麥卡斯基的著作《我們欠未來什麼》(What We Owe the Future),寫道:「值得一讀。與我的哲學十分相近。」

後來,隨著馬斯克離開 OpenAI,奧特曼向微軟尋求合作,讓公司在經濟上不再仰賴有效利他主義陣營。資金於是流向了 OpenAI 的最大競爭對手:Anthropic。

2021 年,一群 OpenAI 的員工因不滿公司對安全性問題的輕忽,決定集體出走,創立 Anthropic。自詡為「 AI 的安全實驗室」,Anthropic 推出與 ChatGPT 打對台的大型語言模型 Claude,並致力讓 AI 與人類的目標和價值觀「對齊」(aligned),確保 AI 永遠受到人類的控制

作為一家處於業界前沿的公司,Anthropic 極度重視 AI 的安全問題,甚至予人走火入魔之感。《紐約時報》記者凱文.羅斯(Kevin Roose)在訪問 Anthropic 後,便寫下:「某些時候,我感覺自己像一名美食作家,被指派報導一間熱門新餐廳,卻發現廚房團隊唯一想談的話題是食物中毒。」

Anthropic 與有效利他主義有著密切關聯。這間剛滿兩年的新創公司,首輪融資(1 億 2400 萬美元)來自 Open Philanthropy 創辦人莫斯科維茨和 Skype 創始工程師、知名有效利他主義者賈安.塔林(Jann Tallinn),更從已破產的 FTX 創辦人班克曼-弗德里那裡,獲得 5 億美元的投資

Anthropic 和 Open Philanthropy 的連結不僅於此。Anthropic 四位董事會成員之一的盧克.穆爾豪澤(Luke Muehlhauser),為 Open Philanthropy「 AI 治理和政策」的資深項目主任。Anthropic 總裁丹妮拉.阿莫迪(Daniela Amodei)和 Open Philanthropy 前執行長、現任「 AI 策略」總監霍爾登.卡諾夫斯基(Holden Karnofsky)為夫妻關係。卡諾夫斯基還是 Anthropic 執行長達里奧.阿莫迪(Dario Amodei)的前室友,以及 2017 至 2021 年間,OpenAI 的董事會成員。

在吸收高薪科技人才,佔領矽谷 AI 公司董事會的同時,有效利他主義運動也在華府政治圈積極擴展影響力

根據 Politico 的報導,Open Philanthropy 於 2022 年低調創立了「地平線公共服務研究所」(Horizon Institute for Public Service),出資培養了一批 AI 研究員,隨後將這些人員安插進議員辦公室、眾議院科學委員會、參議院商務委員會、國防部、國土安全研究院和國務院,藉此影響華府的 AI 政策。

Open Philanthropy 也是許多 AI 安全領域重要智庫的主要贊助者,包含蘭德公司(RAND Corporation)、新美國安全中心(Center for a New American Security)和喬治城大學安全與新興技術中心(CSET)。CSET 創立於 2019 年,幾乎全部資金都來源於 Open Philanthropy,累積超過 1.05 億美元

時至今日,CSET 已成為華盛頓地區最有影響力的智庫之一(CSET 距國會大廈約 15 分鐘車程),在 AI 安全領域有著強大的發言權。OpenAI 政變中扮演關鍵角色的前董事托納,便隸屬 CSET,擔任策略和基礎研究資助總監。



另一位關鍵人物,是非營利組織蘭德公司的現任執行長傑森.馬西尼(Jason Matheny)。馬西尼曾在牛津大學進行「人類滅絕風險」的相關研究,2009 年進入美國政府,領導一個專門投資「高風險、高回報」的研究計畫的單位。2017 年,馬西尼擔任 CSET 的創始總監,同年發表演講,討論有效利他主義能夠在政府部門中扮演的角色。他在 2021 年成為美國總統拜登行政團隊的一員,負責科技與國家安全的政策規劃,直到 2022 年 7 月接任蘭德公司執行長。

憑借豐厚的資金和強大的人脈網絡,有效利他主義運動已經在華府建立起一個緊密的網路。「他們是如此的有組織,意識形態如此相同,」加州大學柏克萊分校 AI 研究員德博拉.拉吉(Deborah Raji)告訴 Politico,「(和其他組織相比)他們之間的合作更加協調、更團結」。


從團結到分裂,無法踩煞車的 AI 革命

今年 5 月,有效利他主義成功團結了矽谷,由 Open Philanthropy 資助的非營利組織 AI 安全中心(Center for AI Safety)發表僅 22 個英文字的聲明:「減輕 AI 帶來的滅絕風險,應該列為全球的優先事項,一如面對瘟疫、核戰等全社會規模的風險。」

聲明簽署者除了高齡 76 歲、最近剛退休的傑佛瑞.辛頓(Geoffrey Hinton)、任教於蒙特婁大學(Université de Montreal)的約書亞.班吉歐(Yoshua Bengio)等 AI 領域的殿堂級學者外,還包含三名頂尖 AI 公司的執行長:OpenAI 的奧特曼、Google DeepMind 的德米斯.哈薩比斯(Demis Hassabis)和 Anthropic 的阿莫迪。

更早之前的 3 月,包含馬斯克在內的一千餘名科技業領袖,也發表公開信,呼籲所有 AI 實驗室暫停開發比 OpenAI 的 GPT-4 更強大的模型。這波 AI 革命的造浪者們,彷彿正對著社會和政府大喊:「我們正在製造能毀滅人類的科技,但我們停不下來!

如今六個月早已過去,AI 發展的速度並未減緩,反而越來越快,各大公司爭相推出更新、更強大的大型語言模型。OpenAI 內鬥事件後,董事會的有效利他主義者更被清除殆盡。和 5 月簽署聲明、呼籲世人注意 AI 滅絕風險時相比,奧特曼如今已暴露出傾向加速主義的真正立場,正帶領 OpenAI 往超級 AI 的未來全速衝刺。《華爾街郵報》便指出,奧特曼贏下 OpenAI 這一局,重回執行長一職,是加速主義陣營的重大勝利。

作為低機率事件,有效利他主義預言的 AI 末日,也許終究不會到來;然而,加速主義將帶領我們走向的未來,同樣充滿不確定性(見下篇)。我們如今都身處這輛名為「AI 革命」的列車上,無法預知前途,也沒有人能踩下煞車


[1] 將「Earning to give」翻譯為「為施而取」,得自用戶「@安再繼」2023 年 11 月 25 日的微博貼文

吳政霆

吳政霆 / 研究員

採訪寫作

張育寧

張育寧 / 總編輯

審訂

時間標記 Timestamp

EPEPISODE #旭沙龍-張育寧時間

EP #
邀請已成功寄出 Sucessfully sent