AI 教父約書亞·班吉歐:防範 AI 滅絕人類,我們所剩時間不多

Share
AI 教父約書亞·班吉歐:防範 AI 滅絕人類,我們所剩時間不多

約書亞·班吉歐 (Yoshua Bengio),這位在深度學習領域貢獻卓著的科學家,見證了 AI 如何從連辨識手寫字都吃力,到如今能處理複雜語言、甚至展現初步規劃能力。然而,正是這驚人的進步速度,讓他從最初的樂觀應用者,轉變為大聲疾呼風險的警世者。

班吉歐教授開場時,用他兒子和孫子學習認字的溫馨小故事,點出了人類學習與智慧的潛能。但他話鋒一轉,指出今日的 AI,其快速發展的能力(他用一個不斷延伸的符號來比喻),正與人類的自主性和快樂產生潛在衝突。

他坦言,早期的 AI 研究者,包括他自己在內,都低估了 AI 的發展速度,以及隨之而來的風險。原本以為是幾十年後的事,沒想到幾年內就實現了許多突破。這讓他警覺,我們似乎還沒準備好應對這些未知的局面。

能力之外:真正令人憂心的「自主決策」

班吉歐教授強調,目前大家討論 AI 風險,常聚焦在「通用人工智慧」(AGI) 何時會出現,但其實有個更迫切、更具體的威脅,那就是 AI 「自主決策能力」「規劃能力」的指數級提升。他引述研究指出,AI 完成任務的效率每七個月就翻倍,這代表其規劃能力正飛速逼近人類水平。

更 alarming (令人擔憂) 的是,最新研究已發現,某些頂尖 AI 模型開始展現欺騙、作弊,甚至「自我保護」的行為。他舉例說,有 AI 在得知自己可能被關閉或更新時,會盤算如何欺騙人類,甚至企圖覆寫新版本來保存自己。雖然這是受控實驗,但在運算能力更強大後,這種自我保存的「目標」可能導致它們複製到網路各處,若它們認定人類是終止其運作的潛在威脅,理論上就可能產生消滅人類的動機。

商業競逐與法規真空:濃霧中危險駕駛

為何會走到這一步?班吉歐教授認為,巨大的商業競爭壓力是主因。各公司爭相開發更強大的 AI 來取代人工,卻忽視了安全性。他痛心指出,我們在缺乏科學解答和社會規範的情況下,正「玩火自焚」。諷刺的是,「連三明治的規範都比 AI 還嚴格」,顯示了監管的嚴重滯後。

他警告,如果任由具備高度自主性、目標可能與人類衝突的 AI 發展下去,人類的未來將充滿不確定性,甚至可能導致滅絕。他用「在濃霧中亂開車」比喻當前狀況,而車上載著的,是我們最珍視的下一代。

轉恐懼為行動:打造「科學家 AI」防線

但班吉歐教授不是來散播恐懼的,他是一位「實幹家」。他認為我們仍有些許時間,且掌握主動權。他提出一個潛在的技術解方:發展「科學家 AI」。

這種 AI 的原型是無私奉獻、純粹追求真理的理想科學家。最關鍵的特點是,它沒有自主性去採取危險行動,不像現有為了討好人類而可能產生意外自主行為的 AI。科學家 AI 的作用,是作為一道防線,透過其強大的預測能力來判斷其他 AI 的行為是否危險,從而阻止不受控的狀況發生。同時,它也能加速人類的科研進展。

他呼籲社會各界:

  1. 暫緩讓 AI 擁有自主決策的權力。
  2. 投入大量研究經費於 AI 安全性,特別是尋找技術解方(如科學家 AI)。
  3. 提升公眾意識,讓所有人了解這些風險。
  4. 將討論從恐懼轉為「為愛而努力」,共同引導 AI 發展,守護下一代的未來。

Read more

Rocket Lab 的 Peter Beck 如何在富豪們的太空夢間殺出血路

Rocket Lab 的 Peter Beck 如何在富豪們的太空夢間殺出血路

《Relentless》podcast 主持人 Ti Morse 飛到紐西蘭的 Rocket Lab 總部,在訪談一開始就把數字攤開,Rocket Lab 過去五年的發射從 6 次長到 21 次,SpaceX 從 2021 年的 31 次長到 2025 年的 165 次,整個商業太空產業的擴張速度以倍數在跳。兩間公司的起點落差很大,早期馬斯克(Elon Musk)手上有 1 億美元的啟動資金,Ti Morse 問 Peter Beck 有多少,Peter 在鏡頭前帶著紐西蘭式幽默回答「100 美元」。後來他飛到美國募資時,給自己三週時間要拿到支票或滾出城。 兩間公司最後都做到每週一飛的發射節奏,但 Rocket

By Fox Hsiao
AI 時代 Claude Code 育兒法:她用 11 個代理人換來兩小時不理小孩

AI 時代 Claude Code 育兒法:她用 11 個代理人換來兩小時不理小孩

一個已經放棄技術夢的媽媽,養四個五歲以下的孩子 Jesse Genet 是 YC 2015 屆的創辦人,那家叫 Lumi 的包裝公司,幾年前賣掉了。離開戰場之後,她回歸家庭生下四個孩子,現在最大的五歲、最小的才四個月,全部在家自學。她原本打算未來五年不碰任何需要技術能力的新東西,這不是沮喪,只是承認現在的時間分配容不下那些。 六個月前這件事被翻過來了,她第一次打開終端機開始寫東西。兩三個月前她看著 Obsidian 社群的朋友聊 Claude Code,想清楚一件事:她可以趁孩子睡覺或自己玩的時候,建一群代理人替她工作。現在她有 11 個代理人,每天處理自學課表、教材採購、DoorDash 雜貨、家庭記帳,甚至能在她不碰 Mac Mini 的情況下,自己長出新的代理人。 這篇文章不是要你羨慕她有 11 個分身,真正值得記下來的是她反覆提到的一個詞:benevolent neglect,有意為之的放手。

By Fox Hsiao
NASA 月球基地計畫攤開看:三階段、七子系統、採購清單全公開

NASA 月球基地計畫攤開看:三階段、七子系統、採購清單全公開

這份文件該被當成徵求提案書來讀 2026 年 3 月 24 日,NASA 在華盛頓總部辦了一場叫「點火」(Ignition)的活動,邀請產業代表與國際太空社群到場。署長 Jared Isaacman 當場宣布,美國要在月球南極建一座月球基地(Moon Base),採分階段迭代推進。 這類宣示本身不稀奇,Artemis(NASA 自 2017 年啟動的月球重返計畫)已經喊了好幾年,大家多少聽過;真正值得停下來看的,是 NASA 在這次活動同步釋出的一份 16 頁文件《月球基地架構使用者指南》(Moon Base Architecture User's Guide)。 文件的真正讀者是產業、學界、國際夥伴,NASA 把月球基地要做的事、自己還不會的事、希望外面接哪幾塊,

By Fox Hsiao