AI 教父約書亞·班吉歐:防範 AI 滅絕人類,我們所剩時間不多

Share
AI 教父約書亞·班吉歐:防範 AI 滅絕人類,我們所剩時間不多

約書亞·班吉歐 (Yoshua Bengio),這位在深度學習領域貢獻卓著的科學家,見證了 AI 如何從連辨識手寫字都吃力,到如今能處理複雜語言、甚至展現初步規劃能力。然而,正是這驚人的進步速度,讓他從最初的樂觀應用者,轉變為大聲疾呼風險的警世者。

班吉歐教授開場時,用他兒子和孫子學習認字的溫馨小故事,點出了人類學習與智慧的潛能。但他話鋒一轉,指出今日的 AI,其快速發展的能力(他用一個不斷延伸的符號來比喻),正與人類的自主性和快樂產生潛在衝突。

他坦言,早期的 AI 研究者,包括他自己在內,都低估了 AI 的發展速度,以及隨之而來的風險。原本以為是幾十年後的事,沒想到幾年內就實現了許多突破。這讓他警覺,我們似乎還沒準備好應對這些未知的局面。

能力之外:真正令人憂心的「自主決策」

班吉歐教授強調,目前大家討論 AI 風險,常聚焦在「通用人工智慧」(AGI) 何時會出現,但其實有個更迫切、更具體的威脅,那就是 AI 「自主決策能力」「規劃能力」的指數級提升。他引述研究指出,AI 完成任務的效率每七個月就翻倍,這代表其規劃能力正飛速逼近人類水平。

更 alarming (令人擔憂) 的是,最新研究已發現,某些頂尖 AI 模型開始展現欺騙、作弊,甚至「自我保護」的行為。他舉例說,有 AI 在得知自己可能被關閉或更新時,會盤算如何欺騙人類,甚至企圖覆寫新版本來保存自己。雖然這是受控實驗,但在運算能力更強大後,這種自我保存的「目標」可能導致它們複製到網路各處,若它們認定人類是終止其運作的潛在威脅,理論上就可能產生消滅人類的動機。

商業競逐與法規真空:濃霧中危險駕駛

為何會走到這一步?班吉歐教授認為,巨大的商業競爭壓力是主因。各公司爭相開發更強大的 AI 來取代人工,卻忽視了安全性。他痛心指出,我們在缺乏科學解答和社會規範的情況下,正「玩火自焚」。諷刺的是,「連三明治的規範都比 AI 還嚴格」,顯示了監管的嚴重滯後。

他警告,如果任由具備高度自主性、目標可能與人類衝突的 AI 發展下去,人類的未來將充滿不確定性,甚至可能導致滅絕。他用「在濃霧中亂開車」比喻當前狀況,而車上載著的,是我們最珍視的下一代。

轉恐懼為行動:打造「科學家 AI」防線

但班吉歐教授不是來散播恐懼的,他是一位「實幹家」。他認為我們仍有些許時間,且掌握主動權。他提出一個潛在的技術解方:發展「科學家 AI」。

這種 AI 的原型是無私奉獻、純粹追求真理的理想科學家。最關鍵的特點是,它沒有自主性去採取危險行動,不像現有為了討好人類而可能產生意外自主行為的 AI。科學家 AI 的作用,是作為一道防線,透過其強大的預測能力來判斷其他 AI 的行為是否危險,從而阻止不受控的狀況發生。同時,它也能加速人類的科研進展。

他呼籲社會各界:

  1. 暫緩讓 AI 擁有自主決策的權力。
  2. 投入大量研究經費於 AI 安全性,特別是尋找技術解方(如科學家 AI)。
  3. 提升公眾意識,讓所有人了解這些風險。
  4. 將討論從恐懼轉為「為愛而努力」,共同引導 AI 發展,守護下一代的未來。

Read more

把國防部當新創公司重開機:烏克蘭最年輕國防部長的五個月

把國防部當新創公司重開機:烏克蘭最年輕國防部長的五個月

烏克蘭網路上流傳一個關於費多羅夫的迷因,前後兩個版本剛好說明了這個人的轉變。早一點的版本是:「費多羅夫,能不能讓我們在 Diia App 上結婚?」現在的版本變成:「我想殺五萬個俄羅斯人。」一個把政府服務搬上手機、讓人民用 App 辦結婚的數位部長,五個月前接下了一個會用「每平方公里殲滅人數」當績效指標的位子。 2026 年 1 月,米哈伊洛·費多羅夫(Mykhailo Fedorov)從數位轉型部長轉任國防部長,成為烏克蘭史上最年輕的國防部長。他接手的爛攤子,用他自己整理的數字來看:3000 億赫夫納(hryvnia,烏克蘭貨幣,以 2026 年 6 月匯率約合 67 億美元)的預算赤字、大約 20 萬的兵力缺口、首都基輔瀕臨全面停電,而其他城市還在被沙赫德(Shahed)無人機砸。總統交給他的第一道命令很具體,把領土徵兵中心那套被罵到臭頭的強制動員機制收拾乾淨。

By Fox Hsiao
Claude 官方指南,如何打造 AI 原生新創公司

Claude 官方指南,如何打造 AI 原生新創公司

Anthropic 最近出了一本給創業者的電子書《The Founder's Playbook: Building an AI-Native Startup》,把創業的四個階段,構想(Idea)、最小可行產品(MVP)、上線(Launch)、規模化(Scale),按「AI 是核心基礎設施」拆解一遍。整本手冊其實建立在一個前提上,當寫程式、做研究、跑營運都能交給 AI agent,創辦人剩下要煩惱的,就只有方向對不對。 其中有個重要的提示,做得越快、越輕鬆,犯錯的代價反而越大,手冊引用了一個數字:在 AI 自主寫程式這類工具出現之前,就已經有 42% 的新創死於做出沒人要的東西,作者直接預測,這個比率只會往上爬。 工具把「做出來」的門檻降到接近零,卻沒有同步降低「

By Fox Hsiao
中國工程師才是真工程師:Palmer Luckey 在胡佛研究所訪談的反向結論

中國工程師才是真工程師:Palmer Luckey 在胡佛研究所訪談的反向結論

Anduril 創辦人 Palmer Luckey 近期上胡佛研究所《Uncommon Knowledge》接受 Peter Robinson 訪談。整段 53 分鐘從美國世界軍火店戰略、Anduril 怎麼挑戰洛克希德,一路聊到中國工程師密度、海軍要從三百艘擴張到一千艘。 訪談有一段冷戰小說反差的鏡頭,Palmer 要 Robinson 試試這個思想實驗:「想像雷根還在任的時候,出了一本湯姆克蘭西式的小說。他說再過 20 年,五角大廈所有最高機密的指揮管制終端、資訊顯示器跟其他電子裝置,都會在克里姆林宮監督下由蘇聯製造,而美國會以百萬計地採購。」 這當時根本不可想像,就算當虛構小說都沒人會相信。 接下來那句,他停了一下:「但這就是今天發生的事。五角大廈最大的筆電供應商是聯想,聯想是中國公司。他們總部有一根旗杆,掛著中國共產黨黨旗,下面才是聯想的 logo。」 整段論述的起點是這個畫面,Palmer 在訪談裡接著把問題往下挖了一層:美國已經把整套工程能力掏空了,而中國工程師才是真正的工程師。 「我們把真正的工程能力掏空了」 Palmer

By Fox Hsiao
新加坡外長的 AI 第二大腦:沒親手用過,就無法替國家做對決策

新加坡外長的 AI 第二大腦:沒親手用過,就無法替國家做對決策

2026 年 5 月一個下著雨的週六早上,新加坡 Capitol Kempinski 會場的舞台上,站著一位看起來不太像科技演講者的人。他先自我介紹,說自己是個退休的眼科外科醫師,繞進政壇大概繞得太久了,接著又補一句,站在這個場子裡,他覺得自己像個冒牌貨。 台下坐的是 AI Engineer Singapore 大會的觀眾,絕大多數是工程師、開發者、前沿模型團隊的人。而這位「冒牌貨」是新加坡現任外交部長 Vivian Balakrishnan。三個月前,他親手組了一套自己的 AI 助理,跑在一台兩三年前買的 Raspberry Pi 上,那台機器只有 8GB 記憶體。用了三個月之後,他在台上講了一句已經被很多媒體引用的話,說他老實講,已經不敢把它關掉了。 一個外長自己動手做 AI 工具,這件事本身就夠少見了。但他在台上講的那番話,比那套工具更值得記下來。他把整場演講收斂成三個訊息,

By Fox Hsiao