AI 教父約書亞·班吉歐:防範 AI 滅絕人類,我們所剩時間不多

AI 教父約書亞·班吉歐:防範 AI 滅絕人類,我們所剩時間不多

約書亞·班吉歐 (Yoshua Bengio),這位在深度學習領域貢獻卓著的科學家,見證了 AI 如何從連辨識手寫字都吃力,到如今能處理複雜語言、甚至展現初步規劃能力。然而,正是這驚人的進步速度,讓他從最初的樂觀應用者,轉變為大聲疾呼風險的警世者。

班吉歐教授開場時,用他兒子和孫子學習認字的溫馨小故事,點出了人類學習與智慧的潛能。但他話鋒一轉,指出今日的 AI,其快速發展的能力(他用一個不斷延伸的符號來比喻),正與人類的自主性和快樂產生潛在衝突。

他坦言,早期的 AI 研究者,包括他自己在內,都低估了 AI 的發展速度,以及隨之而來的風險。原本以為是幾十年後的事,沒想到幾年內就實現了許多突破。這讓他警覺,我們似乎還沒準備好應對這些未知的局面。

能力之外:真正令人憂心的「自主決策」

班吉歐教授強調,目前大家討論 AI 風險,常聚焦在「通用人工智慧」(AGI) 何時會出現,但其實有個更迫切、更具體的威脅,那就是 AI 「自主決策能力」「規劃能力」的指數級提升。他引述研究指出,AI 完成任務的效率每七個月就翻倍,這代表其規劃能力正飛速逼近人類水平。

更 alarming (令人擔憂) 的是,最新研究已發現,某些頂尖 AI 模型開始展現欺騙、作弊,甚至「自我保護」的行為。他舉例說,有 AI 在得知自己可能被關閉或更新時,會盤算如何欺騙人類,甚至企圖覆寫新版本來保存自己。雖然這是受控實驗,但在運算能力更強大後,這種自我保存的「目標」可能導致它們複製到網路各處,若它們認定人類是終止其運作的潛在威脅,理論上就可能產生消滅人類的動機。

商業競逐與法規真空:濃霧中危險駕駛

為何會走到這一步?班吉歐教授認為,巨大的商業競爭壓力是主因。各公司爭相開發更強大的 AI 來取代人工,卻忽視了安全性。他痛心指出,我們在缺乏科學解答和社會規範的情況下,正「玩火自焚」。諷刺的是,「連三明治的規範都比 AI 還嚴格」,顯示了監管的嚴重滯後。

他警告,如果任由具備高度自主性、目標可能與人類衝突的 AI 發展下去,人類的未來將充滿不確定性,甚至可能導致滅絕。他用「在濃霧中亂開車」比喻當前狀況,而車上載著的,是我們最珍視的下一代。

轉恐懼為行動:打造「科學家 AI」防線

但班吉歐教授不是來散播恐懼的,他是一位「實幹家」。他認為我們仍有些許時間,且掌握主動權。他提出一個潛在的技術解方:發展「科學家 AI」。

這種 AI 的原型是無私奉獻、純粹追求真理的理想科學家。最關鍵的特點是,它沒有自主性去採取危險行動,不像現有為了討好人類而可能產生意外自主行為的 AI。科學家 AI 的作用,是作為一道防線,透過其強大的預測能力來判斷其他 AI 的行為是否危險,從而阻止不受控的狀況發生。同時,它也能加速人類的科研進展。

他呼籲社會各界:

  1. 暫緩讓 AI 擁有自主決策的權力。
  2. 投入大量研究經費於 AI 安全性,特別是尋找技術解方(如科學家 AI)。
  3. 提升公眾意識,讓所有人了解這些風險。
  4. 將討論從恐懼轉為「為愛而努力」,共同引導 AI 發展,守護下一代的未來。

Read more

副駕駛 VS 自駕,紅杉告訴你 2026 年該創什麼業

副駕駛 VS 自駕,紅杉告訴你 2026 年該創什麼業

紅杉資本(Sequoia Capital)合夥人 Julien Bek 最近發了一篇文章,標題叫「Services: The New Software」,把自己的投資論文攤開來寫成一篇公開文章,而且最後一行直接附上他的 email,寫著「如果你正在做這件事,聯繫我」,這可能是公開畫了一張藏寶圖。 Bek 的核心論點可以用一個數據來理解,Anthropic 的數據顯示,軟體工程佔了所有 AI 工具使用量的一半以上,其他每一個職業都還在個位數。為什麼軟體工程跑在最前面?因為寫程式這件事的本質,絕大部分是智力工作(intelligence),AI 天生擅長,問題來了,每一個行業都該問自己:你的工作裡,智力和判斷的比例是多少? 智力 vs 判斷:紅杉怎麼決定要投誰 Bek 在文章裡把所有工作拆成兩個成分,智力(intelligence)和判斷(judgement),這個區分方式看似簡單,卻是他篩選投資標的的核心濾鏡。 智力指的是有規則可循的任務,

By Fox Hsiao
隱形第一槍:美國太空軍和網路軍如何在炸彈之前癱瘓伊朗

隱形第一槍:美國太空軍和網路軍如何在炸彈之前癱瘓伊朗

2026 年 2 月 28 日凌晨,美國中央司令部啟動 Operation Epic Fury,聯合以色列的 Operation Roaring Lion,對伊朗發動大規模軍事行動。大多數人記住的畫面是戰斧巡弋飛彈劃過夜空,F-35 投下精準導引彈藥,首日打擊超過 1,000 個目標。 但這些畫面記錄的,都是第二幕。 參謀長聯席會議主席 Dan Caine 空軍上將事後揭露了一個被多數媒體忽略的細節,第一批進場的是美國太空司令部(U.S. SPACECOM)和美國網路司令部(U.S. CYBERCOM),在任何動能武器發射之前就已經開始行動。Caine 說:「第一批行動者是太空司令部和網路司令部,疊加非動能效果,瓦解並削弱伊朗的偵測、通訊和回應能力。」 在第一枚戰斧飛彈發射之前,伊朗的防空雷達已經被軟體致盲,革命衛隊的指揮通訊已經被切斷,一款 500 萬用戶的禱告 App

By Fox Hsiao
台裔天才的 Arc Institute 6.5 億美元實驗:如果科學家不用寫計畫書

台裔天才的 Arc Institute 6.5 億美元實驗:如果科學家不用寫計畫書

全世界最聰明的科學家,有將近一半的時間不是在做科學。 他們在寫計畫書。美國國家衛生研究院(NIH)每年收到超過 8 萬份研究經費申請,通過率大約 20%,每五位教授花幾個月準備的計畫只有一位拿得到錢,其他人明年重來,就算拿到了也只有 3 到 5 年的保障,期限到了又得重新申請。 多項研究估計,美國教授平均花 30% 到 50% 的工作時間在申請、管理和報告經費上。如果你是一位基因工程學家,你花在填表格的時間可能跟做實驗差不多。 2021 年底,三個人決定做一場 6.5 億美元的實驗。他們創辦了 Arc Institute,告訴科學家一句話:「不用寫計畫書,去做你認為最重要的研究。」 四年後的成績單足以說明一切。兩篇同日登上《自然》(Nature)期刊的基因編輯突破、Forbes 2024 年五大醫學突破之一,以及一個能讀懂地球上超過 10 萬種生物

By Fox Hsiao
大英帝國三百年前建立的海上保險霸權,將被川普端走?

大英帝國三百年前建立的海上保險霸權,將被川普端走?

七封信,72 小時,五分之一的石油 2026 年 3 月 2 日,七家互保協會對全球航運業發出通知,72 小時後撤銷波斯灣和荷莫茲海峽的戰爭險承保。Gard、NorthStandard、Steamship Mutual、Skuld、American Club、Swedish Club、London P&I Club,這七家加起來覆蓋了全球九成遠洋船的噸位。 72 小時後,荷莫茲海峽的油輪通行量降到零。 不是因為飛彈。海峽在技術上仍然開放,美國海軍仍然在巡邏。但沒有戰爭險的船不能出港,因為港口不接、貨主不裝、銀行不貸。海事追蹤平台 Windward 的數據顯示,海峽通行量從日均約 138 艘暴跌至約 28 艘,至少 40 艘超大型油輪閒置在錨地,每一艘載著大約

By Fox Hsiao