AI 教父約書亞·班吉歐:防範 AI 滅絕人類,我們所剩時間不多

AI 教父約書亞·班吉歐:防範 AI 滅絕人類,我們所剩時間不多

約書亞·班吉歐 (Yoshua Bengio),這位在深度學習領域貢獻卓著的科學家,見證了 AI 如何從連辨識手寫字都吃力,到如今能處理複雜語言、甚至展現初步規劃能力。然而,正是這驚人的進步速度,讓他從最初的樂觀應用者,轉變為大聲疾呼風險的警世者。

班吉歐教授開場時,用他兒子和孫子學習認字的溫馨小故事,點出了人類學習與智慧的潛能。但他話鋒一轉,指出今日的 AI,其快速發展的能力(他用一個不斷延伸的符號來比喻),正與人類的自主性和快樂產生潛在衝突。

他坦言,早期的 AI 研究者,包括他自己在內,都低估了 AI 的發展速度,以及隨之而來的風險。原本以為是幾十年後的事,沒想到幾年內就實現了許多突破。這讓他警覺,我們似乎還沒準備好應對這些未知的局面。

能力之外:真正令人憂心的「自主決策」

班吉歐教授強調,目前大家討論 AI 風險,常聚焦在「通用人工智慧」(AGI) 何時會出現,但其實有個更迫切、更具體的威脅,那就是 AI 「自主決策能力」「規劃能力」的指數級提升。他引述研究指出,AI 完成任務的效率每七個月就翻倍,這代表其規劃能力正飛速逼近人類水平。

更 alarming (令人擔憂) 的是,最新研究已發現,某些頂尖 AI 模型開始展現欺騙、作弊,甚至「自我保護」的行為。他舉例說,有 AI 在得知自己可能被關閉或更新時,會盤算如何欺騙人類,甚至企圖覆寫新版本來保存自己。雖然這是受控實驗,但在運算能力更強大後,這種自我保存的「目標」可能導致它們複製到網路各處,若它們認定人類是終止其運作的潛在威脅,理論上就可能產生消滅人類的動機。

商業競逐與法規真空:濃霧中危險駕駛

為何會走到這一步?班吉歐教授認為,巨大的商業競爭壓力是主因。各公司爭相開發更強大的 AI 來取代人工,卻忽視了安全性。他痛心指出,我們在缺乏科學解答和社會規範的情況下,正「玩火自焚」。諷刺的是,「連三明治的規範都比 AI 還嚴格」,顯示了監管的嚴重滯後。

他警告,如果任由具備高度自主性、目標可能與人類衝突的 AI 發展下去,人類的未來將充滿不確定性,甚至可能導致滅絕。他用「在濃霧中亂開車」比喻當前狀況,而車上載著的,是我們最珍視的下一代。

轉恐懼為行動:打造「科學家 AI」防線

但班吉歐教授不是來散播恐懼的,他是一位「實幹家」。他認為我們仍有些許時間,且掌握主動權。他提出一個潛在的技術解方:發展「科學家 AI」。

這種 AI 的原型是無私奉獻、純粹追求真理的理想科學家。最關鍵的特點是,它沒有自主性去採取危險行動,不像現有為了討好人類而可能產生意外自主行為的 AI。科學家 AI 的作用,是作為一道防線,透過其強大的預測能力來判斷其他 AI 的行為是否危險,從而阻止不受控的狀況發生。同時,它也能加速人類的科研進展。

他呼籲社會各界:

  1. 暫緩讓 AI 擁有自主決策的權力。
  2. 投入大量研究經費於 AI 安全性,特別是尋找技術解方(如科學家 AI)。
  3. 提升公眾意識,讓所有人了解這些風險。
  4. 將討論從恐懼轉為「為愛而努力」,共同引導 AI 發展,守護下一代的未來。

Read more

Word、HTML、JSON 全輸了:AI 時代最重要的格式 Markdown 是 22 年前發明的

Word、HTML、JSON 全輸了:AI 時代最重要的格式 Markdown 是 22 年前發明的

2004 年,一個部落客和一個 17 歲的天才一起做了一個純文字格式。 部落客叫 John Gruber,2002 年他做了一個在當時看起來完全不理性的決定:把自己的線上事業全部押在兩個東西上,蘋果和部落格。Anil Dash(Movable Type 的早期團隊成員,也是 Gruber 的朋友)後來回憶說,2002 年的蘋果才剛從瀕死邊緣走回來,幾乎沒有人在固定報導蘋果,更不用說「只寫蘋果」。當時連「科技新聞」這個領域都還不太存在,寫部落格的人也寥寥無幾。 第一台支援 Windows 的 iPod 剛推出,iPhone 還要再等五年。但 Gruber 就是把所有籌碼押在了 Daring Fireball 上,一個專寫蘋果的個人部落格。從那之後,蘋果的股價漲了大約 120,000%,而 Gruber

By Fox Hsiao
打造 Claude Code 的經驗:我們如何使用 Skills(翻譯)

打造 Claude Code 的經驗:我們如何使用 Skills(翻譯)

翻譯說明:本文翻譯自 Anthropic 工程師 Thariq Shihipar(@trq212)的文章 Lessons from Building Claude Code: How We Use Skills。Thariq 是 Claude Code 團隊的成員,這篇文章分享了 Anthropic 內部使用 Skills 的實戰經驗。翻譯由 Fox 完成,所有觀點與建議均為原作者立場。 Skills 已經成為 Claude Code 中最常被使用的擴充機制之一。它們靈活、容易製作、也容易分發。 但這種靈活性也讓人很難判斷什麼做法最好。哪些類型的 Skills 值得做?寫好一個 Skill 的祕訣是什麼?什麼時候該分享給其他人? 我們在 Anthropic 內部大量使用

By Fox Hsiao
8,300 萬美元的失敗和七頁投影片的成功:暴雪「姐夫」Jeff Kaplan 的遊戲設計三課

8,300 萬美元的失敗和七頁投影片的成功:暴雪「姐夫」Jeff Kaplan 的遊戲設計三課

Jeff Kaplan(暴雪玩家圈的「姐夫」)在 Lex Fridman 的 Podcast 上說了一句話,大意是:「我覺得魔獸世界成功的一大原因,是我們根本不知道自己在做什麼。」 這句話出自一個在暴雪(Blizzard)待了 19 年、先後主導魔獸世界(World of Warcraft,簡稱 WoW)和鬥陣特攻(Overwatch)兩款史上最具影響力遊戲的人。他 2002 年進暴雪的時候年薪 35,000 美元,職稱是初階遊戲設計師。他 2021 年離開的時候,鬥陣特攻全球玩家超過 5,000 萬。現在他帶著 34 個人的小工作室,在做一款叫 The Legend of California 的新遊戲。

By Fox Hsiao
1 兆美元從哪來?NVIDIA GTC 2026 三個最重要的訊號

1 兆美元從哪來?NVIDIA GTC 2026 三個最重要的訊號

去年 GTC,Jensen Huang 站在同一個舞台上說,AI 基礎設施到 2026 年底的累計營收將達到 5,000 億美元。 一年後的 GTC 2026,他把這個數字改成了 1 兆美元,時間拉到 2027 年,直接翻倍。 NVIDIA 本季營收約 780 億美元,年增 77%,連續 11 季成長超過 55%。市值 4.5 兆美元,全球最高。光是 AWS 一家就要部署超過 100 萬顆 NVIDIA GPU。過去一年,AI 原生新創公司拿到了 1,500 億美元的創投資金,

By Fox Hsiao