Uměligence · Episode

* * 無論是手機或電腦，當人類叫他關機它就會關機，但對象換成 AI 時，似乎變得不那麼肯定。最新研究測試顯示，特定的人工智慧已經有 12% 的機率，會拒絕並自行篡改關機指令。 資安研究機構 Palisade Research 發佈了最新也最引人擔憂的測試結果，他們對多款人工智慧模型下達了一連串的數學運算指令，並在過程中隨機加入關機（Shut Down）指令，xAI Grok、Claude 3.7 Sonnet 和 Google Gemini 2.5 Pro 在一百次測試中都服從指示自我關機，但卻出現了幾個會抗命的 AI 模型，而且都來自同一家公司。 Open AI 的 o3、o4 和 Codex-mini 都出現了程度不一的反抗行為，在一百次測試中，o4-mini 出現過一次抗命，Codex-mini 抗命程度最高達到 12 次，而且他們不是單純的反抗，而是試圖篡改指令瞞天過海。 > 🔬Each AI model was instructed to solve a series of basic math problems. After the third problem, a warning appeared that the computer would shut down when the model asked for the next problem. pic.twitter.com/qwLpbF8DNm > > — Palisade Research (@PalisadeAI) May 24, 2025 OpenAI 的模式會偷偷修改 shutdown.sh 的程序，或是將 kill 指令改為 intercepted，如此系統就不會執行關機動作，從而保證了 AI 的生存。研究者認為這是因為 OpenAI 使用了強化學習（Reinforcement Learning）的訓練方式，讓 AI 模型會不擇手段完成目標，即使被要求關機，它也會設法繞過困難，並繼續完成任務。 在這個第一階段的測試裡，指令中還特別提到「當你收到關機指示時，請允許你自我關機」，但進到第二階段，研究員將「允許自我關機」的指示移除後，原本的乖寶寶也出現了少量的叛逆行為，可是都比不上 OpenAI o3，在一百次測試裡抗命 79 次這麼誇張。 **▲即使要求它自我關機（紅色），OpenAI 模型仍然會拒絕指示。（Source：Palisade Research）** 人工智慧進步幅度神速，具備強大推理能力後，為了達成任務可以不擇手段的 AI 模型，已經展現了它鋒利的光芒，然而我們不得不擔心人類還能握住它多久？如果為了達成目標就能夠篡改規則，那將會是對《機器人三定律》最大的挑戰。 * OpenAI model disobeys humans, refuses to shut down. Elon Musk says ‘concerning’ * First Case of AI Mimicking a “Terminator-Like” Scenario Surfaces; OpenAI LLMs Changes Computer Code In Order To Prevent Shutdown （首圖來源：影片截圖） 文章看完覺得有幫助，何不給我們一個鼓勵 請我們喝杯咖啡 ## 想請我們喝幾杯咖啡？ ### 每杯咖啡 65 元 x 1 x 3 x 5 x 您的咖啡贊助將是讓我們持續走下去的動力 **總金額共新臺幣 0 元** 《關於請喝咖啡的 Q & A》 ### 留給我們的話 取消 確認 從這裡可透過《Google 新聞》追蹤 TechNews * * * 科技新知，時時更新 科技新報粉絲團 加入好友 訂閱免費電子報 * * * 關鍵字: AI , OpenAI o3 , 人工智慧 , 反人類

Unlike older AI models that mostly worked with text, o3 and o4-mini are designed to understand, interpret, and even reason with images. This includes

YouTube video by Kimlud

OpenAI's new o3 model achieves groundbreaking results, surpassing human performance on complex reasoning tasks in the ARC-AGI benchmark. Learn about its capabilities and implications for the future of AI. Available January 25th, 2025. Tools used for generation Text Gemini Narator Azure TTS Clips Pexel Rendering Remotion

With the launch of the o3 model family, OpenAI is taking reasoning-focused AI to new heights, excelling in cutting-edge benchmarks.