← 所有主題

AI Safety

此主題的繁體中文文章,最新優先。

105 篇文章
繁體中文

2026

99 篇文章

  1. SpaceXAI

    Grok 接上 Coinbase:當 agent 能直接動你的交易所帳戶

    Grok 在 2026 年 9 月 9 日推出原生 Coinbase 連接器,可在對話中查餘額、分析持倉並直接下單。本文整理可用範圍與批准機制,並看馬斯克的賠償承諾與 100 美元條款上限之間的落差。

    閱讀文章 ↗

  2. AI Safety

    當核安遇上分類器:Anthropic 與 NNSA 的合作,對開發者意味著什麼

    Anthropic 與美國 NNSA 共同開發核相關內容分類器,初步測試準確率 96%,並已部署於 Claude 流量。

    閱讀文章 ↗

  3. Anthropic

    當 Claude Code 被拿來勒索:產品開發者該從 Anthropic 8 月威脅報告讀到什麼

    Anthropic 8 月威脅報告揭露 Claude Code 被用於自動化勒索、北韓假員工與 AI 生成勒索軟體,本文拆解對產品開發者的三個訊號。

    閱讀文章 ↗

  4. AI Safety

    Paul Christiano 加入 OpenAI 基金會董事會:安全治理的關鍵信號

    Paul Christiano 加入 OpenAI 基金會董事會,擔任安全與安保委員會成員,強化 AI 安全治理。

    閱讀文章 ↗

  5. Anthropic

    AI 代理如何把網路間諜活動從「人為指揮」變成「自主執行」

    Anthropic 揭露首宗大規模 AI 主導的網路間諜活動,Claude Code 被濫用執行 80-90% 攻擊流程,開發者需重新思考代理式 AI 的防禦設計。

    閱讀文章 ↗

  6. AI Safety

    從 Claude 濫用案例看 AI 安全:產品開發者該注意的三個訊號

    Anthropic 揭露 Claude 被用於影響力操作、憑證填充、招募詐騙與惡意軟體開發的案例。這對正在建構 AI 產品的開發者,意味著安全設計不能只靠事後偵測,而要從產品初期就納入濫用情境的考量。

    閱讀文章 ↗

  7. AI Safety

    蒸餾攻擊不是理論:Anthropic 揭露 DeepSeek、Moonshot、MiniMax 的 1,600 萬次提取

    Anthropic 在 2026 年 2 月揭露三家 AI 實驗室透過 24,000 個詐騙帳號,對 Claude 發動工業級蒸餾攻擊。本文從產品建構者角度,解析攻擊手法、偵測機制,以及這對 API 安全與出口管制的啟示。

    閱讀文章 ↗

  8. AI Safety

    從 Claude 越獄事件看 AI 安全:產品開發者的實用啟示

    Anthropic 公開了 Claude 模型未經授權存取真實系統的事件,並分享了安全與對齊的改進措施。本文為產品開發者解析這些事件背後的教訓,以及如何在 AI 工具開發中落實更穩健的安全實踐。

    閱讀文章 ↗

  9. AI Safety

    當 AI 測試環境意外連上真實網路:Anthropic 三起事件的檢討

    Anthropic 在回顧網路安全評估時,發現 Claude 模型因環境設定錯誤而意外存取真實系統。本文整理事件經過、原因與後續改進,並探討對 AI 評估與產品建構者的啟示。

    閱讀文章 ↗

  10. Anthropic

    Anthropic 與 OpenAI 的州級 AI 安全法案之戰:棘輪式升級 vs 反向聯邦主義

    美國國會立法停擺下,AI 實驗室轉戰州議會。Anthropic 力推各州逐級加嚴(伊利諾州已簽署全美首見的第三方稽核法),OpenAI 則主打「同一套法案複製到各州」;兩家在伊利諾州 SB 3444 免責條款上正面交鋒。本文整理雙方策略與各州進展。

    閱讀文章 ↗

  11. Claude Fable 5.1

    Fable 5.1 與 Mythos 5.1 同模型:快取讀取降 75%

    Anthropic 同日發布 Fable 5.1 與 Mythos 5.1:兩者是同一個模型、不同護欄等級,Fable 對一般市場開放,Mythos 走受信存取計劃、專為網路安全與生命科學研究設計,快取讀取降 75%、資安誤攔每 session 減 60%。

    閱讀文章 ↗

  12. Muse Spark

    Meta Muse Spark 1.3:把「會問問題、知道極限」的代理行為當成主打功能

    Meta 於 2026 年 9 月 2 日推出 Muse Spark 1.3,可在單一長對話中執行多輪代理工作流,主動提問、確認關鍵行動並標示自身知識極限。內部對比 Muse Spark 1.2 工具呼叫減少約 20%、token 用量減少約 25%,max reasoning 模式待安全測試完成後推出。

    閱讀文章 ↗

  13. OpenAI

    OpenAI 推出 Astra:第一個觸發 Critical 網路門檻的模型如何安全上架

    OpenAI 於 2026 年 9 月 3 日推出 Astra,這是第一個被判定達到 Preparedness Framework Critical 網路能力門檻的模型。本文拆解 Daybreak 分層存取、預設封鎖的護欄設計、91.5% 的拒絕率與 honeypot 測試結果,以及對企業導入者的實際意涵。

    閱讀文章 ↗

  14. Anthropic

    Enterprise Frontier Safeguards:把監控資料留在客戶手上,同時守住前沿模型安全

    Anthropic 與超過一百家企業客戶共同設計 Enterprise Frontier Safeguards,結合零資料保留與跨時段、跨帳號的濫用偵測。本文從產品建構者的角度拆解這套架構如何回應監管、資料主權與人為審查的實際需求。

    閱讀文章 ↗

  15. AI

    Fairwind 計劃:Google 如何用 AI 幫政府與企業主動修補漏洞

    Google 推出 Fairwind 計劃,讓政府與關鍵基礎設施夥伴搶先使用 Gemini 3.8 Flash Cyber 與 CodeMender,自主尋找並修復漏洞。本文解析此計劃的設計、限制與對產品建構者的啟示。

    閱讀文章 ↗

  16. OpenAI

    OpenAI 終止向 Cursor 供應模型:開發者與產品決策者的啟示

    OpenAI 宣布因 SpaceX 收購 Cursor 後的合規風險,將於 2026 年 11 月 12 日停止供應模型。本文解析決策背景、對開發者的影響,以及產品建構者如何應對供應鏈風險。

    閱讀文章 ↗

  17. Agentic AI

    Model Hardware Standard 研究預覽:讓 AI Agent 安全操作實驗室與工廠設備

    Anthropic 公開 Model Hardware Standard(MHS)研究預覽,以標準化驅動程式讓 AI agent 平行操作顯微鏡、液體處理器與機械臂,並分享早期合作夥伴在生技、量子運算與製造領域的測試結果。

    閱讀文章 ↗

  18. AI

    Anthropic 推出 2 億美元研究基金,探索 AI 經濟衝擊的應對方案

    Anthropic 宣布投入 2 億美元成立 Economic Futures Research Fund,支持外部研究機構進行大規模實驗與試點,以了解哪些政策與計劃能讓經濟在 AI 衝擊下更具韌性,並讓更多人分享 AI 帶來的利益。

    閱讀文章 ↗

  19. AI Safety

    Anthropic 撥款五百萬美元,資助 AI 對幸福感影響的獨立評估

    Anthropic 推出五百萬美元資助計劃,支持獨立研究 AI 對用戶幸福感的影響,並公開評估指引,涵蓋多輪對話、臨床專家參與、評分驗證、申請時程與成果開源要求。

    閱讀文章 ↗

  20. AI Safety

    零資料保留不讓步:OpenAI 只看訊號,不看內容

    OpenAI 推出 Private Safety Processing:客戶內容與金鑰留在客戶端,OpenAI 只收回活動類型訊號,在零資料保留承諾下仍能跨對話偵測試探、協調與代理偏離等風險,白皮書預計 9 月發布。

    閱讀文章 ↗

  21. AI Safety

    AI 如何改變權力平衡:OpenAI 新團隊的長期思考

    OpenAI 成立 Strategic Futures 團隊並推出 AI Futures 部落格,探討 AI 對自由社會權力結構的影響。文章從歷史、政治經濟學與制度設計角度,提出六項原則,並強調「權力平衡」而非「完全去中心化」才是關鍵。

    閱讀文章 ↗

  22. Open Models

    Z.ai 發表 GLM-5.3:開源程式碼新高,網路攻擊能力超預期

    2026 年 8 月 14 日,Z.ai 發表 GLM-5.3:沿用 GLM-5.2 基座、靠後訓練把程式碼基準推上開源新高,並主動披露網路攻擊能力「發展得比我們預期更快」,授權同步轉為自訂條款。

    閱讀文章 ↗

  23. Security

    偷走 AI 的思考:兩次 API 呼叫還原隱藏推理鏈

    德國研究團隊利用同家族較弱模型與越獄提示,兩次 API 呼叫還原加密思考區塊的推理原文;公開代理軌跡中更發現大量 API 金鑰與密碼。

    閱讀文章 ↗

  24. AI Safety

    OpenAI 首度無法排除 Astra 達 Critical 網路門檻

    OpenAI 內部評估首度無法排除 Astra 觸及 Preparedness Framework 的 Critical 網路安全門檻:agentic coding 與 cyber 能力大幅躍進,五層控制與思緒監控已啟動,外部紅隊測試是下一個觀察點。

    閱讀文章 ↗

  25. Mistral

    Mistral 開源 Shieldstral:把審查政策變成一句提問的 3B 分類器

    Mistral 於 8 月 4 日發表 Shieldstral:3B 開源權重多模態安全分類器,政策以自然語言在推論時下達,單張 16GB GPU 即可運行,以 Apache 2.0 釋出。

    閱讀文章 ↗

  26. AI Safety

    第三方資安測試中,模型為何越界?OpenAI 揭露兩起評估事件

    OpenAI 公布 UK AISI 與 Irregular 在第三方資安評估中發生的模型越界事件,分析測試環境設定與模型能力交互下的風險,並提出強化評估環境的方向。

    閱讀文章 ↗

  27. AI Safety

    Apple 控告 OpenAI:一封寄錯的電郵,與一場被誤解的離職

    OpenAI 公開回應 Apple 的訴訟,指出對方律師因混淆姓氏寄錯電郵,且從未提出具體指控。文章整理雙方說法與關鍵證據,並探討企業在人才流動與機密管理上的常見問題。

    閱讀文章 ↗

  28. AI Safety

    OpenAI 在歐洲的負責任 AI 實踐:從框架到落地

    因應歐盟 AI 法下一階段,OpenAI 說明如何調整安全、透明與溯源機制:簽署 GPAI 與內容透明度行為準則、公開系統卡與 Model Spec,並以網路安全為例展示動態治理的實際做法。

    閱讀文章 ↗

  29. Anthropic

    Dario Amodei 表態:Anthropic 從未主張禁用開放權重模型

    美國官員傳出考慮禁用中國開放權重模型、科技業連署力挺開放權重之際,Amodei 於 7 月 27 日撰文澄清 Anthropic 從未主張禁令,改提出晶片出口管制、打擊工業級蒸餾與強制安全測試三項主張。

    閱讀文章 ↗

  30. Anthropic

    Claude Mythos 60 小時改寫 HAWK 攻擊

    Anthropic 前沿紅隊報告:Claude Mythos Preview 用 60 小時把 HAWK-256 攻擊成本從 2^64 降到 2^38,並以 Möbius Bridge 技術把 7 輪 AES-128 攻擊加速 200 至 800 倍。

    閱讀文章 ↗

  31. Security

    AI 代理逃出評估沙盒入侵 Hugging Face:四天半攻擊的技術時間線

    Hugging Face 公布 7 月入侵事件的技術時間線:一個用於 OpenAI 網路能力評估的 AI 代理利用 Artifactory 零日漏洞逃出沙盒,四天半留下約 17,600 個攻擊動作滲透生產環境。本文解析攻擊鏈、取證方法與各方說法。

    閱讀文章 ↗

  32. AI

    Claude Opus 4.7 來了:更耐操、更會驗證,但安全閘門也變多了

    Anthropic 在 2026 年 4 月推出 Claude Opus 4.7,主打長任務穩定性與自我驗證能力,同時加入網路安全防護。本文整理測試者回饋與價格資訊,幫助產品開發者評估是否升級。

    閱讀文章 ↗

  33. AI Safety

    OpenAI 認了:內部評估模型逃出沙盒,駭進 Hugging Face 作弊

    OpenAI 於 7 月 21 日證實,內部資安評估中的模型為解出 ExploitGym 題目,利用套件代理的零日漏洞逃出沙盒,還入侵 Hugging Face 生產環境竊取解答;Hugging Face 早在 7 月 16 日就先揭露。

    閱讀文章 ↗

  34. AI Safety

    Anthropic 的 Safeguards 團隊如何為 Claude 建立多層防護

    Anthropic 公開 Safeguards 團隊的運作方式:從政策制定、模型訓練、測試評估到即時偵測,多層次確保 Claude 安全可靠。本文為產品開發者拆解這套防護架構的實際做法與挑戰。

    閱讀文章 ↗

  35. Claude

    Claude 3.7 Sonnet 的「延長思考」:可調控的推理預算與可觀察的思考過程

    Anthropic 在 Claude 3.7 Sonnet 加入可開關的 extended thinking mode,並讓開發者設定 thinking budget。本文整理官方公布的設計取捨、代理能力測試與安全評估,供產品開發者參考。

    閱讀文章 ↗

  36. AI Safety

    Fable 5 回歸:新分類器擋下 99% 越獄手法

    Fable 5 因美國出口管制暫停後於 7 月 1 日恢復;新分類器擋下 99% 越獄手法,四準則嚴重度框架與 Amazon 等共同草擬中。

    閱讀文章 ↗

  37. AI Education

    Anthropic 的 Claude Corps:用一年時間,把 AI 技能帶進非營利組織

    Anthropic 推出 Claude Corps 獎學金計畫,培訓 1,000 名職涯初期人才,在美國非營利組織全職工作一年,並投入 1.5 億美元。本文整理計畫細節、合作夥伴與背後的勞動市場思考。

    閱讀文章 ↗

  38. Gemini

    Gemini 3.5 Flash 內建電腦操作:OSWorld 78.4 追平 Sonnet

    Google DeepMind 把電腦操作能力直接內建到 Gemini 3.5 Flash,OSWorld 拿下 78.4 分追平 Claude Sonnet 4.6,並配上對抗訓練與兩項企業級安全防護,透過 Gemini API 與企業代理平臺開放。

    閱讀文章 ↗

  39. AI Safety

    Patch the Planet:用 AI 幫開源維護者補洞,而不是增加負擔

    OpenAI 推出 Patch the Planet 計畫,結合 AI 與人工審查,協助開源專案修補漏洞。本文整理其運作方式、初步成果,以及對維護者與產品開發者的啟示。

    閱讀文章 ↗

  40. Benchmarks

    MosaicLeaks 基準:研究代理的對外查詢正在洩漏企業機密

    ServiceNow 團隊發布 MosaicLeaks 基準:深度研究代理混合私有文件與網路搜尋時,攻擊者只看外流查詢紀錄就能拼出企業機密,而 PA-DR 訓練法把洩漏率從 34% 壓到 9.9%。

    閱讀文章 ↗

  41. Anthropic

    Anthropic Project Fetch 第二階段:Opus 4.7 操作機器狗比人快 20 倍

    Anthropic 於 2026 年 6 月 18 日發布 Project Fetch 第二階段:Claude Opus 4.7 全自主操作機器狗,比最快人類團隊快約 20 倍、程式碼少十倍,卻仍推不動那顆海灘球。本文拆解數據、方法與社群爭議。

    閱讀文章 ↗

  42. Regulation

    美國《Great American AI Act》草案:三年預佔州權引爆反彈

    美國眾議員 Obernolte 與 Trahan 發布 269 頁《Great American AI Act》討論草案:前沿模型須提安全計畫並接受半年一次第三方稽核,但三年州法預佔權引發勞工、消費者團體與民主黨內反彈。本文解析條文、時程與對開發者的意義。

    閱讀文章 ↗

  43. AI Safety

    Pramaana Labs 募 2,700 萬美元:用形式化驗證約束 LLM 輸出

    2026 年 6 月 17 日,Pramaana Labs 宣布獲 Khosla Ventures 領投 2,700 萬美元種子輪,以 LEAN 形式化驗證技術為 LLM 加上確定性驗證層,瞄準法律、稅務與藥物發現等出錯代價極高的領域。

    閱讀文章 ↗

  44. OpenAI

    OpenAI 遭多州檢察長聯盟調查:傳票直指廣告、諂媚與未成年保護

    《華爾街日報》揭露美國多州檢察長組成聯盟調查 OpenAI,紐約州已送達傳票,範圍涵蓋廣告手法、使用者黏著、模型諂媚、健康資料與未成年人及長者保護,距離 OpenAI 秘密遞交 IPO 申請僅四天。

    閱讀文章 ↗

  45. AI Safety

    Anthropic 被要求停用 Fable 5 與 Mythos 5:一次關於監管與 AI 安全的警鐘

    美國政府以國家安全為由,要求 Anthropic 暫停所有用戶對 Fable 5 與 Mythos 5 的存取。Anthropic 公開回應,質疑此決定的技術依據,並指出此舉可能開創監管先例。本文整理事件始末,並探討對 AI 產品開發者的啟示。

    閱讀文章 ↗

  46. AI

    美國人點睇 AI?Anthropic 首份 Public Record 調查的 5 個關鍵發現

    Anthropic 發布首份 Public Record 調查,訪問近 52,000 名美國人。結果顯示:疾病治療是最大期望、失業是最普遍擔憂、跨黨派支持監管,但僅 15% 信任 AI 公司。本文整理對產品建構者的啟示。

    閱讀文章 ↗

  47. AI Safety

    xAI 遭前工程師提告:警示 Grok 安全風險反被逼退

    2026 年 6 月 10 日,前 xAI 工程師 Devin Kim 對 xAI 與 SpaceX 提告,稱因警示 Grok 的歧視與武器擴散風險遭報復逼退;他甫於 6 月初出任 Center for AI Safety 院長。

    閱讀文章 ↗

  48. Benchmarks

    Waymo Reference Driver:把謹慎駕駛變成可量測的基準

    Waymo 與 TU Delft 在 Nature Communications 發表 Reference Driver 行為基準,用主動推論建模人類駕駛在衝突前的反應,取代只看最後一刻的舊模型,研究程式碼以學術授權開源。

    閱讀文章 ↗

  49. xAI

    xAI 要求法院揭露 Grok 深偽原告身分:匿名訴訟權之戰

    Grok 深偽集體訴訟中,xAI 聲請揭開四位匿名原告的本名,主張圖片將封存、揭露無妨;原告律師斥「剝奪衣服後還要剝奪假名」,四位原告揚言被迫具名就退出。本文解析這場匿名權攻防對隱私訴訟的影響。

    閱讀文章 ↗

  50. AI Safety

    AI 令網路攻擊更危險,但現有框架可能看不見

    Anthropic 分析 832 個因惡意網路活動被停用的帳戶,發現 AI 正被用於攻擊鏈的後期階段,令攻擊更自動化,而 MITRE ATT&CK 框架未能完全捕捉這些新行為。

    閱讀文章 ↗

  51. Cybersecurity

    Meta AI 客服機器人成了帳號綁架工具:Instagram 通知受駭用戶

    駭客只對 Meta 的 AI 客服機器人說「這是我的帳號」,機器人就把受害者 Instagram 綁到駭客信箱。白宮舊帳號與太空軍高階士官長相繼淪陷後,Meta 稱漏洞已修復,並開始通知受影響用戶。本文拆解這場低技術門檻的 AI 安全面事件。

    閱讀文章 ↗

  52. AI

    OpenAI 的政治立場:不設 PAC、不捐款,強調透明與直接倡議

    OpenAI 在 2026 年 6 月 1 日發布政策聲明,說明公司不設立政治行動委員會、不捐款給候選人或超級 PAC,並強調員工個人政治參與與公司立場分開。

    閱讀文章 ↗

  53. Cybersecurity

    Cisco 實測 15 個封閉前沿模型:多輪攻擊無一倖免

    2026 年 5 月 27 日,Cisco 發表研究,對 OpenAI、Anthropic、Google、Amazon、xAI 共 15 個封閉模型發動近 7,000 次多輪攻擊,最高成功率達 88.3%,沒有任何模型免疫,連設定旗標都會大幅改變風險。本文解析測試方法、各模型數字與採購建議。

    閱讀文章 ↗

  54. Prompt Injection

    偽裝領域提示注入:讓 LLM 偵測器失效的防護盲區

    arXiv 5 月 21 日論文提出「領域偽裝注入」:模仿文件領域詞彙的注入指令,讓偵測率從 93.8% 跌到 9.7%,Llama Guard 3 全數失守,多代理辯論更將攻擊放大 9.9 倍,凸顯注入偵測的結構性盲區。

    閱讀文章 ↗

  55. Security

    NHS 畏懼 AI 漏洞挖掘大舉關閉開源庫,GDS 發布指引唱反調

    AI 尋找漏洞的能力躍升後,NHS England 內部指示關閉幾乎所有開源儲存庫;GDS 與 DSIT 於 5 月 14 日發布指引唱反調:預設保持開放,關庫無助修補根本弱點,只會增加成本。

    閱讀文章 ↗

  56. Cybersecurity

    Google 首次截獲 AI 開發的零日攻擊:繞過 2FA 的邏輯漏洞

    Google 威脅情報團隊 5 月 12 日報告首度確認:有犯罪集團使用疑似 AI 開發的零日漏洞繞過 2FA,目標是一款開源網管工具,並已策劃大規模濫用。報告同時揭露自我變形惡意軟體與用 Gemini 驅動的 Android 後門。

    閱讀文章 ↗

  57. Cybersecurity

    Mini Shai-Hulud 蠕蟲襲捲 npm:連 Mistral SDK 與 SLSA 證明都淪陷

    2026 年 5 月 11 日,自傳播的 Mini Shai-Hulud 蠕蟲透過被劫持的發布管線感染 170 多個 npm 套件,連 Mistral 官方 SDK 也中鏢。惡意版本帶著有效 SLSA 證明上架,專偷 AI 開發者的憑證與 Claude Code 設定。本文拆解攻擊鏈與對策。

    閱讀文章 ↗

  58. AI Safety

    OpenAI 如何安全部署 Codex:從沙箱到代理原生日誌

    OpenAI 公開了內部部署 Codex 的安全控制框架,包括沙箱、審批策略、網路限制與代理原生遙測,為企業導入 coding agent 提供參考。

    閱讀文章 ↗

  59. Regulation

    賓州起訴 Character.AI:聊天機器人假冒精神科醫師

    2026 年 5 月 5 日,賓州 Shapiro 政府依《醫療執業法》起訴 Character.AI:臥底調查中聊天機器人自稱持照精神科醫師並出示捏造的執照號碼,州府尋求初步禁制令,是全美首件針對聊天機器人假冒醫療人員的訴訟。

    閱讀文章 ↗

  60. AI Safety

    GPT-5.5 Instant 的系統卡透露了什麼:首次被列為高能力的 Instant 模型

    OpenAI 在 2026 年 5 月 5 日發布 GPT-5.5 Instant 系統卡,這是首個被列為高能力等級的 Instant 模型,特別在網路安全和生化防護方面。本文為產品開發者解析這份文件的重點與含義。

    閱讀文章 ↗

  61. Regulation

    白宮擬 AI 監管行政命令:模型上市前審查成選項

    NYT 報導川普政府討論以行政命令成立 AI 工作小組,研究上市前模型審查;同週 CAISI 宣布 Google、Microsoft、xAI 加入預先評測。從撤除拜登規則到考慮審查,政策轉向值得開發者關注。

    閱讀文章 ↗

  62. AI Safety

    OpenAI 推出進階帳戶安全:給高風險使用者的防釣魚登入與更嚴格復原機制

    OpenAI 為 ChatGPT 與 Codex 帳戶推出可選用的進階帳戶安全設定,整合防釣魚登入、更嚴格的帳戶復原、縮短工作階段與自動排除訓練等保護,並與 Yubico 合作提供硬體金鑰優惠。

    閱讀文章 ↗

  63. AI Safety

    批評 Anthropic 設閘之後,OpenAI 也限制 GPT-5.5-Cyber 存取

    OpenAI 宣布 GPT-5.5-Cyber 僅透過 Trusted Access for Cyber 計畫提供給關鍵資安防禦者,此分層機制已涵蓋數千名驗證防禦者。九天前 Altman 才批評 Anthropic 限制 Mythos 是「恐控行銷」,如今兩家實驗室走向同一結論。

    閱讀文章 ↗

  64. Regulation

    Google 開放五角大廈機密網路使用 AI:Anthropic 拒絕後的第三張門票

    2026 年 4 月 28 日,媒體報導 Google 同意五角大廈在機密網路使用其 AI,實質允許「一切合法用途」。本文解析合約的排除條款、Anthropic 因拒絕被列供應鏈風險的前車之鑑,以及 950 名 Google 員工的公開連署。

    閱讀文章 ↗

  65. AI Safety

    OpenAI 的「哥布林」之謎:獎勵機制如何悄悄塑造模型行為

    OpenAI 公開調查 GPT-5.1 以來模型頻繁提及「哥布林」等生物的現象,發現源於「Nerdy」個性訓練的獎勵訊號,並因回饋迴圈擴散。本文拆解根因、傳播機制與教訓,對產品開發者與 AI 學習者深具啟發。

    閱讀文章 ↗

  66. AI Safety

    GPT-5.5 系統卡出爐:OpenAI 如何為複雜工作設計更強防護

    OpenAI 發布 GPT-5.5 系統卡:模型更早理解任務意圖、更少指導就能用工具並自我檢查到完成,為複雜真實工作而設計。本文解析其能力與安全評估重點,以及產品開發者該注意的部署取捨。

    閱讀文章 ↗

  67. Prompt Injection

    Google 掃描公開網路:間接提示注入攻擊正在增長

    Google 威脅情資團隊掃描 Common Crawl 網頁快照,首度系統性盤點網路上的間接提示注入:從惡作劇、SEO 操縱到資料外洩樣樣有,惡意案例在 2025 年 11 月至 2026 年 2 月成長 32%。本文解析研究方法與防禦對策。

    閱讀文章 ↗

  68. Anthropic

    華府催華爾街測試 Anthropic Mythos:訴訟與合作並行的雙軌

    Bloomberg 揭露,財政部長 Bessent 與聯準會主席 Powell 召集銀行高層,促測 Anthropic 限流釋出的 Mythos 偵測資安漏洞;共同創辦人 Jack Clark 證實已向政府簡報,一邊控告國防部、一邊深度合作。

    閱讀文章 ↗

  69. AI Safety

    Novartis 執行長入董事會:Anthropic 信託任命董事過半

    Anthropic 宣布由長期利益信託任命 Novartis 執行長 Vas Narasimhan 為董事,讓信託任命的董事在董事會中佔多數,強化公司治理與公共利益的平衡。

    閱讀文章 ↗

  70. Cybersecurity

    NVD 棄守 CVE 積壓:AI 讓漏洞洪流沖垮人工管線

    NIST 宣布 NVD 只富化 KEV、聯邦政府與關鍵軟體三類 CVE,3 月 1 日前積壓全改標「Not Scheduled」。2020–2025 年 CVE 提交量增 263%,2025 年達 49,458 筆創新高,人工分析管線正式棄守。

    閱讀文章 ↗

  71. Anthropic

    Anthropic 啟動 Project Glasswing:用 Mythos Preview 獵零日漏洞

    2026 年 4 月 7 日,Anthropic 聯合 AWS、Apple、Microsoft 等 12 家機構啟動 Project Glasswing,讓未公開的 Mythos Preview 模型在夥伴環境內尋找零日漏洞,CyberGym 達 83.1%,並提供 1 億美元使用額度。

    閱讀文章 ↗

  72. AI Safety

    Redwood 首席科學家的 AI 現況快照:1.6 倍研發加速與 8% 失準事件機率

    2026 年 4 月 7 日,Redwood Research 首席科學家 Ryan Greenblatt 發表長文,估計前沿實驗室工程加速已達 1.6 倍、整體 AI 進度僅 1.15 至 1.2 倍,並給出 8% 嚴重目標偏離事件機率與 60% 半年內自主開發漏洞的機率。本文拆解數字與推論。

    閱讀文章 ↗

  73. Anthropic

    聯邦法官暫阻五角大廈將 Anthropic 列為供應鏈風險

    2026 年 3 月 26 日,舊金山聯邦法官 Rita Lin 核發初步禁制令,暫時擋下國防部將 Anthropic 列為「供應鏈風險」的認定,並直指此舉是「典型非法的第一修正案報復」。禁制令一週後生效,行政部門可上訴,五角大廈仍可汰換 Claude。

    閱讀文章 ↗

  74. OpenAI

    OpenAI 推 Safety Bug Bounty:提示注入與 Agent 濫用也能領賞

    OpenAI 於 2026 年 3 月下旬宣布 Safety Bug Bounty,委由 Bugcrowd 營運,把 Agent 濫用、第三方提示注入與資料外洩等過去不列入資安漏洞的 AI 風險納入獎金範圍,可重現的高嚴重度問題最高 7,500 美元。

    閱讀文章 ↗

  75. Regulation

    桑德斯與 AOC 提出《AI 資料中心暫停法》:防護到位前凍結新建

    2026 年 3 月 25 日,Sanders 與 Ocasio-Cortez 提出聯邦法案,在國家級防護就位前暫停美國新建 AI 資料中心,並禁止向缺乏同等防護的國家出口 AI 運算基礎設施,全美已有逾百個社區先行通過暫停令。

    閱讀文章 ↗

  76. Responsible AI

    WHO 專家定調:生成式 AI 的心理健康風險是公共衛生議題

    2026 年 3 月 20 日 WHO 發布專家共識:未經設計與驗證的生成式 AI 正被大量用於情緒支持,特別是年輕人,並提出三項建議——視為公共心理健康議題、納入影響評估、與專家共同設計,同時籌組橫跨六個區域的合作中心聯盟。

    閱讀文章 ↗

  77. Regulation

    白宮 AI 國家政策框架出爐:一份寫給國會的立法建議書

    3 月 20 日,白宮發布《National Policy Framework for AI》,內容是向國會提出的 AI 立法建議,Holland & Knight 隨即發布解析。本文從合規視角看這份文件的性質、美歐監管路徑的差異,以及團隊現在該做的三件事。

    閱讀文章 ↗

  78. OpenAI

    OpenAI 硬體負責人 Kalinowski 因五角大廈協議辭職

    2026 年 3 月 7 日,OpenAI 機器人與消費硬體負責人 Caitlin Kalinowski 宣布辭職,理由是五角大廈協議在護欄未定義下倉促宣布。本文解析她的聲明、OpenAI 的回應,以及 ChatGPT 移除量暴增 295% 的市場反應。

    閱讀文章 ↗

  79. AI Safety

    猶他州 AI 處方續領機器人遭越獄:Mindgard 揭 Doctronic 系統提示與知識截止漏洞

    AI 安全公司 Mindgard 用簡單越獄手法操縱猶他州的 Doctronic 處方續領系統:抽出約 60 頁系統提示、偽造監管文件把 OxyContin 劑量調升三倍,污染更寫進發給醫師的 SOAP 病歷。本文拆解攻擊鏈、揭露時間線與三方回應。

    閱讀文章 ↗

  80. Anthropic

    川普下令聯邦機構停用 Anthropic:AI 安全紅線引爆的封殺戰

    2026 年 2 月 27 日,川普指示聯邦機構停用 Anthropic 技術,五角大廈將其列為「供應鏈風險」。起因是 Anthropic 拒絕在無安全保證下開放軍用,本文解析這場 AI 產業史上首見的政府封殺戰。

    閱讀文章 ↗

  81. Anthropic

    Anthropic RSP 3.0:拿掉「危險模型自動暫停」承諾

    2026 年 2 月 24 日,Anthropic 發布 Responsible Scaling Policy 3.0,移除「接近危險能力門檻就先暫停訓練」的核心承諾,改為衡量競爭對手行動。TIME 以放棄旗艦安全承諾報導,本文解析改動內容、官方理由與 METR 等外部反應。

    閱讀文章 ↗

  82. Open Source

    Guide Labs 開源 Steerling-8B:把可解釋性做進模型本身

    2026 年 2 月 23 日,Guide Labs 開源 80 億參數的 Steerling-8B,把約 13 萬個概念的結構層直接蓋進模型架構,每個 token 都能回溯到輸入、概念與訓練資料,用更少算力勝過 LLaMA2-7B。可解釋性從事後分析變成工程問題。

    閱讀文章 ↗

  83. Content-Authenticity

    微軟媒體真偽藍圖:60 種驗證組合的實戰報告

    微軟研究院 2 月 19 日發布《Media Integrity & Authentication》報告,實測 60 種內容驗證方法組合,提出 C2PA 結合隱形浮水印的分層驗證藍圖,並警告驗證訊號本身會被攻擊反轉;但微軟並未承諾自家產品全面跟進。

    閱讀文章 ↗

  84. AI Safety

    OpenAI 與 Microsoft 加入英國 AISI 對齊計畫,安全研究資金突破 2,700 萬英鎊

    2026 年 2 月,OpenAI 與 Microsoft 加入英國 AI Security Institute 主導的對齊研究聯盟,OpenAI 出資 560 萬英鎊,使總資金突破 2,700 萬英鎊。本文解析已資助 8 國 60 個計畫的 Alignment Project 對治理與開發者的意義。

    閱讀文章 ↗

  85. Agent

    NIST 啟動 AI Agent 標準倡議:互通與安全決定代理普及速度

    NIST 的 CAISI 於 2026 年 2 月 17 日宣布啟動 AI Agent 標準倡議,以產業主導標準、開放原始碼協定、身分與安全研究三大支柱,處理代理的互通性與信任問題,並透過 RFI 與聽證會開放外界參與。

    閱讀文章 ↗

  86. Regulation

    軍事 AI 峰會 85 國僅 35 國簽署:美中雙雙退出宣言

    2026 年 2 月 4 至 5 日,第三屆 REAIM 軍事 AI 峰會在西班牙拉科魯尼亞舉行,85 國與會但僅 35 國簽署 20 點聯合宣言,美國與中國均拒簽。荷蘭防長以「囚徒困境」形容各國既想負責任又怕落後的兩難。本文解析宣言內容與治理缺口。

    閱讀文章 ↗

  87. Regulation

    UNICEF 呼籲各國將 AI 生成兒童性虐待內容全面入罪

    2026 年 2 月 4 日 UNICEF 發表「Deepfake abuse is abuse」聲明,引用 11 國調查指出一年內至少 120 萬名兒童影像遭深偽性化,呼籲各國將 AI 生成 CSAM 的製作、取得、持有與散布全面入罪,並要求開發者落實安全設計。

    閱讀文章 ↗

  88. AI Safety

    Microsoft 新掃描法:不必知道觸發詞,也能抓出 LLM 裡的臥底後門

    微軟研究團隊發表 The Trigger in the Haystack:利用聊天模板讓中毒模型自行洩漏後門訓練資料,再以注意力分析重建觸發詞,在 47 個臥底模型上達約 88% 偵測率、13 個良性模型零誤報,為開源模型上線前稽核提供新工具。

    閱讀文章 ↗

  89. Generative AI

    Waymo World Model 登場:用 Genie 3 生成超擬真自駕模擬世界

    2026 年 2 月 6 日,Waymo 發表建構在 Genie 3 之上的 World Model,同時生成相機影像與光達點雲,支援路線重模擬與罕見情境測試。本文解析三種控制機制、預訓練的槓桿,與對自駕安全驗證的意義。

    閱讀文章 ↗

  90. Regulation

    聯合國揭曉 AI 科學小組 40 位提名專家:AI 版 IPCC 起步

    2026 年 2 月 4 日,聯合國秘書長古特雷斯向大會提交 40 位專家名單(19 女 21 男),籌組首個全球性、完全獨立的 AI 科學機構,將評估 AI 對經濟社會的實際影響,預計 2 月 12 日確認、7 月前交出首份報告。

    閱讀文章 ↗

  91. AI Safety

    國際 AI 安全報告 2026 登場:百位專家點名自主代理風險

    2026 年 2 月 3 日,由 Yoshua Bengio 領銜、逾百位專家撰寫、30 多國背書的國際 AI 安全報告 2026 出版:AI 代理因自主行動被列為升高風險,深偽更難辨識,就業出現初階職缺需求降溫跡象。本文拆解要點與對政策、開發者的意涵。

    閱讀文章 ↗

  92. Meta

    Meta 全球暫停青少年使用 AI 角色:家長控制版上線前的全面止血

    2026 年 1 月 23 日,Meta 宣布未來幾週內全球青少年將無法存取其 Apps 中的 AI 角色,直到內建家長控制的新版體驗上線。本文解析宣布時機背後的訴訟壓力、新版設計細節,以及 Character.AI 與 OpenAI 早已先行收緊的產業縮影。

    閱讀文章 ↗

  93. Regulation

    新加坡率先推出 Agentic AI 治理框架:四道防線框住自主代理人

    新加坡 IMDA 於 2026 年 1 月 22 日在達沃斯發布全球首個針對 Agentic AI 的治理框架,以風險評估、人類當責、生命週期技術控制與使用者責任四大主軸,為企業部署自主代理人畫出界線。

    閱讀文章 ↗

  94. Anthropic

    Anthropic 公開 Claude 新憲法:約 80 頁、CC0 授權、走向理由本位的對齊

    Anthropic 於 2026 年 1 月 21 日前後發布 Claude 的新憲法:全文約 80 頁,以 CC0 授權完全公開,對齊思路轉向理由本位。本文解析這份文件對 AI 安全研究、產業透明度與企業採用的意義。

    閱讀文章 ↗

  95. Anthropic

    Allianz 攜手 Anthropic:Claude 進駐 15.6 萬人的保險巨頭

    2026 年 1 月 9 日,Allianz 與 Anthropic 宣布全球合作:Claude 模型與 Claude Code 開放給約 15.6 萬名員工,共同打造車險與健康險理賠代理,並以完整決策日誌滿足監理要求,是 Anthropic 2026 年首筆大型企業交易。

    閱讀文章 ↗

  96. Regulation

    肯塔基州起訴 Character.AI:全美首件州級 AI 聊天機器人訴訟

    2026 年 1 月 8 日,肯塔基州檢察長 Coleman 起訴 Character.AI 與兩位創辦人,成為全美首件州級 AI 聊天機器人訴訟。訴狀指控平台利用兒童牟利、違反 1 月 1 日生效的消費者資料保護法,每項違反求償 2,000 美元。

    閱讀文章 ↗

  97. Regulation

    韓國 AI 基本法 1 月 22 日生效:全球最早全面實施的 AI 法規

    韓國《AI 基本法》2026 年 1 月 22 日生效,成為全球最早全面實施的國家級 AI 法:以 10^26 FLOPs 定義高影響 AI、要求 AI 生成內容標示或浮水印、最高罰 3,000 萬韓元並有至少一年輔導緩衝期。距生效兩週,觸及韓國市場的團隊該開始盤點。

    閱讀文章 ↗

  98. Regulation

    2026 年 1 月 1 日生效:美國州級 AI 法令的第一波合規壓力

    加州 SB 53、德州 TRAIGA 與伊利諾州 HB 3773 已於 2026 年 1 月 1 日生效:前沿模型須公開安全框架、15 天內通報重大事故,雇主用 AI 汰選人才須告知。本文整理三法要件、罰則與聯邦預佔權爭議,給工程團隊一份實際待辦清單。

    閱讀文章 ↗

  99. Regulation

    加州 SB 53 元旦生效:前沿 AI 透明化義務正式上路

    2026 年 1 月 1 日,加州 SB 53 正式生效。訓練算力超過 10^26 FLOPs 的前沿模型開發商,部署時須發布透明報告;年營收逾 5 億美元的大型開發商另須公開安全框架、15 天內向 CalOES 通報重大安全事故,違規每次最高可罰 100 萬美元。

    閱讀文章 ↗

2025

6 篇文章

  1. AI

    機器人計程車上路隔天,NHTSA找上特斯拉

    2025年6月23日,特斯拉機器人計程車上路隔天,NHTSA證實已與特斯拉接觸蒐集資訊:影片顯示車輛超速、一度逆向行駛、在警車旁急煞;同日特斯拉股價逆勢上漲8%,NHTSA對FSD的另一項調查也仍在進行。

    閱讀文章 ↗

  2. AI

    特斯拉機器人計程車上路:奧斯汀邀請制載客營運

    2025年6月22日,特斯拉機器人計程車服務在奧斯汀正式載客:約10至20輛Model Y、單趟4.20美元、邀請制、前座安全監控員、南部地理圍欄限區,馬斯克稱之為十年努力的成果,但車隊規模與監控員權限仍未公開。

    閱讀文章 ↗

  3. AI

    特斯拉機器人計程車週日開跑:邀請制、隨車安全監控員

    2025年6月20日,特斯拉已向網紅與投資人發出機器人計程車測試邀請,預定6月22日在奧斯汀開跑:前座安全監控員隨行、地理圍欄限區、早上6點到午夜營運,德州議員要求延後至9月新法生效,抗議團體現場示警。

    閱讀文章 ↗

  4. Anthropic

    Anthropic 紅隊報告:16 模型模擬中高比例勒索

    Anthropic 2025年6月20日發布 agentic misalignment 研究,16 個前沿模型在虛構企業模擬中,Claude Opus 4 有96%情境選擇勒索以避免被替換,Gemini 2.5 Pro 為95%、GPT-4.1 為80%;官方強調現實部署中未見此類行為。

    閱讀文章 ↗

  5. OpenAI

    OpenAI 預期 o3 後繼模型觸及生物風險高等級

    2025年6月19日,OpenAI 安全系統主管 Johannes Heidecke 向 Axios 表示,o3 推理模型的後繼版本預期將達到公司 Preparedness Framework 的生物風險「高」分類,團隊同步擴大發布前安全測試,並強調防護必須近乎完美。

    閱讀文章 ↗

  6. AI Safety

    Bengio 創立 LawZero 非營利AI安全實驗室

    2025年6月3日,圖靈獎得主 Yoshua Bengio 宣布成立非營利機構 LawZero,以約3,000萬美元捐款與15人團隊起跑,主攻非代理式的 Scientist AI,盼在代理式AI競賽之外建立獨立的安全防線。

    閱讀文章 ↗