問題不在「要不要擋 AI」，而在同一個爬蟲做兩件事
網站經營者長期卡在一個二選一：讓內容被拿去訓練模型，或是冒著在搜尋結果裡消失的風險。Cloudflare 在 2026 年 9 月 15 日的公告裡把成因講得很清楚——Applebot、Bingbot、Googlebot 這類 mixed-use crawler 用同一個爬蟲同時服務搜尋與 AI 訓練，你拒絕其中一種用途，就等於拒絕另一種。
這個取捨不是理論問題。Cloudflare 公布的站點數據顯示，不到 1% 的站點選擇封鎖搜尋爬蟲，但有 17% 的站點啟用了某種阻擋訓練的機制。換句話說，站長普遍認為搜尋帶來的好處值得保留，訓練則否——只是過去的工具沒辦法把兩者分開。
Disallow AI Training 實際做了什麼
新的 Disallow AI Training 設定，讓站點在 robots.txt 發布不訓練的偏好，同時讓 Accountable 的混合用途爬蟲繼續為搜尋收錄內容。Cloudflare 表示 Apple、Google、Microsoft 都符合或承諾在指定時程內符合 Accountable 資格。
這裡的關鍵是 Cloudflare 把爬蟲行為拆成三類控制：Search（建立搜尋索引）、Training（訓練或微調模型）、Agent（使用者導向的代理，例如 chat fetch bot 與 browser-use agent）。三者在網域層級套用。Disallow AI Training 只適用於 Training，不適用 Search 或 Agent。
值得注意的是「Block」的語意變了。過去 Block 與「Block on pages with ads」不套用於混合用途爬蟲，因為那會連帶影響搜尋；現在這兩個設定會套用到所有訓練爬蟲，包含混合用途爬蟲。也就是說，如果你真的想讓 Applebot、Bingbot、Googlebot 完全進不來，現在必須明確選 Block，搜尋收錄也會一起停掉。
為什麼 robots.txt 單獨不夠，以及各家承諾的落差
Cloudflare 對 robots.txt 的批評很直接：任何人都能發布指令，但它無法辨識誰在爬、為什麼爬，也擋不住不理會它的爬蟲。網路層的作法是自己發布偏好、辨識爬蟲身分、分類爬蟲意圖，再封鎖不遵守的對象，並在 Radar 上公開各業者的實際行為。
各家的支援程度並不一致，這對要下決定的團隊很重要：
- Applebot 透過 robots.txt 的
Applebot-Extended規則退出訓練，但目前還沒有 URL 層級的檢視工具。 - Googlebot 透過
Google-Extended退出訓練，並在 webmaster portal 提供排除生成式搜尋結果的開關，以及搜尋與 AI 摘要的指標；Google 表示 URL 層級透明化工具預計在數週內推出。 - Bingbot 目前靠
NOARCHIVEmeta tag 表達訓練偏好，Microsoft 正在建置讓 robots.txt 的網域層級 no-training 偏好也能被遵循的機制，目標是 2027 年初。在那之前，選 Disallow AI Training 不會自動把偏好傳達給 Bing。
三家公司都表示，拒絕訓練不影響搜尋排名。這是承諾，不是你可以自行驗證的結果，但至少是可追蹤的公開說法。
對產品與工程團隊的實務意義
如果你在維護有廣告或訂閱收入的站點，這次更新把「被找到」和「被訓練」正式拆成兩個獨立決策。多數既有客戶不需要動作，設定會自動移轉；先前 Training 選了 Block 或 Block on pages with ads 的網域，會移轉成 Disallow AI Training。新網域在 onboarding 時會依是否靠廣告營利，拿到兩套預設值，之後隨時可改。
有兩件事現在還做不到。第一，Disallow AI Training 沒有「只針對有廣告的頁面」版本，因為廣告頁清單太大且變動太快，無法寫進 robots.txt。第二，Agent 目前沒有對應的 Disallow 設定，因為還沒有成熟的標準指令；Cloudflare 說等 ai-prefs 這類標準成熟後會再處理。
如果你的產品本身會呼叫外部網頁——例如檢索、摘要或代理抓取——這次的分類也提醒你，Search、Training、Agent 是三種不同的意圖，站點會分別對待。這和我們在為代理挑選網頁搜尋 API時談到的思路一致：先定義任務與可接受的行為，再挑工具，而不是先選供應商。
下一步的觀察點是 AI Summaries。Cloudflare 說站點層級的 yes/no 太粗糙，因為「有多少內容出現在摘要裡」和「是否出現」一樣重要，目標是明年初讓站長在 Cloudflare 設定一次就能控制比例。供給的 RSS 摘要沒有說明這個控制項的具體介面，只提到它會是對混合用途爬蟲業者的要求之一。
參考來源
本文由 AI 協助自上述來源整理，經人工審核後發布。