Cloudflare 在 2026 年 8 月 21 日宣布推出 Bot Preference Sync，讓網站管理員在 Cloudflare 儀表板上設定的 AI 機器人偏好，自動同步到 robots.txt。這個功能解決的不只是「少改一個檔案」的麻煩，而是更根本的問題：你公開聲明的偏好，和你實際強制執行的規則，兩者可能互相矛盾。
當聲明與執行不一致時
Cloudflare 在公告中說明，有些顧客想被搜尋引擎發現，有些想嚴格保護內容。但現有的多層機制之間常常不同步：robots.txt 寫了 Disallow，後端 enforcement rules 卻沒有擋；某些 crawler 看到這種不一致，反而會認為可以不遵守你的偏好，或試圖繞過規則。Bot Preference Sync 的目標，是讓「你設定的政策」和「你發布出去的 robots.txt」保持一致。
Search、Agent、Training 三種流量
2026 年 7 月 1 日，Cloudflare 已經推出針對 AI 流量的分層選項：Search、Agent、Training 三種用途，各有 Allow、Block on pages that serve ads、Block everywhere 等選項；Training 另外可設 Disallow。Bot Preference Sync 會把這些設定寫入 robots.txt，並前置到現有檔案內容的最前面，所以原本的手動 Disallow 不會被蓋掉。新客戶預設開啟；使用舊版 managed robots.txt 的客戶，上線時會被提示確認偏好。
給出版者不同的預設
這項功能對靠廣告維生的出版網站特別友善。Cloudflare 新設了一個 onboarding 選項：「I monetize from pages with ads on this domain。」選下去之後，Training 會預設為 Disallow。這樣內容不會被拿去訓練模型，但傳統搜尋的能見度不受影響。一般非出版者的新客戶，則預設不加任何封鎖，由你自己決定要不要擋 Search、Agent 或 Training。
要留意的是，Bot Preference Sync 是以類別為單位的政策工具，不會讀取個別的 custom rules。如果你和某間公司有特殊協議，需要單獨開例外，可以隨時關掉同步，自己維護 robots.txt。
透明度成為入場費
Cloudflare 同時對「混合用途 crawler」提出更嚴格的要求。這些 bot 在單一 user agent 後面同時做搜尋、代理與訓練，讓網站主很難分開控制。為了在「Disallow Training」的狀態下不被封鎖，bot 營運者必須提供額外資訊：尊重 robots.txt 的 no training 偏好、提供讓網站主退出 AI 摘要的方法、提供 URL 層級的頁面使用可見度與搜尋指標，並證明 disallow training 不會損害傳統搜尋結果。Cloudflare Radar 的 AI bot transparency 區會公開追蹤哪些 bot 符合這些標準；不配合的 crawler 則不會獲得「好處」，依然會被封鎖。
下一步
Bot Preference Sync 將在接下來一週內開放給所有方案，從 Free 到 Enterprise。對一般網站主來說，這是把政策聲明與實際執行拉齊的最低成本做法。但如果你需要的不是類別層級的控制，而是逐間公司的特例，那就別用這個同步功能，自己管理 robots.txt 會更實際。
參考來源
本文由 AI 協助自上述來源整理，經人工審核後發布。