全球連通雲公司Cloudflare於2026年9月23日宣佈推出全新的「負責任」AI網路爬蟲標籤，並同步推出「禁止AI訓練」（Disallow AI Training）設定。這項全新功能讓網站即使拒絕其內容被用作AI訓練，仍可繼續完整出現在搜尋結果中，完美解決長期以來內容發布者在「搜尋曝光」與「AI訓練授權」之間的兩難局面。
突破傳統限制：兼顧搜尋能見度與AI訓練自主權
近三十年來，網路爬蟲存取網站內容並為網站帶來流量一直是基本原則。然而，集搜尋索引與AI訓練於一身的混合型爬蟲如今已佔Cloudflare網路已驗證爬蟲流量的36.6%。過去，網站若要拒絕AI訓練，往往意味著必須放棄搜尋流量；如今透過Cloudflare的新功能，網站擁有者可擁有真正的控制權，決定內容如何被不同用途的爬蟲使用。
三大全新控制選項與推薦設定
Cloudflare正將「封鎖AI機器人」功能拆分為搜尋、AI訓練與AI代理等三項獨立控制功能，並根據網站商業模式提供以下建議設定：
- 投放廣告的網站：允許搜尋爬取，禁止AI訓練，並在包含廣告的頁面上阻止AI代理存取。
- 其他網站：允許搜尋、AI訓練和AI代理存取，與大多數不依賴廣告收入的網站現有運作方式一致。
建立負責任的AI爬取標準
Cloudflare同時為AI爬取行為制定了明確標準，涵蓋混合型爬蟲營運商必須符合或承諾達成的四項要求：
- 提供清晰機制，允許網站擁有者透過robots.txt或同等標準退出AI訓練。
- 允許網站擁有者選擇退出AI生成的搜尋摘要。
- 提供URL級別的透明度，讓網站擁有者了解其內容如何被用於搜尋及AI訓練。
- 公開確認選擇退出AI訓練不會影響網站在傳統搜尋中的排名。
目前Apple、Google及Microsoft已展示其符合上述標準，並被列入合格營運商名單中。
玩家總結
隨著AI技術高速發展，內容創作者與企業對於自身智慧財產權的掌控需求日益迫切。Cloudflare此次推出的負責任AI網路爬蟲標籤與「禁止AI訓練」設定，成功打破了過去「全拿或全封」的僵局。這不僅讓網站能夠在不犧牲傳統搜尋流量的前提下拒絕AI模型訓練，也為未來更健康的數位生態系統奠定了重要基礎。
延伸閱讀：
華碩Zenbook DUO榮獲2026 IDEA銅獎 多款創新產品同步挺進決選
Google教你用Gemini點亮中秋的8個妙招：AI助你輕鬆搞定備料、送禮與賞月
台灣奧迪攜士林萬麗打造限定住房專案！入住體驗Audi Q3、專屬主題房、精選周邊帶回家
一站式規劃「理想廚房」！Bosch台北旗艦店進駐信義核心商圈、楊祐寧站台親揭家的好味道
