home / notes / AI 爬蟲違規率誰說了算：robots.txt 與 llms.txt 的量測者偏誤
Note
AI 爬蟲違規率誰說了算：robots.txt 與 llms.txt 的量測者偏誤
我的判斷是，AI 爬蟲的違規數字不能直接互相比較，也不足以單獨判定某家爬蟲是否守規矩。就這些公開來源而言，沒有一份量測足以讓我確認它與結果毫無利害關係。數字背後的角色與判定方法，應該一起成為證據。
違規次數是判定結果，不是完整的行為證據
把爬蟲名稱、禁止存取的路徑與請求次數放在一起，很容易讀成一張違規排行榜。但從請求紀錄走到責任歸屬，中間還有規則版本、爬蟲身分與統計分母。次數多，可能是流量大；比例高，也可能是量測範圍集中在禁止存取的內容。沒有共同定義，數字排得再整齊也不能直接比較。
我認為這裡最容易漏掉的是量測者的身分。寫規則的人、販售治理工具的人、推廣提案的人，以及想證明改版有效的網站經營者，都可能同時參與定義成果。這不等於他們造假，而是同一份紀錄可以經過不同的分類、取樣與呈現，最後支持不同的決策。
RFC 9309：規則制定者也在規則之內
RFC 9309 是 IETF 的 Standards Track 文件，於 2022 年 9 月發布，內容包含錯誤處理與快取說明。四位作者中，G. Illyes、H. Zeller、L. Sassman 的所屬單位都標註為 Google LLC。這是可查證的作者組成；它本身不是偏袒任何爬蟲的證據。
從治理角度看，大型爬蟲營運方參與規範，有助於把實作限制帶進討論，也讓受規範者能影響合規的定義。這種角色重疊值得揭露，卻不能直接推導出標準不可信。標準作者也不是違規率的量測者；他們影響的是量測所用的尺。若操作上的例外被納入規則，同一批請求被算成違規的比例就可能降低，但是否合理仍得看規則本身。
快取就是具體例子。既然 RFC 納入快取處理，判定請求是否違規，就不能只拿網站此刻的 robots.txt 回頭套用。爬蟲可能取得的是更新前的版本。若量測忽略這個時間差，新禁止路徑的違規數可能被高估；但快取也不能成為所有存取的免責理由，仍要對照實際時序與標準條件。
Cloudflare：判定違規與提供封鎖工具的是同一方
Cloudflare 在 2025 年 10 月 21 日推出的 Robots.txt 分頁，會列出請求了明確 disallow 路徑的爬蟲、營運方、路徑、對應指令與違規次數。使用者可以接著到 Crawlers 分頁封鎖，或建立 WAF 規則。判讀與處置被放進同一套產品流程。
這種整合對網站管理很有用，商業角色卻也需要一起看。提供治理工具的一方，若採用較寬的違規定義，就可能讓處置需求顯得更迫切。這是可能的報告誘因，不能當成 Cloudflare 已經灌大數字的證據。現有資訊也不足以確認它如何處理規則快取與爬蟲身分驗證，因此不能把方法未知寫成方法有錯。
同一份公告還說，功能會檢查 robots.txt 是否包含 Cloudflare 自己提出的 Content Signals，涵蓋 AI training、search 與 AI input。這讓工具供應商也成為指令的倡議者。不過，檢查檔案有沒有這些指令，與確認爬蟲違反 RFC，是不同的問題；公告不足以支持把兩者合併成同一個違規指標。
身分歸屬則可能讓偏差往相反方向走。假如只依 User-Agent 分類，冒名流量可能被算到某個營運方頭上，高估它的違規；真正的爬蟲若以匿名身分出現，又可能從該營運方的統計中消失。我的判斷是，營運方排行榜的可信度，不能高於它的身分驗證方法。
llms.txt：提案者自報採用，不能直接證明使用效果
llms.txt 首頁將它描述為協助代理使用網站的提案。版本沿革標示原始提案發布於 2024 年 9 月，v2 為 2026 年 8 月；提案者在同頁自述，已有數千個網站發布檔案，文件平台會自動產生，coding agents 也會可靠地使用。這裡能確認的是提案者作了這些陳述，不能把它們升格為獨立驗證過的採用成效。
發布、讀取與產生效益，是不同的證據層級。若平台自動產生檔案，發布數可以增加，卻不必然代表網站經營者主動採用，也不能證明代理實際讀取。提案者有理由強調普及程度；若統計偏向收集成功案例，可能高估實際使用，但未被收錄的網站也可能造成發布數低估。偏誤方向取決於量測的是哪一件事。
OpenAI 開發者文件頁面確實指向 llms.txt，並說明在頁面網址後加上 .md 可取得 Markdown 版本。這能支持它提供這類文件入口，不能推導出其爬蟲會讀取其他網站的 llms.txt，更不能推導出引用機會增加。評估產品優先序時，我會把文件發布方式與代理使用行為分開看；兩者的取捨也延續了搜尋爬蟲與代理用途的區分。
學術研究與網站自測，仍受樣本範圍限制
arXiv 2505.21733 的研究使用作者所屬機構的匿名化網站日誌，分析 130 個自我宣告身分的 bot 與匿名 bot。這提供了具體的研究範圍，但單一機構的內容、規則與流量組成，不能自動代表整個網路。樣本若集中在容易發生衝突的路徑，推估可能偏高；若主要接觸行為較規律的爬蟲，也可能偏低。
學術研究的選樣限制，不等同於封鎖產品的商業利益，也不能只憑資料來自自家機構，就認定研究者想得到某種答案。我認為真正需要比較的是方法能否被檢視、结論是否超出樣本，以及不確定性是否被保留。現有摘要不足以確認完整的身分驗證方法，這一點應該停在未知。
網站經營者則可能同時是改動者、量測者與成果受益者。假設發布 llms.txt 後，爬蟲來訪或引用增加，前後差異仍可能混入季節性、內容更新或爬蟲端政策變化。缺乏對照組時，把成長全歸給自己的改動容易高估效果；若同期外部流量下滑，也可能低估。這是因果推論的限制，不是多存一些日誌就能消除。
| 角色與實例 | 影響數字的環節 | 可能方向 |
|---|---|---|
| 規則參與者：RFC 9309 作者 | 決定合規邊界與操作條件 | 納入合理例外可能降低被判違規的比例，不能因此推定偏袒 |
| 治理產品供應商：Cloudflare | 違規定義、快取時序、身分歸屬 | 忽略舊規則或計入冒名流量可能高估；漏掉匿名流量可能低估 |
| 提案推廣者：llms.txt 提案方 | 採用的定義與案例收集 | 以發布代替使用可能高估效果；未收錄網站可能低估發布數 |
| 研究者：機構日誌研究 | 內容、路徑與爬蟲樣本 | 依樣本組成，向全網推估可能偏高或偏低 |
| 网站經營者：假設的改版前後比較 | 缺乏對照組、成果歸因與報告誘因 | 外部成長可能被算成改版成效；外部衰退可能掩蓋效果 |
產品決策需要的證據強度，取決於要下多大的結論
要求所有團隊都等到跨站、獨立且可重現的研究才行動，代價可能太高。對單一網站的流量管理，儀表板仍可作為處置依據；但要公開認定某家爬蟲普遍違規，或宣稱某種優化能增加 AI 引用，就需要更強的身分、樣本與因果證據。局部資料可以支持局部決策，結論的範圍應該跟著證據走。
對做 AEO／GEO 的團隊，這也意味著要守住爬取、索引與引用之間的界線。即使來訪身分可信，存取紀錄仍不足以证明後續處理與引用成效。把爬蟲流量與搜尋能見度分開判讀，才能避免把容易取得的數字當成產品真正要追求的結果。
我接下來會更重視能揭露判定方法、規則時序與樣本差異的報告。如果跨機構資料在共同定義下仍得到一致結果，對單一量測者位置的疑慮就應該降低。在那之前，我願意依局部數字做有邊界的產品取捨，但不會把它升格成整個網路的違規排行榜，或一項提案已有效的證明。
常見問題
Cloudflare 標出的違規次數可以直接拿來比較爬蟲嗎？
不能只靠次數比較。還需要知道請求量的分母、規則版本、快取時間差與身分驗證方法。現有資訊不足以確認所有判定細節，因此這些數字可以支持局部管理，卻不宜直接當成跨營運方的合規排名。
量測者有利害關係，是否代表數字不可信？
不代表。角色重疊提示的是需要檢視的偏誤機制，不能取代對方法的查核。商業利益、研究選樣與網站自測的因果限制也應分開討論；方法透明且結論不超出樣本，仍能提供有用的證據。
AI 公司發布 llms.txt，能證明它會使用其他網站的檔案嗎？
不能。發布文件入口、代理實際讀取，以及讀取後影響回答，是不同的證據層級。確認發布行為，無法直接推導出對其他網站的讀取政策或引用效果。
發布 llms.txt 後引用增加，可以算成優化成果嗎？
可以視為值得追查的關聯，還不能直接作因果歸因。內容更新、外部流量與爬蟲政策變動都可能影響前後差異；缺乏對照時，效果可能被高估，也可能被低估。