看了三個月的 AI 爬蟲日誌，三件跟我想的不一樣的事

我原本以為爬蟲日誌會告訴我「誰對我有興趣」。它先告訴我的卻是：自稱 AI 爬蟲的請求，有不少根本不是來拿內容的。

期間: 2026-06-18 ~ 2026-09-08（82 天）
資料集: shell.fans 的伺服器端存取記錄，16 種 AI 爬蟲（依 UA 自稱）、11,066 筆請求
方法: 邊緣記錄每個請求的 UA、路徑、狀態碼；200、206、304 都算已交付內容；對有公開驗證方法的廠商做反向 DNS 正解
限制: 樣本只來自 shell.fans 一個站。流量規模與主題會影響哪些爬蟲來、來多少，不能當成全網路的市佔。16 種裡有 11 種在我的記錄系統中沒有驗證，UA 自稱的身分無法逐筆確認
更正: 2026-09-24：資料集與三處結論，見文首說明

更正（2026-09-24）：這篇原本的資料集混入了一個客戶站的存取記錄，卻寫成「自有站台」。這違反本站只用自有站台資料的規則。現在全文的數字都只用 shell.fans 重算，原本含客戶站的總數與各爬蟲數字已全部移除。連帶改了三處結論：一、原本說「請求量最大的 Bytespider 取得內容的比例最低」，只看 shell.fans 不成立；二、原本把 200 率低讀成「我改過網址而沒有留轉址」，但 shell.fans 自己的 404 裡找不到舊網址；原本也把 206、304 算成「什麼都沒拿到」，這兩種其實都已經交付；三、原本把 cohere-ai 讀成一支帶著過期網址來的新爬蟲，逐筆看路徑之後，它要的都不是網頁。

這篇寫的是我在自己資料裡看到什麼、原本以為是什麼。如果你要找的是「怎麼從日誌辨識 AI 爬蟲」的操作方法，那是另一件事，我把它寫在 topcc.me 的技術指南。

一、沒拿到內容的請求，多半不是來拿內容的

請求量前六名（82 天，shell.fans）
爬蟲	請求數	取得內容（200／206／304）
`Amazonbot`	2,726	65.0%
`Meta-ExternalAgent`	1,886	80.7%
`ClaudeBot`	1,623	76.6%
`Bytespider`	730	67.5%
`OAI-SearchBot`	652	81.9%
`CCBot`	567	54.1%

我原本的直覺是請求量代表興趣程度，取得內容的比例代表爬蟲的品質。但這兩個數字沒有照我想的排：請求量第一的 Amazonbot 取得內容的比例是 65.0%，比請求量不到它四分之一的 OAI-SearchBot（81.9%）低；排第六的 CCBot 只有 54.1%。

於是我把沒拿到內容的請求逐條拉出來看。這 82 天 shell.fans 的 404 有 1,792 筆，其中至少 1,635 筆（91.2%）要的是 .env、secrets.json、雲端憑證、SSH 金鑰這類設定與憑證檔。剩下的 157 筆裡還有 auth.json、keyfile.json 這類漏網的憑證路徑，其餘是 /openapi.json、/sw.js 之類的猜測，以及從 JavaScript 字串誤拆出來的網址。我在裡面找不到任何一條是我以前的網頁網址。301／302 轉址的 1,447 筆裡，也有 807 筆是同一類路徑。

所以這張表拿來評爬蟲，會評錯：取得內容的比例高低，有很大一部分取決於有多少找憑證的請求掛著那支爬蟲的名字——CCBot 的 567 筆裡有 195 筆是這類路徑，OAI-SearchBot 的 652 筆裡只有 6 筆。把這類路徑的請求拿掉之後，前六名取得內容的比例都落在 82.5%～93.3%。我一開始把它讀成「爬蟲品質」，讀錯了。

二、有一支來了 12 次，一次都沒拿到東西

cohere-ai 在 2026-09-06 第一次出現，到 09-08 資料截止為止 12 次請求，取得內容 0 次。

我原本把它讀成一支新爬蟲，拿著從別處來的過期網址清單來訪。逐筆看路徑之後，這個讀法站不住：12 次裡有 11 次要的是 .env、.bashrc、.aws/credentials 這類設定與憑證檔，剩下 1 次打的是開發工具 Vite 的內部端點，沒有一次在要網頁。12 次全部來自同一個 ASN（396982，Google Cloud），而 cohere-ai 在我的記錄系統裡沒有驗證方法。

這件事的實際意義：UA 字串是對方自己填的。日誌裡出現一個新名字，不代表來了一支新爬蟲——在確認之前，它只是一個自稱。這 12 次看起來更像是掛著 cohere-ai 名字的掃描器。

三、有一支安靜地消失了

爬蟲	最後一次出現	這 82 天的總數
`anthropic-ai`	2026-08-02	369
`Google-Extended`	2026-08-13	282
`Diffbot`	2026-07-26	294（只在 7 月中下旬密集出現一週）

anthropic-ai 是一個極短的 UA，字串裡連網址都沒有。它在 8 月初之後就沒再出現，而同期間 ClaudeBot、Claude-User、Claude-SearchBot 三支都還在跑。看起來像是舊識別字被新的系列取代了。

我不能從自己的日誌證明這件事——我只能觀察到「不再出現」，不能觀察到「為什麼」。這是單站觀測的天花板。

值得記下來的是：爬蟲清單會過期，而且清單上的名字誰都能用。如果我在 7 月寫死一份 UA 比對清單，它現在還在比對一個已經不來的 anthropic-ai；而 9 月才出現的 cohere-ai，照字串比對會被算成一支新爬蟲。

我改變的判讀方式

請求量單獨看沒有意義，一定要配狀態碼。「來了很多次」和「拿到很多內容」是兩件事。
狀態碼要分開算。206（部分內容）和 304（沒有變動、沿用快取）都是已經交付，不是「沒拿到」；301／302 是轉址；404 要看路徑——在 shell.fans，404 多半是在找憑證檔，不是舊網址。
UA 是自稱，不是身分。沒有驗證方法的爬蟲，日誌裡的名字只能當線索；這篇每一張表都是依自稱來算的。
爬蟲來過不等於 AI 會用你的內容。日誌能回答「有沒有來」和「有沒有拿到」，回答不了「有沒有被寫進回答裡」——那需要完全不同的量測，而那個量測本身也會壞掉（前車之鑑）。