home / notes / GPTBot 與 OAI-SearchBot 分開設定之後：品牌該讓 AI 引用，還是讓 AI 記住

Note

GPTBot 與 OAI-SearchBot 分開設定之後：品牌該讓 AI 引用，還是讓 AI 記住

資訊不常變動、第三方報導又少的品牌，如果封鎖 GPTBot、只開放 OAI-SearchBot，多半得不償失。這類品牌能在 AI 答案裡被提到，主要靠模型本身記得它們。「重檢索、輕訓練」適合的是資訊變動快、又需要流量歸因的品牌。這個選擇現在只要在 robots.txt 寫一行就能設定，但效果有上限：robots.txt 只是請求，而且目前只有 OpenAI 公開把這兩條管道分開。

「只開檢索、關掉訓練」為什麼會被當成預設值

產業文章談 AI 能見度時，常把「被提及」和「被引用」混在一起講。Search Engine Journal 這篇文章標題寫的是 brand mentions，導言卻說要讓品牌被 cited。文中引述的估計是 Google 每天約 140 億次搜尋，ChatGPT 約 3,750 萬次「搜尋」。這些數字是 SEJ 轉述的估計，不是一手數據。問題不在數字，在於兩個詞被當成同一件事。品牌因此分不清自己要的是哪一種。

詞彙一旦混用，實務上很容易滑向一個看似兩全其美的折衷：擋掉訓練爬蟲來保護內容，同時開放檢索爬蟲來保留被引用的機會。我認為這個折衷背後有兩個沒說出來的假設。第一，訓練和檢索這兩條管道，對每個品牌的價值都一樣。第二，檢索能把記憶的損失補回來。對大品牌來說，這兩個假設大致成立。對冷門品牌來說，兩個都不成立。

這個決策現在只是 robots.txt 裡的一行

先講事實。OpenAI 在官方爬蟲文件中，把用於模型訓練的 GPTBot 和用於搜尋檢索的 OAI-SearchBot 列為兩個獨立的 user-agent，站方可以分別允許或封鎖（開發者文件也有相同的區分）。底層機制是 Robots Exclusion Protocol：最早由 Martijn Koster 在 1994 年提出，IETF 在 2022 年 9 月以 RFC 9309 正式規範，類別是 Standards Track。RFC 9309 以 user-agent 分組來比對規則，所以對不同爬蟲寫不同規則，本來就是協定的一部分。

兩件事合起來，「引用還是記住」就不再只是內容策略的口號，而是站方要做的設定決策。過去的問題是要不要被爬，現在的問題是讓誰爬、為了什麼用途。這也代表，封鎖 OpenAI 的某一個爬蟲，不等於退出 ChatGPT 的訓練和搜尋引用。只關其中一個，另一條管道仍然開著。

四種開關組合，各自適合哪類品牌

把 GPTBot 和 OAI-SearchBot 的開關交叉，會得到四格。下表是我的分類判斷，不是 OpenAI 的建議，也沒有實證數據支撐每一格的效果。

決定你在哪一格的三個變數

資訊更新頻率。訓練記憶有時間落差。價格、方案、功能每季都在變的產品，如果主要靠記憶被描述，模型很可能講出過時的資訊。這類品牌偏向檢索，因為檢索至少有機會抓到現在的頁面。反過來說，一家經營二十年、服務項目幾乎不變的事務所，被記住的版本和現在的版本差不多，時間落差的代價很小。

是否需要流量歸因。引用可以帶連結，比較容易轉成流量和可以量測的成效。記憶比較像品牌知名度，很難歸因。兩者回收投資的方式不同。如果你的商業模式是靠點擊進站轉換，例如媒體或電商，檢索的價值明顯比較高。如果成交主要發生在業務對話裡，買家只要在選型時聽過你的名字就夠了，記憶的價值就不能輕忽。

第三方語料覆蓋度。這是最常被忽略的一個。被大量報導、評論、比較的品牌，就算擋掉自家網站的訓練爬蟲，模型仍然能從第三方內容學到它。對這些品牌來說，擋 GPTBot 的成本很低。第三方覆蓋很薄的品牌就不一樣了，自家網站可能是模型能讀到的少數一手描述之一。

冷門又穩定的品牌，為什麼關掉訓練是淨損失

把三個變數放在一起看：資訊少變，所以記憶不容易過時；第三方覆蓋薄，所以自家網站在模型的知識裡佔的比重相對大；成交又多半不靠點擊，所以引用帶來的歸因優勢有限。這時關掉 GPTBot，等於拿掉一個成本低、潛在效益最高的管道，換來的「保護」卻沒有對應的商業價值。

我必須說清楚：封鎖或允許訓練爬蟲，對品牌在答案中被提及的頻率有多大影響，目前沒有可以量化的公開實證。這個結論是從機制推出來的，不是量測出來的。我的立場是：在沒有證據說它無害之前，冷門品牌不該把「只開檢索」當成無痛的預設值。

在 grounded 模式下，引用和記憶並不獨立

有人會說：只要開著檢索，模型上網搜尋時自然會找到我。這個說法忽略了檢索和記憶之間可能的互動。arXiv 2607.23893 這篇預印本在 2026 年 7 月 24 日的同一個兩小時內，對四個模型發出 2,400 次 grounded API 呼叫：120 個購買意圖 prompt，每個重複五次，涵蓋四個歐洲市場和五種查詢語言。標題的主張是，citation 類型可以預測模型會不會點名某個人。

這篇論文要打折扣看。它尚未經過同儕審查，資料來自單一時間窗口，研究對象是個人專業人士而不是企業品牌，摘要也說效應在不同模型和語言之間差異很大。作者單位標示為 Rankfor.AI OÜ，是一家商業公司。就算這樣，它提供了一個值得認真看待的方向：檢索結果的組成，會影響答案說出誰的名字。

另一個方向的影響目前還不知道：模型的參數記憶，會不會影響它在 grounded 模式下決定要搜尋什麼，例如優先搜尋已經知道的品牌。如果會，那麼關掉訓練的損失就不只出現在無搜尋情境，也會滲進檢索本身。這一點沒有證據，我只把它當成一個讓「只開檢索」風險變大的可能性。

這個決策的兩個天花板

第一個天花板是協定本身。RFC 9309 說明 robots.txt 是對爬蟲提出的請求，不是存取控制機制。你寫下的開關能不能生效，取決於對方遵不遵守，而遵守程度要由誰來量測、怎麼量測，本身就有偏誤，爬蟲合規率的量測問題我另外寫過。所以「封鎖 GPTBot 就能確保內容不被拿去訓練」是過度承諾。比較準確的說法是：你表達了意願，而 OpenAI 在文件中提供了尊重這個意願的方式。

第二個天花板是範圍。從目前公開資訊來看，把訓練和檢索拆成兩個 user-agent、並寫進文件的，我能確認的只有 OpenAI。其他 AI 業者有沒有同樣清楚的區分，本文依據的來源裡沒有資料。所以上面的四格框架，嚴格來說只是「在 OpenAI 產品裡」的決策。放到其他業者身上，可能根本只有一個開關，也可能有其他分法。

順帶一提常被一起討論的 llms.txt。它是 Jeremy Howard 在 2024 年提出的提案，不是標準組織制定的標準；原始版本發布於 2024 年 9 月，v2 在 2026 年 8 月發布。v2 用 rel="alternate" type="text/markdown" 指向頁面的 markdown 版本，用 rel="describedby" 指向涵蓋該頁的 llms.txt。它的設計重點是讓 agent 在使用網站的當下讀到精簡內容，偏向檢索和使用這一端。至於能不能幫助品牌「被記住」，提案本身沒有這樣主張，所以不能把它當成訓練端的槓桿。要不要做 llms.txt是另一個問題。

這個判斷在哪些情況下會錯

如果之後有可信的研究顯示，自家網站的訓練資料對模型提及率的邊際貢獻趨近於零，例如模型對冷門實體幾乎只靠檢索回答，那麼「冷門品牌關訓練是淨損失」就不成立。到時候只開檢索反而是合理的預設值。

另一個會讓判斷失準的情況是內容本身就是產品。對媒體、資料庫、付費研究來說，訓練授權可能是談判籌碼，擋 GPTBot 是商業立場，不是能見度計算。這類組織用我的三個變數去算，會漏掉最重要的那一項。

還有一個代價要先講：「兩個都開」意味著接受內容被用來訓練，卻得不到任何保證的回報。對創辦人來說，這是用不確定的品牌知名度，交換確定的內容讓渡。我認為對冷門品牌這筆交易仍然划算，但它確實是一筆交易，不是免費的。

接下來值得看的訊號

量測方法是目前最大的盲點。常見的做法是直接問 chatbot 對自家品牌知道什麼，SEJ 的文章也建議這樣做。但只要模型會上網，這種提問就把記憶和檢索混在同一個答案裡，品牌不知道自己贏在哪一邊，也就無法判斷 robots.txt 的設定有沒有作用。比較有意義的思路是：在搜尋功能開與關的條件下分別觀察，把兩條管道拆開看。這跟爬蟲流量不等於能見度是同一個道理：被爬取、被收錄、被說出來，是不同層的事。

我會留意三個訊號：其他 AI 業者會不會公開類似的訓練／檢索分流；arXiv 2607.23893 這類研究能不能在企業品牌、非歐洲市場和不同時間點重現；以及有沒有研究直接處理「記憶是否影響檢索查詢」這個問題。這三個訊號任何一個出現新的答案，四格表裡的建議都可能需要重畫。

結論：先判斷自己在哪一格，再決定擋誰

「被引用」和「被記住」不是二選一，而是要依品牌類型分配比重，而 OpenAI 的分流讓這個比重第一次可以直接寫進設定檔。我的看法是：資訊變動快、靠點擊轉換、第三方報導又多的品牌，可以放心偏向檢索；資訊穩定、報導稀少、靠名字被記得來成交的品牌，關掉 GPTBot 是在削弱自己最薄的那條管道。這兩種情況都要記得天花板：robots.txt 只是請求，而這套框架目前只在 OpenAI 身上有文件可查。

常見問題

封鎖 GPTBot 之後，ChatGPT 還會引用我的網站嗎？

有機會。OpenAI 把訓練用的 GPTBot 和檢索用的 OAI-SearchBot 列為獨立的 user-agent，只封鎖 GPTBot 不會關閉檢索這條管道。實際會不會被引用，還要看檢索與排序的結果。

在 robots.txt 封鎖 AI 爬蟲，就能保證內容不被 AI 使用嗎？

不能。RFC 9309 說明 robots.txt 是對爬蟲的請求，不是存取控制機制，效果取決於爬蟲是否遵守。

小品牌應該只開放 OAI-SearchBot 嗎？

如果資訊不常變、第三方報導又少，我認為兩個都開比較合理。這類品牌被提及，多半要靠模型記得，關掉訓練爬蟲可能削弱這個機會。不過這是推論，目前沒有量化實證。

llms.txt 能幫品牌被模型記住嗎？

提案本身沒有這樣主張。llms.txt 是 Jeremy Howard 提出的提案，不是正式標準，設計重點是讓 agent 在使用網站時讀到精簡內容，偏向檢索端。

來源

• OpenAI 爬蟲文件
• OpenAI 爬蟲官方說明（GPTBot 等）
• RFC 9309：Robots Exclusion Protocol
• How to Get Brand Mentions in Generative AI（Search Engine Journal）
• Who Gets Named: Citation Type Predicts Individual Naming by Grounded Language Models（arXiv）
• llms.txt 原始提案（llmstxt.org）
• llms.txt 變更紀錄（llmstxt.org）