home / notes / AI 新創的資料護城河：從 robots.txt 看取得權限、工作流程與整合
Note
AI 新創的資料護城河：從 robots.txt 看取得權限、工作流程與整合
我認為，AI 新創真正可防禦的資料，多半來自客戶授權下的工作流程與系統整合，公開可爬的資料很難單獨形成護城河。判斷關鍵是競爭者憑什麼取得同樣的資料，以及取得後能否持續用它解決問題。
把資料、工作流程、系統整合分別列成護城河，看起來很清楚，卻可能把同一個優勢重複計算。對嵌入企業流程的產品而言，我的判斷是：整合讓產品取得授權範圍內的資料，流程讓資料持續產生，資料再改善交付結果。它們比較像一條因果鏈。
如果只問資料量夠不夠大、回饋能不能形成飛輪，就容易跳過更前面的問題：取得資料的條件是否特殊。假設另一家公司有同樣的入口、相同的使用權，而且能負擔相近的整理成本，先累積資料可能帶來時間優勢，但我不會直接把它算成長期防禦性。
robots.txt 規範爬取行為，不能代替存取授權
RFC 9309 規範 Robots Exclusion Protocol，讓服務擁有者表達爬蟲是否、以及如何存取內容，並定義協定語法、錯誤處理與快取規則。依這份規範，robots.txt 是爬蟲應遵守的規則，不是存取授權機制。
這個差別會影響資料資產的估值。我認為，若資料的保護方式只是要求爬蟲不要讀，就不能把它當成只有特定公司拿得到的資料。要主張取得上的獨占，還得解釋身分驗證、授權範圍與合約如何限制存取，不能只拿一份爬取規則當證據。
這也不表示 robots.txt 沒有價值。它提供了表達爬取規則的方式；但規範要求怎麼做，與個別爬蟲實際怎麼做，是不同問題。目前的來源不足以確認所有 AI 爬蟲的遵守情況，因此不能從網站寫了禁止規則，就推導出內容已經無法被取得。
公開可爬：資料有用，不等於取得方式可防禦
我會先把資料依取得條件分成公開可爬、選擇性開放，以及需要授權存取。這是判斷競爭優勢的分析框架，不是技術標準，也不是法律上的權利分類。同一份內容可能對搜尋爬蟲開放，對另一種用途限制存取，不能只貼上公開或私有的標籤。
對公開可爬的資料，我的起點是：若競爭者面對相同的取得條件，取得成本也相近，原始資料就很難單獨構成護城河。產品仍然可以有價值，例如假設它能把散亂內容整理成可靠的答案，那份價值可能在整理方法與交付品質，而非來源本身的稀缺性。
這個推論有明確邊界。公開不代表整理成本必然相同；如果一家公司有難以重建的標註、校正方法或更新能力，相同來源仍可能產生不同成果。此時應該證明的是處理能力為何難以複製，而不是用資料總量替代解釋。
所以，我不會因為資料公開就否定一個產品，也不會因為它儲存了很多公開資料就給予護城河評價。商業價值與排他性可以分開成立：產品可能值得付費，卻仍需要持續競爭，不能期待資料庫的大小自動保護利潤。
選擇性開放：搜尋入口與訓練取得可以分開
依 OpenAI 的爬蟲文件，GPTBot 與 OAI-SearchBot 用途不同，網站可以透過 robots.txt 分別控制訓練用與搜尋用的爬取。這提供了分開表達兩種爬取偏好的方式，不必把所有用途視為同一個選項。
從目前公開資訊來看，內容擁有者可以要求 GPTBot 不爬取，同時允許 OAI-SearchBot 爬取。我認為，這讓內容曝光與訓練資料供給成為可以分別取捨的決策；但它仍是對爬蟲的規則，不能直接等同於完整的授權安排，更不能推導成某家公司取得了獨占資料。
對依賴公開內容的新創，這一層比較像供給條件，需要評估特定用途是否能穩定取得資料。若未來更多網站限制訓練爬取，授權管道的相對價值可能提高；不過，目前沒有足夠資料確認這種選擇的普及程度，也不能據此宣稱公開資料供給正在全面縮減。
對內容擁有者，AI 搜尋則可能是一條值得評估的分發路徑。允許搜尋爬取不保證被引用，也不能用來證明流量或轉換。產品上的評估可以延伸成從爬取到商業結果分開判讀，避免把入口開放本身當成成效。
授權存取：資料優勢取決於產品在流程中的位置
需要授權才能取得的資料，是我更願意認真評估的候選。假設一個產品經客戶同意接入內部系統，並在處理任務時取得必要的狀態、修正與結果，競爭者即使能使用相同模型，也不能只靠公開爬取重建這些內容。它需要另行取得客戶信任與授權。
如果這些資料又能在允許的用途內改善下一次交付，資料與流程就開始互相支持。整合提供存取位置，流程提供結果脈絡，資料才有機會成為持續改善的材料。在這個範圍內，把資料護城河與工作流程護城河當成兩種互斥策略，會切斷真正需要解釋的因果關係。
但授權不等於獨占。若客戶也願意授權其他供應商，或替代產品能輕易接上相同系統，資料入口本身就未必特殊。同樣地，若授權只涵蓋某項任務，評估時就不應自行假設資料可以跨客戶使用、拿去訓練，或在合作結束後繼續保留。
我認為，真正值得問的是：客戶為何持續授權這個產品參與工作，以及那些資料是否能在授權範圍內改善結果。若答案只有接了一個 API，卻說不出產品如何承擔任務、理解修正與交付價值，就還不足以證明防禦性。
整合的代價，可能吃掉資料優勢帶來的收益
把授權資料當成方向，也必須接受相應的產品取捨。假設每次接入都需要大量客製、權限協調與維護，取得資料的困難可能同時拖累交付。難以複製不必然代表好生意；如果維持優勢的成本高於客戶願意支付的價格，防禦性也救不了產品經濟。
我會把可重複交付的整合能力看得比單次接入更重。判斷重點是，新增客戶時，產品是否能沿用已建立的能力，還是每次都得重新做一個專案。前者才比較有機會讓資料累積與商業擴張互相支持；後者可能只是把工程工時包進資料護城河的敘事。
這套判斷也不涵蓋所有公司。若某家公司透過獨占授權取得難以替代的資料，優勢可能主要來自合約；若資料整理能力本身極難重建，流程嵌入也未必是核心。這些可能性足以反駁所有資料優勢都來自工作流程的強版本主張。
我的判斷限於以客戶工作流程為核心的 AI 產品：下一個值得看的訊號，是授權能否持續、結果能否改善，以及整合成本能否隨交付累積而下降。當這些條件一起成立，資料才比較像可防禦的資產。創辦人需要說清楚的，是公司為何能持續在授權範圍內取得並用好資料，而不是已經存了多少資料。
常見問題
只靠公開網路資料，AI 新創就沒有護城河嗎？
不能這樣推論。公開資料難以單獨提供取得上的排他性，但整理、標註、更新與交付能力仍可能形成優勢；需要證明的是這些能力為何難以複製，而非只證明資料量大。
封鎖 GPTBot，是否也要放棄 OpenAI 的搜尋爬取？
不必。依 OpenAI 文件，GPTBot 與 OAI-SearchBot 可以透過 robots.txt 分別控制。不過，允許搜尋爬取不代表一定被引用，也不能直接推導出商業成效。
客戶授權的內部資料，什麼情況下仍不算護城河？
如果客戶能同樣授權競爭者、替代產品容易接入，或資料無法在允許的用途內改善結果，就不能只憑資料非公開來主張防禦性。我會連同授權持續性、流程價值與整合成本一起評估。