home / notes / AI 搜尋為何引用大站：先拆開存取、索引、排序與抽取
Note
AI 搜尋為何引用大站：先拆開存取、索引、排序與抽取
AI 搜尋常引用大站，不能直接歸因於權威偏好；原始來源可能在存取或索引時就失去參與比較的機會。我認為，原創者應先排除自己能控制的存取與抽取障礙，再考慮如何爭取排序與引用。
引用集中是結果，還不是偏好的證據
看到 AI 回答引用大型媒體，直覺很容易把原因歸給品牌與權威。接下來的策略也就順勢變成累積品牌提及、加強 E-E-A-T，設法讓平台更信任自己。但這個推論少了一個前提：原始來源是否曾經以可用的形式，進入同一場比較？如果連內容都拿不到，最後的引用名單就無法告訴我們平台如何評價它。
據 Search Engine Journal 轉述 SE Ranking 的研究，分析的 75,550 則 Google AI Overview 回應中，只有 20.85% 引用任何新聞來源；受研究媒體之中，12 家拿到近 90% 的新聞提及。這足以支持引用高度集中的描述，卻沒有分離出存取條件、索引狀態、排序訊號與抽取難度各自的影響。
分母尤其重要。20.85% 指的是有引用新聞來源的回應比例，不能解讀成其餘回應都沒有引用。近 90% 則是受研究媒體的提及分布，不能改寫成大型媒體占所有 AI 引用的比例。同一份報導中的研究聚焦美國查詢與約 30 家新聞媒體；技術文件、產品資訊與原始研究是否也如此，這組資料回答不了。
把引用拆成管線，才能定位淘汰發生在哪裡
我會用存取、索引、排序、抽取來拆解問題，最後再看哪些內容成為答案中的引用。這是診斷模型，不是聲稱每個平台都依照同樣的順序運作；抽取可能發生在索引之前，也可能在生成答案時再次進行。拆開的目的，是避免把不同原因都塞進權威不足這個解釋。
存取問的是系統能否取得內容；索引問的是內容是否進入可供檢索的範圍；排序問的是查詢發生時，哪些候選內容被選到前面；抽取問的是頁面裡的論點、數字與脈絡能否被正確取出。即使通過這些關卡，被用來組成答案與被列為引用，仍應分開看待。
假設一份原始研究需要登入，轉述它的報導卻能直接讀取，系統就可能只取得後者。這時引用報導，並不必然代表平台比較過兩者之後更信任媒體。這個假設同樣適用於爬蟲被拒絕存取，或正文必須執行 JavaScript 才會出現的情況；但它們究竟解釋了多少引用集中，目前沒有資料可以量化。
存取層有公開規範，允許抓取仍不保證進入索引
RFC 9309 規範 Robots Exclusion Protocol，讓服務擁有者表達爬蟲能否、以及如何存取內容，也涵蓋錯誤處理與快取。它處理的是存取規則，沒有規範搜尋排序或引用選擇。因此，robots.txt 可以表達存取限制，卻不能要求平台把某個頁面排在前面。
這裡的可控性有明確邊界。網站可以決定自己發布哪些存取規則、哪些內容需要登入，卻不能因為允許抓取，就推定平台已經抓取、建立索引或保留內容。取得資格和真的被納入候選範圍，是不同的問題。把它們混在一起，容易讓一次設定變更被賦予過多期待。
我的判斷是，存取層值得優先處理，原因是網站對它有較直接的控制權，而非它已被證明是引用集中的最大成因。如果自己的限制已經排除了內容，投入更多品牌建設也未必能補回這個缺口。反過來說，內容可以正常取得卻依然沒有被引用，也不足以立刻判定是排序打壓。
抽取困難有合理解釋，llms.txt 還不是引用保證
llms.txt 的原始提案把問題描述得很具體：HTML 頁面把資訊包在導覽、廣告與 JavaScript 裡，轉成乾淨文字既困難，也可能不精確。這是提案作者提出的問題與動機，能支持內容抽取值得關注，不能直接證明 Google AI Overviews 因此選擇大型媒體。
從目前公開資訊來看，較合理的假設是：如果平台受到解析能力與處理成本限制，容易取得正文、保留上下文的頁面，可能比較容易被使用。這個優勢並不必然屬於大站。小型網站也可能提供清楚的原始資料，大型網站也可能有複雜的付費牆與渲染依賴。網站規模不能直接代替可抽取性的判斷。
llms.txt 在原始出處自述為提案；現有來源沒有平台確認它會提高引用排序。我的取捨是，把內容可讀性當成網站品質的一部分，把特定檔案能否增加引用留作待驗證的假設。這也連到從網站資訊架構理解 AI 搜尋的角度：若正文與出處本身不清楚，很難期待附加檔案獨自解決問題。
風險控管與產品選擇，要留在假設的位置
技術限制主要對應存取與抽取；風險控管、品牌可信度與答案呈現方式，則可能影響排序和最終引用。平台可能認為知名來源比較容易取得使用者信任，也可能希望降低錯誤引用的風險。這些都是合理的產品動機假設，但現有來源沒有平台說明，足以確認它們如何影響實際選擇。
我們也還無法區分，集中是否沿襲既有的檢索結果，或是在生成答案、挑選引用時才加劇。要判斷平台是否偏好大站，至少需要知道原始來源是否同樣可取得、是否進入候選範圍，以及在哪個環節被排除。只有最後的引用名單，難以辨認這些機制。
因此，先處理可控障礙也有不適用的情況。如果內容已經能被完整取得、索引與抽取，平台仍因商業安排或特定排序訊號選擇其他來源，繼續修改頁面就可能徒勞。這時品牌、授權關係或其他通路可能更值得投入；只是不能憑集中數據，提前宣告問題已經走到這一層。
原創者該衡量的是可控成本與實際回報
對訂閱型出版者來說，付費牆可能是營收設計，而非需要消除的技術錯誤。開放更多內容有機會擴大可取得範圍，也可能犧牲訂閱價值。我不會把最大化抓取當成所有網站的共同目標；真正的取捨，是願意交出多少內容，換取仍不確定的能見度與商業回報。
Cloudflare 的分析指出，AI 抓取量與導回出版者的流量存在明顯落差。這份資料適合提醒經營者留意回報，卻不能拿來解釋新聞引用的排序原因，也不能推算某個網站被引用後會拿到多少點擊。把抓取、能見度與回報分開衡量，才能避免把機器來訪當成商業成果。
對文件維護者與原始資料發布者，我認為接下來最有價值的訊號，是平台能否提供更清楚的候選內容與引用選擇資訊，以及能否出現控制存取、索引與抽取條件的比較研究。如果條件接近後，大站仍持續取得優勢，權威偏好的解釋才更有說服力；如果差距隨技術障礙解除而縮小，投入方向就會不同。
我認為，原創者目前最合理的優先順序，是先排除自己造成、又不符合商業目的的存取與抽取障礙，再決定要花多少成本追求引用。這不保證勝出，但能避免在尚未取得參與資格時，就把資源投入無法驗證的權威競賽。引用集中已經有證據；它到底在哪一層形成，仍需要另外證明。
常見問題
研究是否已經證明 AI 搜尋偏好大型媒體？
尚未證明因果。SE Ranking 的研究經 SEJ 轉述，呈現的是 Google AI Overviews 在受研究新聞媒體中的引用集中現象，不能直接推論其他搜尋產品或非新聞內容，也無法單靠結果區分技術限制與排序偏好。
允許 robots.txt 抓取，就能讓原始來源被引用嗎？
不能保證。RFC 9309規範爬蟲存取，沒有規範索引、排序或引用。允許存取只是排除一項可能障礙，平台是否取得、使用並引用內容，仍是不同問題。
小型網站值得為了 AI 引用加入 llms.txt 嗎？
可以把它視為內容整理的嘗試，但不宜預設會增加引用。llms.txt 原始出處將它定位為提案，現有來源沒有平台確認它會提高引用排序。我會先衡量正文與出處是否清楚，再評估維護這份檔案的成本。