home / experiments / where the brand name sits
Experiment
品牌名藏在第 88% 的位置——一個還沒有結果的實驗
這篇沒有結論。變更已經上線,但下一次量測還沒到——而且我不認為這個變更足以解釋整個問題。
觀察到的現象
我的固定題組裡有 18 題是不含品牌名的一般問題,像是「台灣做 AEO 的公司推薦」「什麼是 Answer Engine Optimization?」。
在這 18 題上,兩個平台、五次執行,提及我 0 次,引用我的官網 0 次。
另外 4 題直接寫出我的名字(「ShellFans 是什麼公司?」),那 4 題全部命中。換句話說:把名字給它,它認得;不給名字,它不會想到我。
我去量的東西
我沒有先去猜原因,而是去量了一件很機械的事:品牌名第一次出現在正文的什麼位置?
答案是正文長度的 88% 到 91% 之間。
原因很單純:那些頁面的正文從第一句就直接進入主題,整篇都在回答問題本身,而品牌名只出現在頁尾的免責聲明裡。
假設
一個模型在生成回答時,不一定會用到整份文件。如果它實際使用的是文件前段,而品牌名在 88% 的位置,那麼它取用的那一段裡沒有任何實體訊號——沒有東西可以讓它說出「這來自誰」。
這是一個假設,不是已知的機制。我不知道各家平台的取用範圍,那不對外公開。
所以這個變更的定位是:把一個確定做錯的地方改對,不是解決 0 / 18。我把它們分開講,是因為把小修正包裝成解方,是這個領域最常見的話術,而我不想對自己也這樣講。
我做的變更
在 H1 與導言之間加入一行署名,包含品牌名與更新日期。這把品牌名第一次出現的位置從 88–91% 移到 7–14%。
刻意沒做的事:
- 沒有在正文各處塞品牌名。那會讓文章變難讀,而讀者是真的存在的。
- 沒有改寫任何一句正文。如果同時改了內容又改了署名,就算之後數字有變,我也分不出是哪一個造成的。
- 沒有同時調整結構化資料。理由同上。
為什麼現在就寫,而不是等有結果
因為等有結果之後再寫,我會寫出一個比較好看的故事。
如果下一次量測數字上升,我很難抗拒把它歸因給這個變更——即使同一期間網站還有別的改動、平台本身也在變、樣本又不大。先把假設和變更寫清楚,等於先把自己的說法釘住,之後就不能偷偷換一個更方便的解釋。
這個實驗的邊界
- 單一站台、單一變更、樣本不大。
- 無法排除同期其他變因——我既是實驗者也是被量測的對象。
- 就算數字有變,也只能說「與這個變更同時發生」,不能說「由它造成」。
- 量測本身也可能壞掉。這件事我已經遇過一次。
結果出來之後我會更新這一頁,不會另外開一篇——把假設和結果放在同一個網址,才不會只有好消息被單獨傳播。