home / notes / Claude 模型退役前，先保住歷史數據的可比性
Note
Claude 模型退役前，先保住歷史數據的可比性
對依賴歷史數據的團隊，模型退役前最該優先保住的，是新舊模型對同一份固定測試集的重疊量測。我的判斷是，deprecation 窗口應被當成可比性的截止期限。新模型夠不夠好可以繼續評估，舊模型停止服務後，缺少的對照就可能再也補不回來。
服務接得上，不代表歷史分數接得上
收到模型退役通知，把工作理解成尋找替代模型、修改 API ID、確認品質與成本，是合理的工程反應。但如果產品累積的是評分、分類或品牌能見度的時間序列，這個遷移定義就不完整：服務繼續運作，只回答了明天能不能產生數據，沒有回答明天的分數能不能跟昨天比較。
我認為這裡有兩個應該分開的問題。效能測試問的是，新模型是否符合產品需求；建立換算依據問的是，同樣的輸入交給新舊模型，分數差異是否有可理解、可驗證的關係。前者即使通過，也不能替後者背書。平均分數接近，仍可能掩蓋不同題型之間方向相反的變化。
假設一項品質指標在切換模型後上升，產品團隊可能想把它解讀成改善成果。但在量測工具也改變的情況下，我會先保留判斷：這可能是產品變好了，也可能是新模型比較容易給高分。少了對照，漂亮的趨勢線反而可能讓資源分配建立在無法辨識的差異上。
Deprecated 到 Retired，是補齊對照資料的期限
Anthropic 的模型生命週期文件區分四個階段：Active 代表完整支援且推薦使用；Legacy 不再更新，未來可能被棄用；Deprecated 仍可運作，但不再推薦，並有替代模型與退役日；Retired 則已無法使用，請求會失敗。Deprecated 與 Retired 之間的差異，正是這篇判斷的事實基礎。
官方也要求 Deprecated 模型的用量在退役前完成遷移，並表示受影響客戶會收到 email 通知，文件也會公告。這表示期限有可察覺的起點。從產品排程來看，我會把它理解成一項即將失去的能力：團隊還能主動指定相同輸入，取得舊模型與替代模型的回答。
真正有時效的，是取得舊模型對照資料的能力。只要新模型仍可用，對它的品質、延遲與成本評估就能繼續；舊模型一旦在使用的平台退役，便不能再透過該服務補跑。這也是我主張先保留重疊量測的理由：分析與換算可以稍後決定，取得資料的機會卻有期限。
這個窗口也不能一概視為所有平台共用。依同一份官方文件，Anthropic 公告日期適用於 Claude API、Claude Platform on AWS 與 Microsoft Foundry；Amazon Bedrock、Google Cloud 等合作平台另訂時程。對跨平台團隊而言，可比性的期限應以實際使用的服務為準，不能只看模型名稱。
重疊量測保留的是判斷依據，不是換算保證
心理計量學提供了一個值得借用的問題意識。Meredith 在 1993 年的論文定義並討論 measurement invariance 等概念。我認為對模型評測最有用的啟發是：在比較分數之前，應先追問量測關係是否仍成立，而不是因為欄位名稱相同，就假設分數具有相同意義。
更具體的例子來自Impact of Cancer 量表的跨版本研究。研究者利用同一批受試者填答新舊兩版題目的資料，以線性迴歸預測舊版缺少的新版題目，產生新版估計分數，並以分開的資料進行驗證與測試。這個案例支持的是有條件的可能性：量表改版後，舊資料未必只能作廢。
我會借用它的研究設計邏輯：讓相同樣本同時接受新舊量測，才有材料研究兩者的關係。但這是心理計量案例，不能直接證明 LLM 分數也能成功換算；measurement invariance 如何適用於 LLM 輸出，也不能只靠類比回答。固定測試集提供的是可檢驗的對照，並沒有自動產生一把通用的新舊分數換算尺。
即使最後決定不換算，這份資料仍可能有價值。它能讓團隊具體討論哪些任務差異小、哪些類型變動大，以及時間序列應從哪裡切開。我的判斷是，重疊量測最值得購買的成果，是保留選擇權，而不是預先承諾一定要把曲線接起來。
該重設基準時，連續曲線反而是負擔
Hugging Face 曾記錄，Open LLM Leaderboard 上 LLaMA 的 MMLU 分數明顯低於論文公布的數字，並追查評測方式的差異。這個案例提醒我，不能把所有分數落差都歸給模型能力；評測條件本身也必須放進解釋裡。
因此，我認為重疊資料要有意義，固定的不能只有題目。prompt、參數、評測程式與評分定義，都應留下足以辨認差異的版本紀錄。若換模型時也重寫評分規則，對照呈現的便是整套系統的變更，很難單獨解釋模型造成多少影響。這是對證據可解釋性的要求，不是紀錄愈多愈好的形式工作。
在產品取捨上，我傾向只在換算關係通過獨立資料驗證、且適用範圍說得清楚時，才考慮延續序列。如果測量目標已改變，或不同任務的差異無法用同一關係合理描述，重設基準更容易交代。原始分數與換算分數也應保有區別，避免儀表板把估計結果呈現成未經改動的歷史事實。
這項投資有邊界：並行呼叫要花預算，保存輸出、維護測試集與驗證關係也要人力。如果產品只在意當下輸出是否可用，沒有跨期比較需求，建立換算依據未必值得優先。反過來說，若產品賣的是長期趨勢，這筆支出就應被視為量測服務的一部分。
AEO／GEO 追蹤要分清楚誰在換模型
把這個問題放到 AI 搜尋能見度，我認為必須區分被追蹤的平台與負責判讀的工具。假設平台換模型後改變品牌提及方式，那可能就是使用者實際接觸到的環境變化；若換的是追蹤工具用來辨識提及或判斷引用的模型，變動則可能來自量測方式。兩者都可能影響指標，但商業意義不同。
所以我不贊成把所有模型變動都當成雜訊，再用換算把它消掉。被測平台的行為變化可能正是產品要報告的訊號；工具自身的判讀差異，才是另一層需要辨識的問題。這也延續了量測者如何影響指標判讀的討論：先說清楚量的是什麼，才能決定哪些差異應保留。
對販售追蹤服務的團隊，我會把是否揭露模型變更、能否解釋序列斷點，視為產品可信度的重要部分。接下來值得看的訊號，不只是工具支援哪個新模型，而是它是否能說清楚趨勢變化可能來自哪一層，以及哪些比較已超出證據支持的範圍。
退役前先保留證據，是否接續留待驗證
嚴格來說，deprecation 不是唯一能建立對照的時段；公告前就有的新舊量測，或保存完整、條件合適的舊輸出，也可能提供依據。它的特殊性在於，這是舊服務停止前最後可主動補齊缺口的窗口。而固定測試集即使完成對照，也不能替不斷變動的外部環境還原整段歷史。
對依賴歷史比較的產品，我會把退役日前取得重疊資料排在優先位置，再依證據決定換算或重設基準。只做新模型效能測試，等於把未來解釋歷史斷點的能力留給運氣。真正該保住的不是一條看起來連續的線，而是日後仍能判斷那條線代表什麼的依據。
常見問題
Deprecated 的 Claude 模型還能繼續使用嗎？
可以。依 Anthropic 官方定義，Deprecated 模型仍可運作，但不再推薦，且已訂有退役日；進入 Retired 後請求才會失敗。用量須在退役前遷移，實際期限也要核對使用的平台。
新舊模型的平均分數很接近，可以直接接續歷史數據嗎？
我認為不能只憑平均值決定。不同任務的變動可能互相抵銷，評測設定也可能改變。重疊量測的用途，是檢驗分數關係與適用範圍；若關係無法合理驗證，分開呈現並重設基準會更清楚。
舊模型已經退役，歷史資料就完全沒用了嗎？
不必直接作廢。若保存了條件合適的舊輸出與評測紀錄，仍可能用來研究新舊差異；但能否接續需要另外驗證。若缺乏對照依據，我會保留舊資料、標示模型變更點，避免直接把跨期差異解讀成成長或退步。
AI 搜尋平台換模型造成的能見度變化，也應該換算消除嗎？
未必。我認為要先區分變更發生在哪裡：被追蹤平台的行為改變，可能是值得保留的市場訊號；追蹤工具自身的判讀模型改變，則可能影響量测方式。是否換算應由指標的測量目標決定，不能以曲線平滑為目的。