如何檢驗PECOTA? - 棒球數據分析

對於PECOTA我一直有個疑問, 那就是, 這個系統的正確性是否有經過
驗證?

如果我的瞭解沒錯, PECOTA的基本精神是, 依球員各項數據隨年齡變
化的走勢, 找出歷史上與之最相近的球員, 再從這些相似球員的走勢,
來預測此球員在未來數年的表現. 當然, 此一預測是有誤差區間的,
PECOTA給的預測除了mean, median以外, 也給出一個機率分布.

對於這樣的一個系統, 是否需要驗證其正確性? 首先, PECOTA有提供
球員相似度指數, 指數低於20者, 表示歷史上找不太到與此球員相似
的球員以供比對, 譬如一朗的相似度是19, King Felix與老克的相似
度只有1, 臂力胖子的相似度甚至是0. 對於這些球員, PECOTA已經承
認它的架構無法正確處理, 所以我們不就這種球員找PECOTA的麻煩.

但在相似度40以上的球員呢? 這些球員有足夠的歷史上的球員來比對,
PECOTA是否就能提供正確的預測? 如果我們相信, 棒球的型態一直以
來沒有太大的改變, 所以球員隨年齡發展的模式也都一樣, 那這個架
構或許可自圓其說, 而不需要外在的檢視.

問題就在, 棒球的型式並非不變的, 20年前大家重視的是打擊率, 而現
在有一半以上的球隊在球員育成時更重視上壘率. 以前的球員年過35就
開始大走下坡, 現在的球員因醫療訓練的發達, 以及程度不明的禁藥影
響, 40一條龍並不罕見. 更有甚者, 就算我們相信棒球的面貌數十年間
並沒改變, PECOTA是否真的挑中了關鍵數據? 舉個離譜的例子, 要是某
系統用BABIP來預測投手能力, 這應該會被很多人笑吧, 因為BABIP並不
是一個反映投手能力的好指標.

所以, PECOTA還是需要被檢驗的, 一是檢驗歷史是否真的可以用來預
測未來, 二是檢驗PECOTA是否用對了關鍵數據.

有人做過這樣的檢驗嗎? PECOTA系統內建了檢驗機制嗎?


--

用星光作畫的男孩 他的夜晚比白天燦爛

--