回溯測試後的必經流程：樣本外測試 Out-of-sample test

最後更新：2021-06-01

一間公司的主管或老闆，錄取一位新人時，無論他過去履歷再輝煌，還是得經過試用期才可以將人事定案下來。

在市場中交易也是一樣，策略即便有漂亮的績效，也得經過「樣本外測試」(Out-of-sample test)，使用歷史績效以外的數據進行對過去測試的驗證。

樣本外測試的好處：

1. 不需要實際投入資金

也就是俗稱的「空氣單」，關鍵是運用有別於回測的資料。

即便是使用歷史資料，也可以預留一段專門做樣本外測試用。

2. 發現策略設計的缺失

在試用期了解對方的缺點，及早預防未來潛在的重大損失！

3. 避開參數過度最佳化 over fitting

減少回測中最危險的 over fitting 的可能性，如同經過試用期，可以分辨出履歷表與現實的差距，大幅降低未來風險。

樣本外測試的注意事項：

1. 避免用樣本外的資料來調整參數

否則這些資料就沒用了。

2. 資料多樣性要足夠

歷史資料最好盡可能包含各種多頭、空頭、盤整年的情況，而樣本外測試雖然使用的時間較短，但仍應該避免全是多頭或全是空頭，這類缺乏測試價值的區間。

3. 資料長度要夠長

資料長度是根據交易週期長短決定，也就是足夠的交易次數。

一般歷史資料與樣本外資料約是10比1，樣本外測試交易次數也必須盡可能超過30次以上，越多越好！

也因此周期過長的策略往往難以被檢驗，往往必須投入相同策略在多市場或多商品來彌補樣本數的不足！

—

「信任，但要驗證。」　-雷根總統