【投資と心理155】でたらめな値動きで8,800通りを試すと、シャープレシオ1.27の設定が見つかった。バックテストの過剰最適化の研究

どうも、FXトレーダー兼システムエンジニアのナオトです。

投資と心理の話の155回目です。前回は、FXとCFDの個人の89%超が、4年間で損をしていた調べでした。

今回は、EA を作る人なら必ず向き合う、バックテストの作り込みすぎの研究です。

---

ベイリー、ボーウェイン、ロペス・デ・プラド、ジューの4人が、2017年に発表した研究です。

過去のデータに合わせて設定を選んだとき、その設定が、たまたま合っていただけである確率を見積もる方法を出しました。

---

研究の中で、こんな試しをしています。

でたらめに動く値動きを、およそ4年分、1,000日ぶん作ります。そこに、4つの設定を組み合わせた8,800通りの売買の決まりを当てはめました。

いちばん成績の良かった設定は、年率のシャープレシオが1.27。見た目は、意味のある成績に見えました。

ところが、作るのに使わなかった期間で試すと、作るときにはすべてプラスだった設定のうち、およそ53%がマイナスになりました。たまたま合っていただけの確率は、55%と見積もられています。

一方で、データに本当の規則を入れて同じことをすると、その確率は13%まで下がりました。

---

でたらめの中からでも、試す数を増やせば、良く見える設定は見つかります。

良い成績が見つかったことと、その決まりに中身があることは、別の話です。

---

私は、EA を作るときは、決まりを作る期間と、確かめる期間を分けて、作るのに使わなかった期間でも成り立つかを見るようにしています。設定を細かく試すほど、たまたまを拾いやすくなるからです。

ご自分の EA の設定が、作るのに使わなかった期間でも成り立つかを測る過去検証も、ご依頼をお受けしています。

最後までお読みいただき、ありがとうございました。