Pythonで実データを検証する:従来baselineと改善baselineのRMSE比較
今回は、公開時系列データを用いて、Pythonによる実データ解析コードの検証例を作成しました。データ解析では、単にグラフを描いたり、モデルを当てはめたりするだけでは不十分です。重要なのは、そのモデルが 未知データに対してどの程度の誤差を出すか を確認することです。そのため今回は、データを train / validation に分割し、従来baselineと改善baselineを比較しました。評価指標としては、主に validation RMSE を用いています。(※本表はPythonデータ解析コードの検証例であり、電池寿命・劣化・材料性能・製品性能を主張するものではありません)上記のように、今回の確認では validation RMSE を主指標として、改善側 baseline route の挙動を確認しました。この結果は、「高性能な予測モデルを完成させた」という意味ではありません。むしろ、Pythonコードが実データに対してどのように振る舞うかを、評価指標とログで確認するための監査例です。実データ解析では、以下のような問題がよく起こります。・CSVの読み込み位置がずれている・列の意味を取り違えている・train / validation の分け方が曖昧・学習データには合うが、未知データでは誤差が大きい・従来baselineと比較して本当に改善したのか分からない・RMSEやR²などの評価値だけが残り、再現手順が残っていないこのような状態では、解析結果が正しいのか、たまたまそう見えているだけなのかを判断できません。そこで、私のPythonコード監査では、次の点を重視しています。
0