前回は、スタートの安定性を表す特徴量として、標準偏差を分析しました。
選手ごとの違いは見えましたが、それだけで本当にAIに役立つ特徴量なのかは、まだ分かりません。
そこで今回は、実際に標準偏差を特徴量としてAIに追加し、どのような結果になるのかを検証してみることにしました。
標準偏差を特徴量に追加してみる
データを分析して仮説を立てても、本当に特徴量として有効かどうかは、AIに学習させてみなければ分かりません。
そこで、これまで使っていた特徴量に標準偏差を追加し、新しいモデル（Model D）を作成しました。
前回の分析では、
「スタートが安定している選手と、ばらつく選手では違いがありそうだ。」
という感覚がありました。
もし標準偏差がその違いをうまく表現できるなら、スリット判定AIの精度も少しは良くなるかもしれません。
そんな期待を持ちながら、学習を実行しました。
いよいよ結果を確認する
学習が終わり、結果を確認しました。
Accuracyは0.323から0.331へ上昇。
Ver.1では最も高いAccuracyとなりました。
数字だけを見ると、
「少し改善した。」
と言える結果です。
ただ、その数字を見たときの率直な感想は、
「変わらないね。」
でした。
Accuracyは上がっています。
でも、0.008程度の差なら誤差の範囲かもしれない。
そんな印象でした。
Accuracyだけでは判断できなかった
今回はAccuracyだけではなく、他の評価指標も一緒に確認しました。
Macro F1。
混同行列。
そして、Pattern1へ偏る予測が改善しているかどうか。
実際に確認してみると、Accuracyは少し上がっていました。
一方で、Macro F1は少し下がっています。
Pattern1への偏りも大きくは変わりませんでした。
そう考えると、
「Accuracyが上がったからAIが良くなった。」
とは言えません。
一つの数字だけではなく、全体を見て判断する必要がある。
この頃は、そんなことを考えながら結果を見るようになっていました。
一旦、不採用にすることにした
もちろん、標準偏差が意味のない特徴量だったとは思っていません。
実際にAccuracyは少しだけ上がっています。
ただ、
「この特徴量は絶対に必要だ。」
と思えるほどの結果でもありませんでした。
少し期待はしていました。
でも、今回の結果だけで特徴量として採用するには、まだ判断材料が足りませんでした。
一つの仮説は検証できた。
そう考えて、Ver.1では標準偏差を一旦採用しないことにしました。
次は別の特徴量を試してみる
一つ試して、思ったほど効果がない。
だから次を試す。
この頃は、その繰り返しでした。
次に試す特徴量は、自分だけで考えたものではありません。
ChatGPTにも相談しながら、
「他にスタート力を表現できそうな特徴量はないか。」
を一緒に考えていました。
そこで提案されたのが、
「0.10以内のスタートをどれくらい出しているか。」
という考え方です。
平均スタートではなく、
速いスタートを決める割合。
これなら、また違った特徴が見えるかもしれません。
そんな期待を持ちながら、次の特徴量を試してみることにしました。
次回予告
今回は、標準偏差を特徴量として追加し、AIで検証してみました。
AccuracyはVer.1で最も高い結果になりましたが、大きく改善したという手応えはありませんでした。
次回は、「ST速い率」という新しい特徴量を追加し、平均スタートとは違った視点からスリット判定AIを検証してみようと思います。
あわせて読みたい
前回は、スタートの安定性に着目し、標準偏差が特徴量として使えるかを分析しました。
今回は、その標準偏差を実際にAIへ追加し、スリット判定AIの精度がどのように変化するのかを検証しています。
分析からAI検証までの流れがつながる内容なので、まだ読んでいない方はぜひこちらもご覧ください。
▶ 競艇AI開発日記 第14話｜標準偏差を調べてみても、まだ答えは見つかりませんでした
