前回は、標準偏差を特徴量としてAIに追加し、スリット判定AIの精度がどう変化するのかを検証しました。
Accuracyは少し上がったものの、大きく改善したという手応えはありませんでした。
そこで今回は、平均スタートとは別の角度からスタートの速さを表現できないか、さらに特徴量を試してみることにしました。
次に試すのは「ST速い率」
今回試すことになったのは、「ST速い率」です。
これは、選手が過去のレースで「0.10以内のスタート」をどれくらい出しているかを割合で表したものです。
平均スタートの場合は、過去のスタートタイミングを平均して、一つの数字にします。
一方でST速い率なら、
「この選手は、速いスタートをどれくらい出しているのか」
という別の見方ができます。
平均値だけでは分からないスタートの特徴を表現できるかもしれない。
そんな特徴量です。
とはいえ、この時点で大きな期待をしていたわけではありません。
正直なところ、
「どうなるか分からないけど、とりあえず試してみよう」
くらいの感覚でした。
ST速い率をAIに追加してみる
さっそくST速い率を特徴量に追加して、AIで検証してみました。
結果は、
Accuracy：0.323
Macro F1：0.041
でした。
ベースモデルのAccuracyも0.323だったので、Accuracyだけを見ると変化はありません。
結果を見たときの感想も、
「うーん、あんまり変わらないかなぁ。」
という感じでした。
もちろん、ST速い率そのものが意味のない情報だと決まったわけではありません。
ただ、少なくとも今回のAI検証では、期待していたような改善は見られませんでした。
平均STとあまり変わらないのかもしれない
結果を見ながら、少し気になったことがあります。
それは、
「ST速い率って、平均STと結構情報が重なっているんじゃないか？」
ということでした。
考えてみれば、平均スタートが速い選手なら、0.10以内のスタートを出す割合も高くなりやすいはずです。
逆に、平均スタートが遅い選手なら、速いスタートの割合も低くなりやすい。
もちろん完全に同じ情報ではありません。
でも、AIにとっては、ST速い率を追加しても、それほど新しい情報が増えていないのかもしれません。
そんな印象を持ちました。
では、逆に「ST遅い率」はどうだろう
ST速い率を試した結果、大きな変化はありませんでした。
そこで次に考えたのが、
「逆に、遅いスタートをどれくらい出しているかを見たらどうだろう？」
ということです。
これも自分で思いついたというより、ChatGPTから提案してもらった特徴量でした。
速いスタートを出す割合では大きな変化がなかった。
ならば、遅れるスタートの割合には違った情報が含まれているかもしれない。
そんな考えで、ST遅い率も試してみることにしました。
ただ、この時点では、
「これなら違う結果が出るかも」
という期待よりも、
「これもあまり変わらないかもしれないな」
という気持ちの方が大きかったです。
それでも、実際に試してみなければ分かりません。
同じようにAIへ追加して、結果を確認しました。
ST遅い率を試してみても
ST遅い率を追加した結果は、
Accuracy：0.323
Macro F1：0.050
でした。
こちらもAccuracyはベースモデルと同じです。
結果を見たときは、
「早い率と同じかなー」
という感じでした。
ST速い率とST遅い率。
どちらもスタートの特徴を別の角度から表そうとしたものですが、AIの精度を大きく改善する結果にはつながりませんでした。
速い率と遅い率、どちらを見ても大きく変わらない
ここまで来ると、少しずつ見えてくるものがあります。
ST速い率を試しても大きな変化はない。
ST遅い率を試しても大きな変化はない。
もちろん、どちらもスタートの特徴を表す情報ではあります。
ただ、今回の結果を見る限り、
平均スタートとはかなり情報が重なっているのではないか。
という考えが強くなりました。
新しい特徴量を追加すれば、それだけ新しい情報がAIに入ると思っていました。
でも、実際にはそうとは限らない。
名前や計算方法が違っていても、元になっている情報が似ていれば、AIからすると大きな違いがないのかもしれません。
これは今回の検証で感じたことの一つでした。
次は中央値を試してみる
ST速い率とST遅い率を試してみても、思ったような結果にはなりませんでした。
それでも、特徴量探しをやめるわけではありません。
次に試してみるのは「ST中央値」です。
平均値ではなく中央値を使うことで、また違った情報を表現できるのか。
正直、この時点で結果がどうなるのかは分かりません。
ただ、
「次は中央値を試してみてどうなるかな？」
という気持ちでした。
一つ試して、結果を見る。
そこから次の特徴量を考える。
まだまだ、この繰り返しです。
次回予告
今回は、「ST速い率」と「ST遅い率」という2つの特徴量を試してみました。
どちらも大きな精度改善にはつながらず、平均STと情報が重なっている可能性を感じる結果になりました。
次回は、平均値ではなく「中央値」を使うことで、これまでとは違った情報を表現できるのかを検証してみようと思います。
あわせて読みたい
前回は、標準偏差を特徴量としてAIに追加し、実際にスリット判定AIの精度がどう変化するのかを検証しました。
今回はそこからさらに、平均STとは違うスタートの特徴を表現できないか、「ST速い率」と「ST遅い率」を試してみます。
特徴量を一つずつ追加しながらAIの変化を確認していく流れなので、前回の記事もあわせてご覧ください。
▶ 競艇AI開発日記 第15話｜Accuracyは上がったのに、手応えはありませんでした
コメント