前回は、「ST速い率」と「ST遅い率」という2つの特徴量を試してみました。
どちらも大きな精度改善にはつながらず、平均STと情報が重なっている可能性を感じる結果になりました。
そこで今回は、平均STとはまた違った情報を表現できないか、「ST中央値」を試してみることにしました。
次に試すのは「ST中央値」
これまで、選手のスタートを表す特徴量として「平均ST」を使ってきました。
平均STは、過去のスタートタイミングを平均して、一つの数字にしたものです。
一方、中央値はデータを小さい順に並べたときの真ん中の値です。
中央値を使おうと思った理由は、外れ値の影響を受けにくいからです。
例えば、普段は安定している選手でも、たまたま極端に速いスタートや遅いスタートをすることがあります。
そうした値が平均に影響するのであれば、中央値を使うことで、もう少し選手本来のスタート傾向を表現できるかもしれない。
そんな期待がありました。
前回までの特徴量と同じように、これも実際にAIへ入れてみなければ分かりません。
そこで、ST中央値を特徴量として追加して検証してみました。
結果は、平均よりも悪くなった
AIに学習させて結果を確認します。
今回の結果は、
Accuracy：0.306
Macro F1：0.039
でした。
これまでのベースモデルのAccuracyは0.323です。
それと比べると、今回はむしろ低くなっています。
結果を見たときの感想は、
「平均よりも悪くなるんだー」
という感じでした。
中央値なら平均STとは少し違う結果になるかもしれない。
そんな期待も少しあったので、良い方向に変化することを期待していました。
ところが、実際には改善するどころか、Accuracyはこれまでで最も低い結果になりました。
平均STと中央値は、だいたい同じ情報なのかもしれない
今回の結果を見て、以前のEDAで確認したことも思い出しました。
そのとき、平均STと中央値の差はかなり小さいことが分かっていました。
そのため、
「もしかしたら、AIに入れても大きな違いは出ないかもしれない」
という考えもありました。
実際に検証してみると、まさにそのような結果になりました。
むしろ、Accuracyは平均STを使ったベースモデルより低くなっています。
もちろん、これだけで「中央値には意味がない」と言い切ることはできません。
ただ、今回のスリット判定AIにおいては、
平均STとは違う新しい情報として、中央値を追加する価値はあまりなさそう
と判断しました。
中央値そのものが悪いというより、
「平均STと別の特徴量として追加するほどの違いはなさそう」
という感じです。
そのため、ST中央値もVer.1では不採用にしました。
ここまで試してきて、少しずつ感じ始めたこと
ここまで、スタートに関する特徴量をいくつか試してきました。
平均ST。
標準偏差。
ST速い率。
ST遅い率。
そして今回の中央値。
それぞれ違う計算方法を使っています。
最初は、
「いろいろな形にすれば、今まで見えていなかった選手の特徴が見つかるかもしれない」
と考えていました。
実際、標準偏差では選手ごとのスタートの安定性という、平均STとは違った特徴を見ることができました。
ただ、AIに入れてみると、決定的な改善にはつながりません。
ST速い率やST遅い率も、平均STとは違う情報を期待して試しましたが、大きな変化はありませんでした。
そして今回の中央値も、平均STとはだいたい同じ情報なのだと認識する結果になりました。
こうして一つずつ試していく中で、少しずつ、
「個人のSTだけを見ていても、厳しいのかもしれない」
と思うようになりました。
でも、次に何を見ればいいのかは分からない
ただ、この時点で、
「じゃあ、次はこれを見よう」
という具体的な答えがあったわけではありません。
今までとは違う視点が必要そうだ。
そこまでは感じていました。
でも、
「何を見ればスリット判定に使える特徴量になるのか」
までは思いついていませんでした。
AIを作り始めたときには、平均STのような分かりやすい数字を使えば、ある程度予測できるのではないかと思っていました。
ところが、実際に一つずつ検証してみると、思ったほど簡単ではありません。
だからといって、ここで特徴量探しをやめるわけにもいきません。
まだ試していない特徴量もあります。
次は何を見ればいいのか。
ここからまた考えていくことになりました。
次回予告
今回は、ST中央値を特徴量として追加し、AIで検証してみました。
結果はAccuracy 0.306と、平均STを使ったベースモデルよりも低くなりました。
以前のEDAで平均STと中央値の差が小さいことも分かっていたため、AI検証の結果も合わせて、両者はだいたい同じ情報を持っているのだと認識しました。
そして、これまでの検証を通して、選手個人のSTだけをいろいろな形に加工していく方法には限界があるかもしれないと感じ始めました。
ただ、この時点ではまだ次の答えは見えていません。
ここから、今までとは違う視点で特徴量を考えていくことになります。
あわせて読みたい
前回は、平均STとは違うスタートの特徴を表現できないか、「ST速い率」と「ST遅い率」を試してみました。
今回はさらに別の切り口として「ST中央値」を追加し、平均STとは違う情報を表現できるのか検証しています。
特徴量を一つずつ試しながら、どのような情報がAIに役立つのか探していく過程なので、前回の記事もあわせてご覧ください。
コメント