【リメイク版#9】競馬予想AIがついに完成！実際の予測時のコードを作成する
Summary
TLDRこの動画スクリプトでは、競馬予想AIの開発プロセスが詳細に解説されています。2023年のレース結果をもとに機械学習モデルを学習させ、予測精度を高める方法が紹介されています。実際の予測時には、成績データだけでなく、出場馬の体重や人気データなどのリアルタイム情報を取得し、特徴量を作成することが重要です。スクリプトでは、データのスクレイピング、加工、前処理、そして予測のための特徴量の作成までを解説しており、データサイエンスの基礎を学ぶことができる内容です。
Takeaways
- 😀 スクリプトは、競馬予想AIの開発プロセスとその詳細について説明しています。
- 🤖 AIは、netb.COMの過去データベースから2023年のレース結果を学んで予測を行っています。
- 🔍 学習と実際の予測の間にデータの不一致があるため、注意が必要です。特に、馬の体重や人気データはレース直前にしか入手できません。
- 📈 予測の精度を高めるために、学習時に使用したデータと予測時に使用するデータが完全に一致することが重要です。
- 🛠️ スクリプトでは、Pythonを使用して予測募集団を作成し、レースIDとホースIDを取得するプロセスが解説されています。
- 🌐 スクレイピング技術を使って、出馬表などのウェブページから必要な情報を抽出しています。
- 📊 特徴量の作成には、過去のレース結果や天候、馬場の条件などを含む多岐にわたるデータを使用しています。
- 🔧 予測の精度を上げるために、特徴量エンジニアリングを通じてデータ前処理を行っています。
- 📝 スクリプトには、データフレームの保存や読み込み、そして予測結果の出力を含む、一連のプロセスが含まれています。
- 🔄 学習と予測の間でデータの更新が必要な場合、その更新プロセスも解説されています。
- 🎓 このチャンネルは、機械学習やデータサイエンスの基礎を学ぶための教育的な内容も提供しています。
Q & A
このスクリプトはどのような目的で作成されていますか？
-スクリプトは競馬予想AIの作成を目的に、機械学習モデルをトレーニングし、レースの結果を予測するプロセスを自動化しています。
スクリプトで使用されているデータベースのURLはどのような形をしているか？
-スクリプトではnetb.COMというデータベースのURLが使用されており、過去のレース結果が含まれているとされています。
機械学習モデルはどのようにしてレースの着順を予測するのですか？
-機械学習モデルは、netb.COMの過去のレース結果データを学習させ、その学習済みモデルを使ってレースの着順を予測します。
実際の予測時に必要なデータはどのように取得するのですか？
-実際の予測時には、別ページの出場表から馬の体重や人気などのデータを取得する必要があります。
スクリプトで使用されているライブラリやツールには何がありますか？
-スクリプトではBeautifulSoupなどのライブラリが使用されており、HTMLのスクレイピングやデータの加工に利用されています。
予測の精度を上げるためにはどのようなアプローチが必要か？
-予測の精度を上げるためには、学習時に使用したデータと予測時に使用するデータが完全に一致することが重要です。また、データの前処理や特徴量の選択にも注意が必要です。
スクリプトの解説はどのようなチャンネルで行われているか？
-スクリプトの解説は、機械学習やデータサイエンスの勉強ができそうなチャンネルで行われています。
スクリプトのソースコードはどこで入手できますか？
-スクリプトのソースコードは、動画の概要欄やコメント欄にリンクされた記事からダウンロードできます。
スクリプトの実行前に必要な環境設定には何がありますか？
-スクリプトの実行前に必要な環境設定には、Pythonの実行環境や必要なライブラリのインストール、そしてデータベースへのアクセス権限などが含まれます。
スクリプトの解説で触れられている主なポイントは何ですか？
-スクリプトの解説では、データのスクレイピング、機械学習モデルのトレーニング、予測結果の生成、そして実際の運用における課題や実験の方法が触れられています。
Outlines
🤖 AIによる競馬予想の流れとデータの取り扱い方
この段落では、競馬予想AIの開発プロセスとデータの取り扱いについて解説しています。AIは過去のレースデータから学習し、予測モデルを作成しています。netb.COMのデータベースから2023年のレース結果を用いて機械学習を行い、実際の予測時にはnetg.COMの出場表ページからデータを取得する必要があると説明されています。また、予測の正確性には、学習時に使用したデータと同一の形式でデータを取得することが重要であることが強調されています。
🔍 スクレイピングを用いた出馬情報の取得
第二段落では、スクレイピング技術を使ってレースの出馬情報を取得する方法が説明されています。結果払い戻しテーブルからデータを抽出する代わりに、レース前にも公開される出馬表ページからフースIDを取得することが求められています。スクレイピングの過程でBeautifulSoupを使ってHTMLを加工し、必要な情報だけを抽出しています。
📊 予測募集団の作成とデータフレームの操作
第三段落では、予測募集団の作成方法とPandasのデータフレーム操作について説明しています。開催日、レースID、フースIDを取得し、それらをデータフレームにまとめるプロセスが紹介されています。関数の作成とその使い方、そしてデータフレームへのデータの入力方法が詳細に説明されています。
📈 データの前処理と保存
第四段落では、スクレイピングしたデータを前処理し、ファイルに保存するプロセスについて説明しています。日付、レースID、ホースIDを含むデータフレームを作成し、それをCSVファイルに保存する手順が詳細に説明されています。また、保存時に日付形式への変換やディレクトリーの作成などにも触れられています。
🏇 馬の過去成績の取得とテーブルへの変換
第五段落では、馬の過去成績を取得し、テーブル形式に変換するプロセスについて解説しています。スクレイピングを用いてHTMLファイルを取得し、それらをテーブル形式に加工する関数の作成方法が説明されています。また、取得したデータを新しいファイル名で保存することで、古いデータとの干渉を避ける方法も紹介されています。
🔧 特徴量の作成と前処理
第六段落では、機械学習モデルに入力する特徴量の作成と前処理について説明しています。過去成績のテーブルを前処理し、必要な特徴量を抽出するプロセスが紹介されています。また、事前に集計できるデータと当日更新されるデータの取り分け方、そしてそれらを特徴量テーブルに結合する方法についても詳細に説明されています。
🛠️ 予測時の特徴量作成クラスの構築
第七段落では、予測時の特徴量作成プロセスを効率化するためのクラスの構築方法について説明しています。事前に集計できる特徴量と当日更新されるデータの取り扱い方、そしてそれらを統合するクラスの骨組みの作り方が詳細に説明されています。また、クラスの利点として、関数の再利用性や実行効率の向上が強調されています。
🏁 予測当日の処理フロー
第八段落では、予測当日に行われる処理の流れについて説明しています。事前に集約されたデータと当日取得するデータを組み合わせ、特徴量テーブルを作成し、機械学習モデルに入力するプロセスが紹介されています。また、スキップ可能な処理やクラスのメソッドを使って効率的なデータ作成を行い、最終的な予測結果を得る方法についても詳細に説明されています。
Mindmap
Keywords
💡機械学習モデル
💡予測
💡スクレイピング
💡特徴量
💡データベース
💡前処理
💡競馬予想AI
💡出場表
💡精度
💡クラス
Highlights
AIを用いた競馬予想の流れをコードにまとめる方法が解説されています。
機械学習モデルに2023年のレース結果を学習させ、そのモデルを用いて着順を予測するプロセスが紹介されています。
学習時に使用したデータと実際予測時に使用するデータの差異が説明されています。
予測の時に必要な最新の馬体重や人気データの取得方法が解説されています。
実際の予測時に必要なデータの取得方法とそのタイミングについて説明されています。
学習データと予測データの整合性について、同じ列とデータの意味を保つ必要性が強調されています。
初心者向けに機械学習やデータサイエンスの基礎を学べるチャンネルが紹介されています。
競馬予想AIの精度を上げるために行う実験やシミュレーションの方法が説明されています。
動画の概要やコメント欄にソースコードのダウンロードリンクが提供されている旨が案内されています。
レースIDの取得方法とその重要性が説明されています。
スクレイピングを用いたフースIDの取得方法が詳細に解説されています。
予測募集団の作成方法とそのデータフレームの形式が紹介されています。
スクレイピングモジュールの使い方とその利便性が強調されています。
関数を用いたデータの自動取得と待機時間の扱い方について説明されています。
データフレームの作成とその活用方法が解説されています。
ファイル保存時のディレクトリーの設定方法が紹介されています。
最新の馬の過去成績を取得し、それをテーブル形式に加工する方法が説明されています。
前処理のコードとその活用方法、そして特徴量の作成方法が解説されています。
特徴量エンジニアリングのクラスを作成し、予測時の特徴量作成プロセスを効率化する方法が紹介されています。
事前に集計されたデータと当日更新されるデータの扱い方とその重要性が強調されています。
予測時の特徴量作成の流れとそのコードの骨組みが解説されています。
予測結果のテーブルがどのように得られるかのプロセスが紹介されています。
詳細編の動画や記事へのリンクが提供され、さらに深い解説が期待できる旨が案内されています。
Transcripts
00:00と4110411041あすげえすげえ
00:03すげえ今番4当たってますね41これで
00:07学習から予測までの競馬予想AIの1連の
00:11流れをコドにまとめることができましたね
00:13ということでこっからはだんだんあの制度
00:15を上げていったりするフェーズに入って
00:17いき
00:20[音楽]
00:22ますはい今回はですね実際の予測の時の
00:25行動を書いていって競馬予想AIを完成さ
00:28せたいと思います今どんなことをやってる
00:30かって言うとこのnetb.COMのこの
00:32過去のデータベースから2023年の全部
00:35のレースの結果を機械学習モデルに学習さ
00:38せてその学習させた機械学習モデルを使っ
00:40てこの着順のところを予測するっていうの
00:42をやってますでですねただ1個難しい
00:44ところがあってあの学習の時に使ったのは
00:47このnetg.COMののデータベースの
00:50ところにあるこの過去の成績のデータなん
00:52ですけど実際予測する時にはた別のページ
00:56のこの出場表っていうページのところから
00:58データを取ってこなきゃいけないですねで
01:00しかも今あの収録してるのが6月1日なん
01:04ですけどこれ6月2日の例えばデータを
01:06取ってこようとするとまだこの馬体重とか
01:09が発表されてないんですねあとはもっと
01:12言うとこの予測の予想ウッツ単勝ウッツと
01:14か人気のデータっていうのはレンスの直前
01:16に更新されたりするものになるのでもう
01:19直前にならないと処理できない部分って
01:21いうのがあるんですねなのでそういうのを
01:23どうやって扱っていけばいいかとかどう
01:24いうコードを書いていけばいいかっていう
01:26のを今回解説していきますあとは予測の時
01:29に大事になってくるのは学習の時に入れた
01:31データと全く同じデータを作んないといけ
01:34ないんですね同じ列でと列の数とか方とか
01:38を揃えてで中に入ってるデータの意味もと
01:41同じように作っていかなきゃいけないので
01:43そういうところどうやって揃えていけば
01:45いいかっていうのも今回やっていきます
01:47はいこのチャンネルはこんな感じでですね
01:48競馬予想AIを作ることを通して機械学習
01:51とかデータサイエンスの勉強ができるよう
01:53なチャンネルになっていますでこういう
01:55機械学習のやつって大体その1回だけ機械
01:58学習で競馬予想してみたっていうで終わっ
02:00てしまうパターンとか多いんですけどと
02:02このリメイク版っていうのはとちゃんと
02:03本格的に運用してと長く使ってくKY想
02:07AIにするにはどういう風にコドをまとめ
02:09ていけばいいかっていうところだったりと
02:11かこれ作って終わりじゃなくてどんどん
02:13精度を上げていかないといけないんですね
02:15なのでそういう時のと実験ってどういう風
02:17にやっていけばいいのかとか
02:18シミュレーションのコードどうやって書け
02:19ばいいかっていうところまで踏み込んで
02:21まず初心者向けにコドを書いて解説して
02:23いってるようなチャンネルになってますで
02:25今回の動画で使うソースコードですね概要
02:28欄とコメント欄の記事の中にコ
02:30ダウウンロードするところがありますので
02:31そこから見ることができますあとはあの
02:34動画の詳細編だったりとかあとはあの動画
02:38の補足とか解説とかも記事の中で載せてる
02:41ような形になるので興味ある方是非見てみ
02:43てくださいはいということで早速やって
02:45いきたいんですがとさっき言ったように
02:47えっと本番ってこの質表のデータから取っ
02:50てこないといけないんですねこういう馬
02:52体重とかとオッツとか人気のデータって
02:55いうのは直前にならないと取れないんです
02:57けど事前にそのどの馬が出走するかって
02:59いうデーはここに入ってきているのでこの
03:02予測したいレースの日にどの馬が走る
03:04かっていう情報をテーブルで取得していき
03:07ますレース前日準備っていうところでの
03:10事前に取れるところとかのデータは準備し
03:13ておくようなイメージですね予測募集団の
03:16作成っていうのをやっていきます何をする
03:18かって言うとと
03:20日付レースIDどのレースを予測するの
03:24かっていうのとフースIDどの馬が出走
03:27するのかっていう予測したい日のこのペア
03:30のデータを取得していくっていう感じです
03:33でまずはこのレースIDのところなんです
03:35けどとこれちょうどすでに作ってあるこの
03:38スクレイプレスIDリストこの関数を利用
03:41すればとこれ開催開催日を入れるとここに
03:45説明書いてありますね開催日をリストで
03:48入れるとレースIDの一覧が返ってくる
03:50ような関数になってるのでとこれでまず
03:53レースIDまでは取得することができます
03:56なので使っていき
03:57ましょうこういうにやですね関数に
04:00ちゃんとまとめておいたのがかなり聞いて
04:03て便利なソースコードになってますねはい
04:07でレースID
04:10リストはスクレイプレースIDリストので
04:15えっと今回の動画では例としてあの6月1
04:19日のデータに対して予測をしていく時の
04:22場合を考えていきますなので
04:2620204年の6月1日っていう風にやる
04:30とまずこれであのレースIDの一覧を取得
04:33してくれます
04:36はいリスト見ていきましょうこんな感じ
04:38ですね全部で長さ
04:42が24個でさっきのところに戻ると6月1
04:47日はえっと2つの競馬場で開催されてて
04:51それぞれ12レースまであるので24で
04:54オッケーですねこれでレスIDの一覧が
04:55取得できましたでじゃそしたら次にとこの
04:59IDですねそれぞれのレースIDに対して
05:02このフースIDどの馬が出走するのかって
05:05情報を取っていきますそれがどっから
05:08取れるかって言うとこの結果払い戻しって
05:10いうテーブルはこのレースの後に知れる
05:12データなのでこの出馬表ですねここがあの
05:16レース前にも明かされてる情報になるので
05:18このページから取っていき
05:23ますこのURLから取得していくんですが
05:27えっとここはパラメーターなので無視して
05:30このURLですねこのURLに対してまず
05:33スクレイピングをしていきますはいこれで
05:36スクレイピングです
05:40ねこれでえっとこのページのこのこういう
05:43HTMLの一覧が取得できます
05:47GoogleChromeの右クリック
05:48から検証でこの中身見ることができるん
05:51ですがこの今こうやって書いてある
05:52HTMLの一覧が今ここで取得できてい
05:55ますねこの辺りのスクレイピングの方法と
05:58かあの前の動画とかでも詳しく解説してる
06:00ので是非見てみてくださいね
06:02スクレイピングできたら今まで通り
06:04ビューティフルスープで加工していき
06:09[音楽]
06:10ますはいこうです
06:13ねで今取得したいのがえっとこのフース
06:18IDこのうめって書いてあるここのえっと
06:21フースIDっていうのが多URLの情報の
06:25ところにあるんですよねこうやって遡っ
06:27てくとえっとここにありましたねこの
06:30URLの中のとこの数字ですねここを取得
06:34していきたいですなのでえっとそれを取得
06:37するために上の方に遡っていってこのタグ
06:40ですねこのタグに注目しましょうこのTD
06:43タグでクラスの名前がホースインフォって
06:45なってるタグに注目してあげてスープの
06:50フイン
06:52オールこの辺りのスクレイピングの方法と
06:55か結構あのいろんな動画で解説してたり
06:57するのと結構今回その内容が盛になるので
07:01ちょっと飛ばし気味にいきます
07:06ねはいこれでうですねこのTDタグの中身
07:10っていうのがを取り出すことができたので
07:13このリスト型で入っていいので例えば1番
07:16最初のTDタグだったらとこんな感じの
07:18ものが入ってるのでこれに対して正規表現
07:23でえっとここの数字を取っていきますどう
07:27するかっていうと今ロでも表示してくれ
07:31ちゃってるんですがとまずAタグですね
07:34この中からこのAタグをまずここで抽出し
07:37てでAタグのHレフ属性っていうところに
07:41とこのURLがまず入ってますこれだけ
07:43ちょっと見てみます
07:45かここにURLが入ってるのでこのURL
07:48に対してとこのレースIDの部分10桁の
07:52数字になってるのでそれを取り出して
07:54くださいっていうコードを書いてますそう
07:55するとこのレースIDが取り出せますねな
07:58のでこんな感じをで今1つのTDタグに
08:01ついてやったんですがこれを全部のこの
08:03最初に取得したリストについてやっていっ
08:06てかつそれをまた全部のレースIDに対し
08:10てこの24個のレースIDに対してえっと
08:12ホースIDを取得していくっていうのを
08:14そういうコードを書いていきますとコモン
08:17ソースの中でクリエイト
08:21プレディクションポピュレーション測
08:24[音楽]
08:29ポピュレーションていうのは英語で募集団
08:32ですねと予測募集弾を作成する
08:34Pythonのスクリプトを書いていて
08:37この中にあの関数で書いていきます今使っ
08:40たパッケージをスクリプトの中でも
08:43インポートしていっ
08:44てでスクレイプフースIDリストっていう
08:48関数を作っていきますレスID
08:53を入れる
08:55とリスト型でとフースIDが返ってくる
08:58ような関数ですねはいレースIDを指定
09:02するとそのレースIDの出走場のIDの
09:05一覧が返ってくる関数ですねでまずURL
09:09がこれ
09:11ででえっと今このとべた書きでレースID
09:16を指定してるんですがここ
09:19をとこうやって中括弧で書いてここにFを
09:22つけてあげることによってこの入ってきた
09:24レースIDに対してURLを指定すること
09:26ができます
09:33でスクレイピングをし
09:35てビューティフルスープのオブジェクトに
09:40変換し
09:40[音楽]
09:43ますであとはさっきと同じ流れでTDの
09:47リストまで取っていってここにまずからの
09:51リストを定義しておいてフォア分で入れて
09:53いくようなイメージですねはいまずこの
09:56取得したTDのリストから1個ずつ回しで
10:00ここがさっきのコードで言うえっとこれ
10:03ですねこれでホスIDが取り出せるように
10:05なってるのでここはこうですねうんこれで
10:08いいですねTDが1つずつ回っていって
10:10このフスIDリストっていうここで定義し
10:13たからのリストの中に1つずつ入れていっ
10:16てくださいこういうコードでオッケーです
10:18ねでこの放送ididのリストを返して
10:21あげるはいこれでまず実行してみましょう
10:24インポートクリエイトプレディクション
10:27ポレーション
10:31インポートしてあげてスクレイプホス
10:34ididリストに対してえっとじゃあ最初
10:38の取得したさっき取得したレスIDリスト
10:42この中から1番最初の
10:45ものこれ
10:47を入れてあげ
10:51ましょうはいオッケーですねそうすると
10:54フースIDの一覧をこれでリストの形で
10:56取得することができましたそしたらここの
10:59流れで今度はえっと1つのレースIDに
11:01対して今フスIDリストを取得するコード
11:05を書いたんですが最初に取得したこの
11:07レースID全部についてと取得していって
11:11とこういう日付とレスIDとフスIDの列
11:14を持つあのパンスのデータフレームの形に
11:17まとめていきますインポートパンスで
11:20パンスをインポートし
11:22て次
11:24にクリエイトっていう関数を作って開催
11:30ピを入れるとファダスのデータフレームが
11:34返ってくるような関数を作りますでどんな
11:38関数かって言うと開催日開催日を
11:43yyyymmddの形式で指定すると
11:45えっと予測募集団である日付レースID
11:51ホース
11:52IDのデータフレームが返ってくる関数
11:55こういうのを書いていきますなのでまずは
11:58えっと催が入ってくるのでそれに対して
12:01さっきと同じようにさっき1番最初にやっ
12:04たのと同じようにとまずレースIDの一覧
12:07を取得してあげますこれです
12:10ねまずはこれをやっていきたいんですが
12:13えっとこれスクレイピングモジュールモ
12:16ルっていうのはこのドッパって書か
12:17れた形のものモルっていうんですが
12:19このスクレイピングモジュールの中にある
12:22関数を使いたいのでとこのスクリプトの中
12:25でもさらにインポートスクレイピングに
12:29やってあげますそうするとここにあると
12:31関数が使えるようになりますねでさっき
12:34ここ下書きしたんですがこれが今引数で
12:37入ってくる開催デートになるのでこれで
12:40レースIDの一覧が抜き出すれますでそし
12:44たらレースIDinレースIDリスト
12:47みたいな感じであってこの関数っていうの
12:49がこの1つだけのレースID1つのレース
12:52IDを入れることが想定されてる関数に
12:54なるのでこれに対してスクレイプフスID
12:58リストっていうのをこう使ってあげ
13:02ますモスID
13:04リストが返ってきますねこれ
13:08ではいでえっと大事なのがここで1回
13:12スクレイピングをすることになるので必ず
13:16フア分とスクレイピングを組み合わせる時
13:18は1秒間待機時間をあのネットKは.
13:21COMのサーバーに負担かけないように
13:22入れてあげましょうでえっとインポート
13:25タイムですねはいで
13:30やりたいのが日付レスIDホスIDって
13:33いうデータフレームを作りたいのでパンス
13:36のデータフレーム
13:40で日付が入ってきたこの開催デートで
13:45レースID列にと今フア分で回してるので
13:49このレースIDを入れてホスIDにここで
13:52取得したホスIDリストを入れ
13:55ます
13:57はい一旦ちょっとここまでであのこの
14:01データクレームどんなものができるかって
14:03いうのを見てみますそういう時はとリタン
14:07DFってここでやってあげるとここであの
14:09強制的に1回目のループでと関数が終了
14:12するような形になるのでこういう感じで
14:14確認していくとあの関数作りやすいですね
14:17ここがデータフレームになってるしたら
14:21これで1回今の関数実行してみましょう
14:24これを書いておいたので
14:27えっと更新したい時ははオートリロード
14:30オートリロードっていうのを実行すればと
14:33今の書いたこれが反映される形になり
14:38ますでこれ
14:41でクリエイト関数を実行してみましょう
14:44ここに開催
14:46日開催日
14:48を
14:50yyyymmddの形で入れる
14:55とはいまずこれで最初にとレースIDをス
14:59ピングしてくれてます
15:00ねはい帰ってきましたこんな感じのデータ
15:03クレームが返ってきましたねコア分の中の
15:05このDFっていうのがっと帰ってきてます
15:07ねここではい1つのレースIDに対して
15:11こんな感じでそのレースそのレースの中で
15:14出走する馬さっきサイト上で見たこの
15:16レースですねこの馬の一覧がここで返って
15:19きてます1つのレースIDだとこんな感じ
15:22になるのでこれをえっと全部のレースID
15:25に対してやってあげたいのでどうするかて
15:29言うとこのDFをたくさん入れるっていう
15:31意味でこのDXっていう自称型を作って
15:34おいてそこにその自称型
15:38にDFをこうやって入れていくような形に
15:41しますでその自称型のデータに対し
15:48てDXvalていう風にやってあげる
15:55とやってあげるととさっきのこが縦に
15:59どんどん繋がっていくような形になります
16:01ねとこの方法についてはとこのクリエイト
16:05ロディFの関数を作るところで詳しく解説
16:09してるのでとその記事をぜひ見てみて
16:11くださいはいこれでともう1度実行してみ
16:15ますリロードして関数を実行してみます
16:19今回は24個のレースididに対して
16:21あるのでちょっと時間かかるかなって思い
16:23ますねあれ
16:26なんかエラーになった
16:30キノットセッタデータフレームミス
16:32マルチプルカムズカラムがダブってる
16:35ぞって言われてますねなんでだろうあ
16:39ここここDFSです
16:43ねはいもう1回これで実行してみ
16:47ますリロードして再実行してみますでこれ
16:51あれですねちょっと時間かかっててどん
16:54くらい進んでるか知りたくなるのでとここ
16:57にtqdm入れてあげまし
17:06qdmノートブックからtqdm
17:09インポートして入れてあげましょうであと
17:11はこのそれぞれのスクレイピングの処理の
17:14ところにと何をやってる
17:16か書いてあげるともっと分かりやすいです
17:22ね
17:24はいはいで結果返ってきてますねうんそう
17:29ですねこんな感じでと日付ととレースID
17:32今度全部のレースIDに対してとそれぞれ
17:34ホスIDをスクレイピングして結合して
17:38くれてますねはいそしたらえっと今度これ
17:41をファイルに保存していくんですがそれも
17:44関数の中で自動的にやってくれる形にし
17:47ましょうでえっとファイルの保存場所なん
17:50ですがこれは新しくとディレクトリーを
17:53作ってしまいましょうこれ専用の
17:58プレディクション
18:00ポピュレーションみたいなディレクトリー
18:02を作ってしまってその中にあの保存して
18:04いく形にしましょうなのでそのファイル
18:07パスを
18:09まず定義してあげますファイルパス
18:14はとパスリブのパス型で定義してあげると
18:19環境の違いによってエラーを起こさずに
18:21済むのでそれで定義してあげますね
18:29プレディクションポピュレーション
18:30[音楽]
18:33いうディレクトリーを定義してあげ
18:37ますでと初回の実行の時とかもしこの
18:41フォルダーがない時にエラーになって
18:42しまうのでここで作っておきましょうはい
18:45そしたらこのクリエイト関数を実行する時
18:48にセーブディレクトリ
18:52とセーブファイルネームを指定してあげて
18:56まプレディクションポピュレーションの中
18:58の
19:00まPO.CSVとかにしときますか
19:02デフォルトの名前はでこのコンッDFに
19:06対し
19:08て2CSV
19:11でのファイルに保存してあげ
19:14ますでえっと区切り文字はタブがいいので
19:19これを設定しますであとはえっと日付の列
19:22ですねこれ文字列のままこうやって保存し
19:25てもいいんですがこれあの日付型に変換し
19:28ておきましょう
19:29ということで
19:30えッDF
19:33の日付列はパンダのtoデータイムって
19:39いうので日付け型に変換します確か
19:43yyyymmの形はフォーマット
19:47デフォルトのままで指定しなくても日付型
19:50に変換してくれたはずなのでこれでもう1
19:53回実行してみ
19:54ますプレプレディクション
19:59ポピュレーション
20:01っていう変数で受け取りましょうはいこれ
20:06でまずさっき書いたあのレースIDの
20:09リストをスクレイピングしてますみたい
20:11な進捗を表示してくれますねでホースID
20:15リストをスクレイピングし
20:17ていますっていうのを表示してくれるのと
20:20このプログレスバーはさっきここに
20:23tqdmっていうのを書いた影響ですね
20:25これであのこんな感じで24分の何まで
20:29スクレイピングが終わってるかっていうの
20:31を表示して分かりやすくなりましたねはい
20:34処理が終わりました中身同じさっきと同じ
20:37ものが返ってきてるか確認するのと
20:39オッケーそうですねであとはあれ
20:43プレディクションポピュレーションが保存
20:44されてないぞなんでだなんで
20:48だなんで保存されてないんだろう
20:51ポピュレーションディアであこれなんか
20:56今日データとデート間違いやすいなデータ
21:00なんかでそっかここにできちゃってんのか
21:02これちょっと1回消してもう1回っと再
21:08実行し
21:10ますはい現れましたねここに
21:13population.CSVがこんな
21:15感じでできてきますはいこれで予測募集団
21:20の日付とどのレース6月1日を予想しよう
21:24と思ったらえっとどのレースがあってどの
21:27馬が走るのかって情報をできたので次です
21:30ねえっと今使ってる特徴量として何があっ
21:35たかっていうのをもう1回確認していくと
21:38このデータベースのえっとねあのレース
21:41結果テーブルまずこのテーブルの中のと
21:44こういうなんか金量とか性別年齢とかの
21:48カムを使ってたのとあとこのレースの情報
21:51テーブルテーブルっていうかこれまだ文字
21:53ですけどえとレースの情報から色々天気と
21:56かあのレースの芝なのかダートなのか障害
22:00なのかっていうのを取ってきてたのとあと
22:02はこの馬の過去成績ですね例えばこの馬
22:05だったらこの馬がこの予測したいレースに
22:08対してと直近3レース5レースでどんな
22:11成績を上げてたかっていうのを集計して
22:14ここら辺ですね3レス分5レース分10
22:16レース分のも賞金と着順の平均をここで
22:21中継してるんですが例えば今学習させてる
22:24データって2023年の全部のレースの
22:27結果学習させてて6月1日とかに予測し
22:29たい場合っってモデルを学習させた時点
22:32から馬の成績のデータが更新されてる可能
22:34性っていうのが高いんですねなので予測の
22:38時にまた今の過去成績を取得する必要が
22:41ありますこのちょうど予測募集団の中に
22:44ホースIDがあるの
22:46でホースIDですねこの馬に対してえっと
22:51また馬の過去成績テーブルこれを取得して
22:54作ってあげるっていうのをやっていきます
22:57でそのコードっていうのはもう既に作って
22:59あるのでスクレイピングの中のと
23:03スクレイプHTMLホースですねはいこれ
23:07どんな関数かって言うととホースページの
23:10htmlをスクレイピングしてと
23:12ディレクトリに保存するでここに書いて
23:15あるのがスキップトっていう風にすると
23:18既にHTMLが存在してる場合はスキップ
23:21されるんですが今回上書きしたい最新の
23:24データに上書きしたいのでSKIPイ
23:26フルスにして実行して行きますなので
23:30ホースIDのリストっていうの
23:34は
23:37ユニークこの予測募集団に含まれるやつで
23:40スキップはフルスにしますはい
23:45HTML
23:47パズ
23:49コスいうのでこの取得したHTML
23:53ファイルのパスが返ってくるのでそれを
23:54受け取りますねはいこれでまず
23:56スクレイピングをしますそうするとこの
23:59関数はデータのHTMLの中のこのホース
24:03このディレクトリにそれぞれの馬の過去
24:05成績のこのhtmlを取得していってと
24:08ファイルでこう保存していくようなこう
24:10いうドッバイナリていうファイルで保存し
24:13ていくような関数でしたねこれで1回あの
24:16処理を待ちたいと思いますはい
24:18スクレイピングが完了しましたで中身見て
24:21みましょうこんな感じで取得した
24:24バイナリーファイルのパスが返ってきて
24:26ますね一応長さも
24:30チェックはい入れた放銀の数だけ
24:33スクレイピングがちゃんとできてますねで
24:36そしたら次にとこのテーブル形式にする
24:39ところですねこのファイルからテーブル
24:41形式にしたいんですがとこれもすでにと
24:45クリエイトLDFの中にとクリエイト
24:49フースリザルツっていう関数を準備して
24:52ますねなのでクリエーLDFの中でクエス
24:58っていうのを準備してますでと説明出し
25:02たいのでこう打ってみるとこれ何かって
25:05言うと今取得したのホースページの
25:07htmlを読み込んで馬の過去成績
25:10テーブルに加工していく関数になりますな
25:12のでこのパスのリストを入れてあげるのと
25:15あとここで1個ポイントがあってこれこの
25:18まま実行しちゃうととデフォルトがこの
25:21fceRES.CSVこれ上書きされ
25:23ちゃうんですよねこれ何だったかて言うと
25:26学習の時に使った馬の過去成績テーブル
25:29ですねこれ2023年に走る馬全部のと馬
25:33の過去成績のデータが入ったテーブルに
25:36なってるんですがこれを上書きしちゃうん
25:38ですけどとこれはこれで取っておきたい
25:40ものなのでと別のファイルネームに保存し
25:43てあげることにしますでファイルネームは
25:46これ引数でちゃんと用意してあげてるので
25:49セーブファイル
25:51ネームっていうのをとじゃあフース
25:54リザルツプレディクションみたいな名前に
25:56しますかこんな感じで定してあげることに
25:59よってあこれデータクレーム返ってくるの
26:02でちょっと受け取ってあげますかフス
26:05リザルツ
26:07プレディクション予測の馬の過去成績
26:10テーブルでノットファンドって書いてある
26:12のはまだあの走ったことない馬とかは
26:15テーブルが見つかりませんにはなりますね
26:17はいこんな感じでホースリザルツ
26:19プレディクションていう別のファイル
26:21ネームを指定しあげることによってその日
26:24を足するデータはここに保存されることに
26:27なりますこれがですね結構あの元々
26:30クリエイトRDFテーブルデータ作る時に
26:33関数にちゃんとまとめておいた効果になり
26:35ますねこんな感じでとファイル名とかを
26:38引き数で設定できるようにしたことによっ
26:40てここを1個変えるだけであの別の
26:43ファイルネームに保存することができ
26:44るっていうこういうのは結構ねあのこの時
26:47にちゃんと作った自分に感謝したい案件
26:49ですねこういうのちゃんとまとめておく
26:51ことによってまって後々使いやすくなって
26:54いったりしますはいこれで上の過去成績
26:56テーブルその日に予測したい日に走る馬の
26:59と最新の過去成績を取ってくることができ
27:02たのでと次に実際予測の時の特徴量の
27:06データを作っていきたいと思いますで特徴
27:09量のデータはこのそれぞれのバージョンの
27:12フォルダの中にコードがあるのでそこに
27:14書いていくことにしますなのでこの
27:16バージョン3.0.0のとデブ
27:19ノートブックに1回移っていきます一旦
27:22消しますねこういう風にフォルダーを分け
27:24てる背景とかはただこれも前の動画と記事
27:27で解説しので参考にしてみてください即時
27:31の処理ですね即時の処理の中のレース前日
27:36準備さっき作ったこれはと馬の過去成績
27:40テーブルのローデータこのままではあの
27:43例えばこういうデータとかは機械学習に
27:46入れられないのでそれをまずは前処理して
27:48いきますでその前処理のコードもすでに
27:51作ってあるのでこれがこのプリプロセッ
27:54シンググっていうところにプロセスホース
27:56リザルツっていう関数で作ってあるので
27:59これ実行していきますでインポートプリ
28:02プロセッシングでオース
28:05リザルツプリプロセスはこのプリ
28:08プロセッシングの中のプロセスかな
28:10プロセスフォースリザルツっていう関数で
28:13これ何かって言うと馬の加工績テーブルの
28:16の未加工のデータをとインプット
28:18ディレクトリから読み込んで加工してと
28:20このアウトプットディレクトリに加工
28:22えっと保存してくような関数ですね
28:24デフォルトだとも01プリプロセスていう
28:27ところに保存され出ていますでこれも便利
28:30なのがえっとセーブファイルネームか
28:33セーブファイルネームをこれもデフォルト
28:36だとこのホースリザルツなんですがさっき
28:38指定したとこのフースリザルツ
28:41プレディクションっていうのに変えて
28:43あげることによってえとこのファイルが
28:45読み込まれて01プリープロセスのところ
28:49にと加工されて保存されることになります
28:52はいできましたね感じで前処理のデータが
28:57一発で開けねこれどうですかだいぶ便利
29:00じゃないですかこんな感じで1発で新しい
29:02コードを書く必要はないですねと学習の時
29:06は馬の過去成績の他にあのレース結果の
29:10テーブルとレース情報のテーブルをここで
29:12加工してたんですがこれはただ事前にでき
29:15ないことになりますね最初に話したんです
29:17けどこのオツとか人気とか馬退場のデー
29:21タっていうのが事前に集計できなくてと
29:23直前に取得しないといけないんですよねな
29:26のでここからちょっと複雑になっては
29:28しまうんですがここら辺の処理を予測時は
29:31全部このフューチャーエンジニアリングの
29:33ところでやっていきたいと思いますなので
29:36どうするかって言うとこのフューチャー
29:39エンジニアリングの中にクラスえっと
29:42フューチャークリエイターってあるので
29:46プレディクション
29:49フューチャー
29:51クリエイターっていうクラスを作り
29:55ますでえっと先にクラスの骨格中身の具体
30:00的な処理は置いといて骨格どんな感じで
30:02やるかっていうのだけと書いていきますね
30:06まずどんなイメージでやるかって言うと
30:08ここですねこれ馬の過去成績の直近N
30:11レースの着順と賞金を平均して集計する
30:15ものなんですがこれはそのまま同じ処理が
30:18できますでさらに言うとこれはえっと事前
30:23にできる処理なんですよね馬の過去成績な
30:26のでえっと当日更新されるデータていうの
30:28は使わないのでこういうのは事前に集計し
30:30ておくことにしますなので出走する馬が
30:34確定した時点で先に実行しておいても
30:36いいっていう風にしますねでここからなん
30:38ですがどんな感じのイメージで特徴量を
30:41作っていくかって言うと
30:44まずフチ出馬テーブルHTMLっていう
30:49関数を用意し
30:52[音楽]
30:54ますえどういう関数かっていうとレースを
30:581個指定するとそのレスIDの出場表
31:01ページのHTMLが返ってくる関数
31:04htmlをスクレイピングする関数こう
31:07いう関数をまず用意しますこうすることで
31:10この関数の中でと直前に例えばツとか人気
31:14の値が更新されたらこの関数を実行する
31:16ことによって更新できるっていうような
31:18イメージですねでその結果をなんか例えば
31:22えっとこのクラスの中のSF.HTML
31:25みたいな感じにしておいてとこのクラス内
31:28のHTMLとして使えるようにしておき
31:31ますペッチっていうのはなんか取って
31:32くるってい感じの意味ですねこの出場表の
31:35htmlを取ってくるってい意味の関数
31:38です同じ感じ
31:47でその取得したhtmlを入れるとケトル
31:52とレース結果テーブルを取得して学習時と
31:58同じ形式に前処理する関数で学習時にやっ
32:04てたえっとこのレース結果のテーブルを
32:08取得して前処理するっていうの2段回に
32:10分けてやってたんですがえっと予測の時
32:13ってこのオツとか単勝が更新されるから
32:16それを取得してすぐにそのまま前処理する
32:19んですねなのでそれを1括でこの関数の中
32:21でま予測の時はやってあげますからなんか
32:25こういうイメージですねDFは=ファンス
32:28のReHTMLでテーブル形式に変換して
32:31あげてここで前処理をしてでこのクラスの
32:35SF.RESとかに入れてあげるような
32:37イメージです同じようにレースインフ
32:41テーブルについても同じ感じでhtmlを
32:44受け取ってレス情報テーブルを学習時と
32:47同じ感じに前処理してあげ
32:48るっていうことをやりますこれなどんな
32:51イメージかって言うとビューティフル
32:52スープでなんかhtmlを加工していく
32:55ようなイメージですねで最終的にセルフ
32:58レースインフォっていうところになんか
33:00加工してあげたデータフレームとして入れ
33:02てあげるっていうイメージですなのでこの
33:05フェッチの処理っっていうのはレースの
33:06直前にこう更新するようなイメージですね
33:10でそれらの関数を全部実行してあげるメ
33:13ソッドドっていうのを学習と同じように
33:17ここに用意してあげる感じですね特徴量の
33:21作成処理を実行してポピュレーション
33:22テーブルに全部結合していくっていうです
33:25でポピュレーションテーブルっていうのは
33:27なこの関数のイニットとかで読み込んで
33:31あげるイメージですねこれもなんかセルフ
33:34オペレーションイコールBCSVこれまだ
33:38書いてないんですけどなんかさっき保存し
33:41たえっとこのプレディクション
33:43ポピュレーションこれを読み込んであげ
33:45ますこのレスIDフスIDっていうところ
33:48から読み込んであげてそこに前処理した
33:52レース結果テーブルとかレース情報
33:53テーブルとかどこの作ってる特徴量ですね
33:56馬の過去先の特徴量とかをどんどん紐付け
33:59てくイメージですこれはあの学習時の時の
34:02あのここら辺の処理と一緒ですねなので
34:05基本的にはこれをコピーしてあげて同じ
34:09感じで作ってくイメージですで1個違うの
34:12がここ
34:16でこの取得の処理が入るっていう感じです
34:20ねエッチ出馬テーブルでhtmlを取って
34:23きてあげ
34:24てでレース結果テーブルを取ってきて前
34:27処理もしてあげ
34:31てあえっとフッチレースインフォレース
34:36情報テーブルを取ってきて前処理をして
34:39あげるそうするとこのセルフリザルツとか
34:42セルフレースインフっていうのにえっと
34:44それぞれの処理されたテーブルが入るので
34:46あとは同じマジ処理で書けるっていう
34:49イメージですねであとは例えば第7回の
34:52動画でクラスにするメリットとして関数の
34:55あの単体実行ができますよっていうのは
34:58あったと思うんですがそれが生かせる場面
35:00がついに来たっていう感じなんですよね
35:02どういうことかって言うとえっとさっき
35:04書いたようにこのaggフースNレズって
35:07いうのは先に実行しておいてもいいんです
35:09ねなので先に実行しておいた時にはこの
35:13処理がスキップできる何がしたいかって
35:15言うと後々このなんか事前の集計処理が
35:18重くなったりする場合この単勝オッツとか
35:21が更新されてあのすぐにデータ作りたい
35:24ですよねそうしないと間に合わないので
35:27なるべく直前のオとかを取得したいって
35:29いう時に間に合わないのでここら辺の
35:31データをこの処理を待ってる時間っていう
35:33のが無駄なんですよねなのでそれを
35:35スキップできるっていう意味でスキップ
35:39AGコースとかやってあげてまデフォルト
35:44フォルスにしてこの処理は実行してあげる
35:47ことにして先に実行しておいた場合は
35:53スキップできる
35:58こんな感じでやってあげますなのでこの
36:01関数をあらかじめ実行して外から実行して
36:04あげた場合にはこのスキップAGフォース
36:07ていう引数をトルーにしてあげればこの
36:10処理がスキップできるっていうスキップし
36:12ても事前に集計してたらこのクラス内の
36:15AGフースNRACていうところにあの
36:18ちゃんと入ってくるのでここであの
36:20ちゃんと処理は行われるっていうこういう
36:22仕組みにしようと思いますこれ結構なんか
36:26若干複雑な話して
36:28はいると思うのでなんかついていけなく
36:29なったりとかわかんないよっていう方い
36:31たら是非あのコメント欄とかであの聞いて
36:34くれれば返しますのではいこんなイメージ
36:36ですね先にこれを実行しておいた場合は
36:39スキップできるはいこんな感じのこれが
36:42このクラスの予測時の特徴量作成のコード
36:45の骨の部分になりますなのでと先にこれど
36:48実行するとどんな感じになるかっていう
36:50イメージをちょっと見せていきたいと思い
36:53ます予測当日はどういう処理をすることに
36:56なるかっていうとまずは今作った
36:59プレディクションフューチャークリエイ
37:00ターっていうクラスを初期化してで馬の
37:04過去成績集計だけ先にこうやってやって
37:07おきますそうするとefcのえっとフース
37:12リザルじゃなくてあなんだっけ
37:15AGスNRDFっていうところにと事前に
37:19こんな感じで直近3レス分5レース分とか
37:22集計した結果っていうのが先にこう格納さ
37:25れる形になるんですねでそしたらこのこの
37:27スキッAGフォースっていうのをTRUE
37:29にすることによってスキップしてこの特徴
37:32量の更新をしています今この出場表の
37:35ページからhtmlを取得してとレース
37:38結果テーブルとレース情報テーブル
37:41それぞれ前処理したものが入ってています
37:43確認してみるといいと思うんですがECの
37:48えっとリザルツっていうところには例えば
37:51こんな感じでレース結果テーブルの前処理
37:54の結果が入っていてレースインフっていう
37:59ところにははいそうですね1つのレース
38:01IDでやるので1つのレース情報の
38:03テーブルがこうやって入ってくるイメージ
38:05ですはいこんな感じで特徴量が返ってきて
38:09学習時と同じような立で処理されたこの
38:12特徴量のテーブルが入ってくるのであは
38:15これを機械学習モデルに入れてあげるば
38:18予測の結果が返ってきます予測のコードも
38:21あのこの後作っていくんですがこんな感じ
38:23でプレディクション.Piっていうのに
38:25こうやってまとめて学習させたモデルを
38:29あの読み込んでフィーチャーズが入ってき
38:31たら予測するっていうスクリプトを書いて
38:33あげればこれでこんな感じで予測の
38:35テーブルが返ってくることになります
38:37こんな感じの処理の流れで当日は予測する
38:39ことになりますねはいということでえっと
38:42ここからは正在編の方の動画に行ってこの
38:45中身の処理ですねプレディクション
38:47フューチャークリエイターの今ここに省略
38:50してるここの部分完成させていってあの今
38:52の処理作っていきたいと思います詳細編の
38:55動画はあの概要欄とコメント欄の記事に
38:58貼っておきますので是非興味ある方見てみ
39:00てくださいはい概要編一旦ここまでにし
39:03たいと思いますご視聴ありがとうござい
39:05ました
39:07[音楽]
Browse More Related Video
競馬【展開予想】3つのポイ ント（No.1） 有力馬を探し出す展開の考え方、基礎知識と予想方法の講義（全3回）です。競馬予想をする際に初心者の方から簡単に展開を楽しんでもらえるような講座を心がけました
【金鯱賞2024】田原成貴が展開予想 ドゥレッツァ、プログノーシスどちらが勝つ？ ３着に狙える穴馬は？《東スポ競馬ニュース》
Geminiでコンテンツマージ
【AI】津波の浸水を瞬時に予測！ 東日本大震災の教訓生かし「南海トラフ地震」での活用に期待『every.特集』
GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning
Python不要！スクレイピング不要！無料で簡単に競馬データを最速収集する方法
5.0 / 5 (0 votes)
