【Pythonプログラミング】並列処理の基本を解説！マルチスレッド・マルチプロセスをconcurrent futuresで実装！

Pythonプログラミング VTuber サプー

24 Apr 202215:53

Summary

TLDRこのビデオでは、Pythonの並列処理と並行処理の基本的な考え方と、コンカレントフューチャーズモジュールを使った実装方法について解説しています。マルチスレッド、マルチプロセスの違いと、スレッドプールエグゼキューターやプロセスプールエグゼキューターを使用して並行処理・並列処理を実現する方法が紹介されています。関数の引数渡しや戻り値の取得、max_workersの意味など、基本的な内容ですが、処理の効率化に役立つでしょう。

Takeaways

😃 並列処理と並行処理の違いと特徴について説明している
😊 CPU負荷の高い処理には並列処理、IO負荷の高い処理には並行処理が向いている
✨ Pythonのconcurrent.futuresモジュールを使うと簡単に並列/並行処理が実装できる
☀️ スレッドプールエグゼキューターを使うとマルチスレッドによる並行処理が実装できる
🌈 プロセスプールエグゼキューターを使うとマルチプロセスによる並列処理が実装できる
💡 max_workersで同時実行プロセス数を制限できる
💫 サブミットで関数を実行、futureで返り値を取得できる
🌠 mapで複数の関数実行と引数渡しを簡潔に記述できる
🎉 プロセス数の変化から並列/並行処理の動きが確認できる
😊 concurrent.futuresの利用で並列/並行処理の活用がしやすくなった

Q & A

並列処理と並行処理の違いは何ですか?
-並列処理はCPU負荷の高い処理を同時に実行できる。並行処理は待ち時間の長い処理を同時に実行できる。
pythonで並列処理を実装するにはどのモジュールが適していますか?
-並列処理にはマルチプロセッシングモジュールかコンカレントフューチャーズが適している。
マルチスレッドとマルチプロセスの違いは何ですか?
-マルチスレッドは1つのプロセス内で複数のスレッドを立ち上げる。マルチプロセスは複数のプロセスを立ち上げる。
コンカレントフューチャーズを使うメリットは何ですか?
-マルチプロセスとマルチスレッドの両方を簡単に実装でき、戻り値の取得なども便利である。
max_workersのパラメータは何の制限値ですか?
-並列処理を行うワーカーの最大数を指定するパラメータ。
並列処理中の関数に引数を渡すにはどうすれば良いですか?
-submitメソッドを呼び出す際に、関数の後ろに引数を指定する。
並列処理中の関数の戻り値を取得するにはどうすれば良いですか?
-submitメソッドの戻り値であるfutureオブジェクトのresultメソッドを呼び出す。
mapメソッドを使うメリットは何ですか?
-for文を使わずに、複数の関数を並列処理できるのでコードがシンプルになる。
プロセスプールエグゼキューターを使う利点は何ですか?
-CPU負荷の高い並列処理ができる。マルチプロセスなので安定性も高い。
並列処理を使う場面の例を教えてください。
-大量のデータ処理、機械学習モデルの学習、Web API利用など待ち時間の発生する処理に有効。

Outlines

00:00

😀並列処理の基本的な考え方

<paragraph1>では、並列処理と逐次処理の違いについて、作業車と作業者の比喩を使って分かりやすく説明しています。CPUバウンドな処理とIOバウンドな処理の違いも説明しています。また、並列処理と並行処理の違いについても触れています。

05:00

😀マルチスレッドによる並行処理

<paragraph2>では、コンカレントフューチャーズを使ったマルチスレッドによる並行処理の実装方法を解説しています。スレッドプールエグゼキューターを使って複数の関数を並行処理させる方法や、関数への引数の渡し方、戻り値の取得方法などを説明しています。

10:02

😀並行処理の数の調整

<paragraph3>では、max_workers引数で並行処理数を制限できること、並行処理させる関数をfor文で複数指定する方法、mapメソッドを使う方法など、並行処理数を調整する方法を解説しています。また並行処理した関数からの戻り値を取得する方法も説明しています。

15:02

😀マルチプロセスへの変更

<paragraph4>では、マルチスレッドのコードをマルチプロセスで動作するように変更する場合、スレッドプールエグゼキューターをプロセスプールエグゼキューターに変更するだけで良いことを説明しています。また、プロセスの数をタスクマネージャーで確認する方法も解説しています。

Mindmap

Keywords

💡並列処理

複数の処理を同時に実行すること。CPUの複数のコアを利用して、処理の速度を上げることができる。この動画では並列処理を実現する方法として、マルチプロセスとマルチスレッドが説明されている。

💡並行処理

待ち時間が発生する処理において、その待ち時間を利用して別の処理を同時に実行すること。IOバウンドな処理に向いている。この動画ではマルチスレッドを使うことで実現できると説明されている。

💡逐次処理

プログラムが上から順に実行される通常の処理。並列処理や並行処理と対比される概念。

💡マルチプロセス

複数のプロセスを利用することで並列処理を実現する方法。CPUバウンドな処理に向いている。この動画ではconcurrent.futuresモジュールを使うことで簡単に実装できると説明されている。

💡マルチスレッド

1つのプロセスの中で複数のスレッドを生み出し、並行処理を実現する方法。IOバウンドな処理に向いている。この動画ではconcurrent.futuresモジュールを使うことで簡単に実装できると説明されている。

💡CPUバウンド

CPUの処理能力の限界に制約されるような処理。並列処理によって速度改善が期待できる。

💡IOバウンド

入出力やネットワークアクセスなどの待ち時間の影響を大きく受ける処理。並行処理によって速度改善が期待できる。

💡concurrent.futures

Pythonの標準ライブラリの1つ。スレッドとプロセスを使った並行/並列処理を簡単に記述できる。本動画でその基本的な使い方が解説されている。

💡ProcessPoolExecutor

concurrent.futuresで提供されるクラスの1つ。マルチプロセスによる並列処理を簡単に実装できる。動画内で並列処理の例として紹介されている。

💡ThreadPoolExecutor

concurrent.futuresで提供されるクラスの1つ。マルチスレッドによる並行処理を簡単に実装できる。動画内で並行処理の例として紹介されている。

Highlights

並列処理と並行処理の基本的な考え方とモジュールの基本的な使い方を説明

並列処理はCPUを大量に消費する処理に向いている

並行処理は待ち時間が長い処理に向いている

コンカレントフューチャーズを使うとマルチスレッドとマルチプロセスの並列/並行処理が簡単に実装できる