【Pythonプログラミング】並列処理の基本を解説！マルチスレッド・マルチプロセスをconcurrent futuresで実装！

Summary

このビデオでは、Pythonの並列処理と並行処理の基本的な考え方と、コンカレントフューチャーズモジュールを使った実装方法について解説しています。マルチスレッド、マルチプロセスの違いと、スレッドプールエグゼキューターやプロセスプールエグゼキューターを使用して並行処理・並列処理を実現する方法が紹介されています。関数の引数渡しや戻り値の取得、max_workersの意味など、基本的な内容ですが、処理の効率化に役立つでしょう。

Takeaways

• 😃 並列処理と並行処理の違いと特徴について説明している
• 😊 CPU負荷の高い処理には並列処理、IO負荷の高い処理には並行処理が向いている
• ✨ Pythonのconcurrent.futuresモジュールを使うと簡単に並列/並行処理が実装できる
• ☀️ スレッドプールエグゼキューターを使うとマルチスレッドによる並行処理が実装できる
• 🌈 プロセスプールエグゼキューターを使うとマルチプロセスによる並列処理が実装できる
• 💡 max_workersで同時実行プロセス数を制限できる
• 💫 サブミットで関数を実行、futureで返り値を取得できる
• 🌠 mapで複数の関数実行と引数渡しを簡潔に記述できる
• 🎉 プロセス数の変化から並列/並行処理の動きが確認できる
• 😊 concurrent.futuresの利用で並列/並行処理の活用がしやすくなった

Q & A

並列処理と並行処理の違いは何ですか?

並列処理はCPU負荷の高い処理を同時に実行できる。並行処理は待ち時間の長い処理を同時に実行できる。

pythonで並列処理を実装するにはどのモジュールが適していますか?

並列処理にはマルチプロセッシングモジュールかコンカレントフューチャーズが適している。

マルチスレッドとマルチプロセスの違いは何ですか?

マルチスレッドは1つのプロセス内で複数のスレッドを立ち上げる。マルチプロセスは複数のプロセスを立ち上げる。

コンカレントフューチャーズを使うメリットは何ですか?

マルチプロセスとマルチスレッドの両方を簡単に実装でき、戻り値の取得なども便利である。

max_workersのパラメータは何の制限値ですか?

並列処理を行うワーカーの最大数を指定するパラメータ。

並列処理中の関数に引数を渡すにはどうすれば良いですか?

submitメソッドを呼び出す際に、関数の後ろに引数を指定する。

並列処理中の関数の戻り値を取得するにはどうすれば良いですか?

submitメソッドの戻り値であるfutureオブジェクトのresultメソッドを呼び出す。

mapメソッドを使うメリットは何ですか?

for文を使わずに、複数の関数を並列処理できるのでコードがシンプルになる。

プロセスプールエグゼキューターを使う利点は何ですか?

CPU負荷の高い並列処理ができる。マルチプロセスなので安定性も高い。

並列処理を使う場面の例を教えてください。

大量のデータ処理、機械学習モデルの学習、Web API利用など待ち時間の発生する処理に有効。