【非同期処理】Pythonの async / await 構文を使ってみよう！

Pythonプログラミング VTuber サプー

18 Aug 202316:55

Summary

TLDRこのビデオはPythonの非同期処理について解説しています。非同期処理とは処理の完了を待たずに別の処理を実行できる機能で、入出力処理などにおいて効果的です。ビデオではasyncioモジュールを使った非同期処理の基本的なコードの書き方と、タスクの並列実行、ギャザーによる複数の戻り値の取得などについて解説しています。そして実際にAzureファイルストレージからのファイルダウンロードを例にとって、非同期処理の実践的な利用法も紹介しています。

Takeaways

😀 非同期処理とは、処理の完了を待たずに別の処理を実行できること
😊 入出力に時間のかかる処理で非同期処理を利用することが多い
🤔 非同期処理は並列処理とは異なり、イベントループによって制御される
😯 コルーチンは処理を中断し、後から再開できる関数
😃 awaitでコルーチンを呼び出し、完了まで待つことができる
🙂 create_taskでタスクを生成し、複数のコルーチンを並列実行できる
🧐 gatherで複数のタスクやコルーチンをまとめて呼び出せる
🤩 run_in_executorで普通の関数を非同期処理として扱える
😮 wait_forでタイムアウトを設定し、処理を強制終了できる
👍 Azure SDKのような非同期ライブラリも扱える

Q & A

非同期処理とは何ですか?
-非同期処理とは、処理の完了を待たずに別の処理を並行して走らせることです。I/Oバウンドな処理で時間がかかる場合に利用されます。
非同期処理と並列処理はどう違うのですか?
-非同期処理は並列処理を簡単に扱えるようにしたものです。イベントループがタスクを制御してくれるので、細かいことを気にせずに並列処理を記述できます。
コルーチンとは何ですか?
-コルーチンとは、処理を途中で中断して後から再開できる関数のことです。非同期処理で利用されます。
なぜasyncioのsleepを使うのですか?
-asyncioのsleepはコルーチンなので、非同期処理でawaitできます。時間モジュールのsleepはコルーチンではないのでエラーになります。
gatherはどういう場合に使いますか?
-gatherは複数のコルーチンやタスクを平行実行し、それぞれの戻り値をまとめて受け取るために使います。平行処理結果を一度に取得したい時に利用します。
タスクとは何ですか?
-タスクはコルーチンをラップしたもので、これを使うことでコルーチンを平行処理できます。create_taskでタスクを生成します。
実際にファイルダウンロードで非同期処理を使うメリットは何ですか?
-ダウンロード処理に時間がかかる場合、逐次処理だとプログラム全体がブロックされます。非同期処理を使えば他の処理を並行で走らせられるので効率的です。
普通の関数を非同期処理で使うにはどうすればいいですか?
-loop.run_in_executorで指定した関数を非同期処理で使えるようにラップできます。スレッドプールやプロセスプールも指定できます。
タイムアウトを設定するにはどうしたらいいですか?
-asyncio.wait_forを使うと、指定した時間を超えたらタイムアウト例外を送出できます。長時間処理を強制終了させたい場合に利用します。
Windowsで実行する時の注意点は何ですか?
-Windowsの場合はイベントループポリシーをWindowsSelectorEventLoopPolicyに設定する必要があるようです。バグ回避のためです。

Outlines

00:00

🐍 Pythonの非同期処理入門

佐藤は非同期処理の基本として、特定のライブラリ使用時に必要になるPythonのasync/awaitについて解説します。この動画は非同期処理を扱うフレームワークやライブラリの開発者ではなく、非同期処理を使えるようになることを目指すアプリケーション開発者向けです。非同期処理とは、処理の完了を待たずに別の処理を走らせることで、IOバウンドの操作で時間がかかる場合に有用です。非同期処理は並列処理や並行処理とは異なり、イベントループを使って非同期タスクを効率よく制御します。

05:03

🔧 非同期処理の基本コード例

async/await構文の基本的な使い方を説明し、非同期処理のコード例を示します。コルーチンを実行するためにはawaitキーワードを使い、処理の完了を待つことができます。非同期処理では、処理の完了を待ちつつ、別の処理も同時に行うことが可能です。この柔軟性により、例えば1秒と2秒のスリープを非同期で実行するコードを通じて、非同期処理の動作を確認します。また、関数から非同期処理を呼び出す際にも、その関数はコルーチンである必要があり、戻り値の扱い方についても説明します。

10:03

🚀 非同期処理の高度な使い方

非同期処理を平行処理で動かす方法として、タスクの作成とギャザー関数の使用を紹介します。タスクを作ることでコルーチンをラップし、平行処理を可能にします。また、ギャザーを使うことで複数のコルーチンやタスクを平行処理し、その結果を一度に受け取ることができます。さらに、非同期処理で普通の関数を扱いたい場合のrun_in_executorの使い方や、処理のタイムアウトを設定する方法についても解説します。これらの高度な機能を使いこなすことで、より複雑な非同期プログラムを効率良く実行することが可能になります。

15:04

🌐 実践！非同期ファイルダウンロード

実際のアプリケーション例として、Azureクラウドサービスからファイルを非同期でダウンロードする処理を紹介します。非同期対応のライブラリを使用することで、複数のファイルを同時にダウンロードすることが可能です。これにより、ファイルサイズが大きい場合でも効率的に処理を行うことができます。Windows環境での特別な設定にも触れ、非同期処理の実用例を通して、async/awaitの扱い方を深く理解することを目指します。

Mindmap

Keywords

💡非同期処理

処理の完了を待たずに別の処理を並行して走らせることができるプログラミングの手法です。ビデオではPythonでの非同期処理の実装方法とAsyncioモジュールの使い方が解説されています。

💡コルーチン

非同期処理で利用される関数です。処理の途中で中断でき、後から再開することができます。ビデオではコルーチンの定義方法と、Asyncioでの利用方法が解説されています。

💡イベントループ

非同期処理において、イベントの発生を監視し、タスクを制御する働きをします。ビデオではイベントループが非同期処理をいい感じに制御してくれると説明されています。

💡アウェイト

非同期処理において、コルーチンの実行を開始し、処理が完了するまで待つために使用します。ビデオではアウェイトの使い方が詳細に解説されています。

💡タスク

非同期処理における並列実行の単位です。クリエイトタスクでコルーチンをラップすることで生成できます。ビデオではタスクの作り方と利用方法が解説されています。

💡Gather

複数の非同期タスクを並列処理し、それぞれの戻り値をまとめて受け取ることができるAsyncioの機能です。ビデオではGatherの書き方と利用方法が解説されています。

💡ランインエグゼキューター

通常の関数を非同期処理として実行するために使用します。ビデオでは時間のかかる通常の関数を非同期処理化する例が示されています。

💡タイムアウト

非同期処理のタイムアウト時間を設定し、時間内に完了しない場合は処理をキャンセルすることができます。ビデオではタイムアウトの設定方法と利用シーンが紹介されています。

💡Azure

Microsoftのクラウドサービスです。ビデオ後半ではAzureのファイルサービスを使用したファイルダウンロードの非同期処理の例が紹介されています。

💡イベント駆動型

イベントの発生に応じて処理が実行されるプログラミングの形式です。ビデオでは非同期処理はイベント駆動型を実現する機能として説明されています。

Highlights

非同期処理とは、処理の完了を待たずに別の処理を並行して実行できる

非同期処理は入出力に時間のかかる処理でよく使われる

非同期処理はイベントループを使ってタスクを制御する

コルーチンは処理を途中で中断して後から再開できる

アウェイトでコルーチンを呼び出すと処理完了を待つことができる

タスクを使うとコルーチンを並列処理で実行できる

ギャザーで複数のコルーチンやタスクの結果をまとめて取得できる

ランインエグゼキューターで普通の関数を非同期処理で呼び出せる

ウェイトフォーでタイムアウトを設定して処理を強制終了できる

Azure SDKのファイルダウンロードが非同期対応なのでアウェイトで呼び出せる

Windowsではイベントループポリシーの設定が必要な場合がある

非同期ライブラリを扱う時はアウェイトで呼び出せるか確認する

コルーチンとアウェイトを使うことで並列処理が扱いやすくなる

タスクやギャザーを組み合わせることで複雑な並列処理が実装できる

非同期処理は平行性を上手く利用するための仕組みだと理解する