【勝手に】こども家庭庁が10億円かけた虐待判定AIの開発がポシャった件【反省会】

【生成AI】安野貴博の自由研究チャンネル【SF作家】

4 Mar 202516:18

Summary

TLDRこの動画では、安野貴弘さんが10億円をかけた虐待判定AIプロジェクトの失敗について解説しています。AIを活用した虐待判定ツールの開発過程で直面した問題や改善点について触れ、プロジェクトにおける人間テスト、シミュレーションテスト、小さな失敗から学ぶ重要性を強調しています。AI開発の前に必要な検証と、賢い失敗をすることの大切さを解説し、プロジェクトマネジメントにおける賢明なアプローチを提案しています。

Takeaways

😀 AIを使った虐待判定ツールの開発に10億円が投じられたが、最終的に精度が悪く、プロジェクトは中止となった。
😀 プロジェクトに対して事前に人間でテストを行うべきだったという反省が述べられている。
😀 AIを開発する前に、シミュレーションを通じて現場での入力作業の負荷を事前に確認することが重要。
😀 91項目を入力する手間が大きすぎて、現場でのフィードバックが早期に得られなかったことが問題視された。
😀 AIに任せる判断の精度が低いため、適切な項目を事前に定義し、入力内容を詳細化するべきだった。
😀 小さく失敗することで、大きな投資を避け、リスクを管理できる組織作りが重要だと強調された。
😀 1000万円規模の小さなテストを先に行い、問題点を早期に洗い出してから本格的な開発を進めるべきだった。
😀 自動相談所における虐待相談は年々増加しており、AI活用はその負担軽減に貢献できる可能性がある。
😀 AIシステムが導入される前から、ダブルチェック用としての活用を目指していたが、十分な検討が不足していた。
😀 開発の過程で早期に問題を発見し、適切に修正することが必要だと感じたが、その余地がなかったと反省されている。
😀 AI開発前に行うべき検証や評価の重要性について、過去に書いたノートを参考にすることが勧められている。

Q & A

安野貴弘さんが話しているプロジェクトとは何ですか？
-安野貴弘さんが話しているのは、児童虐待判定AIツールの開発プロジェクトです。このプロジェクトは、児童家庭庁の案件で、自動相談所で使用する虐待判定AIツールの開発を目指していました。目標は、虐待のリスクがある児童を緊急に保護するかどうかを判定するAIを作ることでしたが、最終的に精度が低くて開発が中止されました。
このプロジェクトの予算はどのくらいでしたか？
-このプロジェクトの予算は10億円でした。非常に高額な投資がなされていたことが、プロジェクトに対する注目を集めました。
AI開発における最初にすべきテストは何だと安野さんは考えていますか？
-安野さんは、AI開発を始める前に人間がテストを行うべきだと考えています。AIが受け取るデータだけを見て人間が判断できるかどうかをテストし、その結果を基に仕様や精度の問題を早期に発見することが重要だと述べています。
安野さんが指摘しているシミュレーションテストとは何ですか？
-安野さんが指摘しているシミュレーションテストは、AIツールを使う前に、実際に必要なデータ項目を入力してみて、その入力作業が現場に与える負担を評価することです。これにより、現場の負担やツールの実用性を事前に確認することができ、問題点を早期に洗い出せる可能性があります。
「賢く失敗する」とはどういう意味ですか？
-「賢く失敗する」とは、プロジェクトを小規模で開始し、初期の段階で失敗を発見して修正を行うことです。安野さんは、10億円をかけてから失敗を発見するのではなく、もっと早い段階で小さな失敗を重ねながら進める方が、リスクを最小限に抑えられると考えています。
安野さんはどういったプロジェクトマネジメントを提案していますか？
-安野さんは、プロジェクトの進行を段階的に行い、少額で試験的に進める方法を提案しています。例えば、最初に1000万円で1ヶ月のテストを行い、それが成功したら次に進むという方法で、リスクを抑えつつ徐々に規模を拡大するアプローチを推奨しています。
AIによる虐待判定ツールの導入によるメリットは何ですか？
-AIによる虐待判定ツールの導入により、児童相談所の業務負担が軽減され、判定の精度向上が期待されます。特に、AIが判定のサポートを行うことで、意思決定者が迅速に対応できるようになるため、児童を迅速に保護する可能性が高くなります。
プロジェクト中に発生した問題点は何でしたか？
-プロジェクト中に発生した問題点は、AIツールに入力されるデータの不足や不明確さです。例えば、必要なデータ項目が存在しない、またはデータが十分に詳細でなく、精度の高い判定ができなかったことが主な問題点として挙げられています。
安野さんはこのプロジェクトにおいて、どのような反省をしていますか？
-安野さんは、AI開発において、仕様決定やデータ収集、テストなどをもっと早い段階で実施していれば、問題点を早期に発見し、修正できたと反省しています。また、小さく失敗しながら進めることで、大規模な失敗を防ぐことができたのではないかと考えています。
安野さんがAI開発に関して提唱する理論について、どこで詳しく学べますか？
-安野さんが提唱するAI開発に関する理論は、彼の過去のノート『AI開発論』に詳しく書かれているそうです。このノートでは、AI開発プロジェクトを評価する方法など、プロジェクト開始前にやるべき検証について解説されています。