Azure AI Content Safety Text Moderation

Microsoft Developer

4 Jun 202405:36

Summary

TLDRAzure AI Studioのテキストモデレーション機能を紹介。このツールは、コンテンツの種類やプラットフォームのポリシー、ユーザーへの影響を考慮して、テキストを迅速にモデレーションできる。サンプルコンテンツでテストを実行し、フィルターを設定して結果を微調整し、検出して対応する特定の用語をブロックリストに追加できる。デモでは、基本的なテストの実行方法やフィルターの設定、ハームカテゴリーのしきい値の調整方法を説明。テキストモデレーションは3ステップで行われ、サンプルの選択や入力、テストの実行、結果の確認を行い、有害な表現を検出して適切にブロックすることができる。

Takeaways

🌟 Azure AI Studioはテキストモデレーションの機能を提供しており、コンテンツの種類やプラットフォームのポリシー、ユーザーへの潜在的な影響を考慮してテキストをモデレーションできます。
🔍 Moderate Text Contentツールを使用して、サンプルコンテンツに対してモデレーションテストを実行し、フィルターを設定して結果を再実行・微調整し、検出して対応したい特定の用語をブロックリストに追加できます。
📝 テキストモデレーションは3つのステップで構成され、シンプルテストタブから始まります。サンプルを選んだり、自分で入力したりできます。
📉 テスト結果は、コンテンツが許可されるかどうか、および各リスクカテゴリーの重大度レベルを示します。
🚫 有害な文をテストした場合、テキストモデレーションツールは一般的なハートスピーチを検出できます。
🔧 ハートカテゴリーの閾値レベルを調整して、低い重大度レベルのコンテンツもブロックすることができます。
🔎 モデルは複数のリスクカテゴリーで害を検出し、閾値レベルを調整して特定の使用ケースに合わせることができます。
🛑 スペルミスが含まれる顧客の問い合わせをテストすると、誤ったスペルが暴力の検出に影響を与えることがわかります。
📚 スペルミスを修正したり、特定の用語を削除することで、コンテンツが許可され、各カテゴリーの重大度レベルが安全であることを検証できます。
📈 Azure AI Studioを使用してテキストモデレーションを始めるには、ai.azure.comを訪れてください。
📚 より詳細な情報については、harm categoriesとseverity levelsに関する詳細はaka.ms/harm categoriesを参照してください。

Q & A

Azure AI Studioのテキストモデレーション機能は何を提供していますか？
-Azure AI Studioのテキストモデレーション機能は、コンテンツの種類、プラットフォームのポリシー、ユーザーへの潜在的な影響を考慮して、テキストのモデレーションを迅速に行う能力を提供しています。
テキストモデレーションツールでテストを実行する前に何を行う必要がありますか？
-テストを実行する前に、サンプルコンテンツを使用するか、独自のコンテンツを入力し、フィルターを設定してテスト結果を再実行し、さらに結果を精査し、検出して対応したい特定の用語をブロックリストに追加する必要があります。
デモで実行された単純なテストとは何を行いますか？
-デモで実行された単純なテストでは、基本的な機能の実行方法やフィルターの設定方法、あなたのニーズに合わせて害のカテゴリーのしきい値レベルを調整する方法を紹介しています。
テキストモデレーションの3ステッププロセスとは何ですか？
-テキストモデレーションの3ステッププロセスは、シンプルテストタブ内で始まり、サンプルの選択または独自のテキストの入力、すべての害のカテゴリーを有効にしてしきい値レベルを設定し、テストを実行して結果を確認することです。
テキストモデレーションツールがポジティブなフィードバックをどう扱うか説明してください。
-ポジティブなフィードバックは、通常、フィルターをトリガーしません。ただし、コンテンツが許可され、すべてのカテゴリーにおいて安全な重大度レベルであることが示されます。
有害な声明をテストした場合、テキストモデレーションツールはどのように反応しますか？
-有害な声明をテストした場合、テキストモデレーションツールは一般的なハテスピーチを検出できることが示されていますが、言語の種類を許容するかどうかは、ハテのカテゴリーのしきい値レベルに依存します。
しきい値レベルを低く設定することの利点は何ですか？
-しきい値レベルを低く設定することにより、コンテンツに低、中、または高い重大度レベルがある場合に、そのコンテンツをブロックすることができます。
テキストモデレーションツールはどのようにして複数のリスクカテゴリーで害を検出しますか？
-テキストモデレーションツールは、複数のリスクカテゴリーで害を検出することができるため、カスタマーレビューに両方のハテと暴力が含まれている場合にも適切に対応できます。
スペルミスがテキストモデレーションにどのような影響を与える可能性がありますか？
-スペルミスは、テキストモデレーションの検出ツールを誤ってトリガーする可能性があり、例えば「blood」の誤ったスペルが暴力の低レベルを示す可能性があります。
テキストモデレーションツールは、カテゴリーが有効でない場合でも注釈を提供しますか？
-はい、テキストモデレーションツールは、カテゴリーが有効でなくても、そのカテゴリーに対するコンテンツの重大度レベルの注釈を提供し続けます。
テキストモデレーションを始めるにはどうしたらよいですか？
-テキストモデレーションを始めるには、ai.azure.comを訪れてください。