Microsoftはこのほど、「Announcing General Availability of Azure AI Content Safety」において、「Azure AI Content Safety」の一般提供の開始をアナウンスした。Azure AI Content Safety（以下、Content Safety）は、アプリケーションやサービス内で有害なAI生成コンテンツを検出できるサービス。2023年5月からプレビュー版として提供されていたが、今回正式版として利用できるようになった。

  • Azure AI Content Safetyの一般提供がスタート

    Azure AI Content Safetyの一般提供がスタート

Content Safety には、アプリケーションやサービス内で有害なコンテンツを検出できるAPIが含まれている。このAPIを利用することで、過激な冒涜表現やヘイトスピーチを含むコンテンツや、アダルトコンテンツ、暴力シーンを含むコンテンツなど、ユーザーにとって望ましくないとされるコンテンツを検出することが可能になる。テキストと画像の両方に対応する。

Content Safetyは複数の言語に対応しており、地域のニュアンスや文化的背景に配慮した上で、普遍的に安全な環境を作成することができるという。また、特定のコンテンツの重大度を0から7の値で表現することにより、さまざまなユーザーのニーズに対応できるようにしているとのこと。

検出対象となるコンテンツの種類としては次のものが挙げられている。

  • ヘイト: 人種、宗教、性別、またはその他のアイデンティティによって個人またはグループに対する差別や偏見、敵意を助長するコンテンツ
  • 暴力: 自分自身や他者に対する身体的な危害や脅迫、暴力行為を表示または推奨するコンテンツ
  • 自傷行為:自傷行為や自殺行為を描写、美化、または示唆するコンテンツ
  • 性的: ヌードなどの露骨または暗示的に性的な内容を含むコンテンツ

Microsoftでは、さまざまな環境で有害なコンテンツの検出を試用できる「Azure AI Content Safety Studio」も提供する。Content Safety Studioでは、Webベースのインタフェースによって、コンテンツの安全性を迅速にテストすることができる。

Content Safetyの詳しい利用方法は次のサポートドキュメントにまとめられている。ただし、本稿執筆時点ではまだプレビュー版の内容となっている。