「クラウドエクスペリエンスを再構築する。」明かされたDuet AI開発の裏側に迫る

はじめに

こんにちは。NTTデータ クラウド技術部の佐藤です。
8/29（火）～8月21日（木）に開催されたGoogle社の大規模イベント“Google Cloud Next 2023”に参加してきました！本記事では個別セッションの内容をご紹介します。

なお、本記事はGoogle Cloud Next 2023 参加報告レポートの第２回です。第1回ではKeynote(基調講演)について紹介しています。ぜひこちらもご覧ください。

Google Cloud Next2023とは？

Google Cloud Next 2023（以下、Cloud Next） はサンフランシスコで実施されるGoogle社の大規模カンファレンスです。2023年は「The new way to cloud」をテーマに、基調講演やブレイクアウトセッションが開催されました。世界中から15,000人以上が参加し、日本からも200人以上が参加しました。
KeynoteではGenerative AI（以下、生成AI）の新機能を中心に数多くの発表がされました。セッションや展示会だけでなく、開発者やパートナー、日本からの参加者向けの様々なイベントも多く用意されていました。今回のレポートでは個別セッションよりピックアップして共有したいと思います。

Google Cloud がどのようにDuet AIを構築したかのDeep Dive

1日目に開催されたKeynoteでは、Google Workspacesに対するDuet AIとGoogle Cloud上のサービスに対するDuet AIのプレビュー提供が発表されました。Keynoteでの発表のおさらいとなりますが、Duet AI in Google Cloud はクラウドエクスペリエンスを再構築するものであり、Google Cloud製品にまたがった統合的なAIアシスタントであると表現されています。
Duet AIは生成AIを用いた開発支援プロダクトです。生成AIは強力なもので様々なタスクを処理できます。一方で、確率に基づく技術なのでユーザーに不正確な情報を与える制約があります。AI技術の開発者としてはこの制約を緩和しながら有益なプロダクトを開発する必要があったと述べています。Google 社はResponsible AIの原則に基づいて開発を行っています。エンタープライズ領域のAIでは安全性の確保やテストが重視されます。この課題に対しての実践方法が紹介されました。

• 出典：Cloud Next 2023 #DEV213

講演では、大規模言語モデル(LLM)を用いた製品開発のステップが示され、製品の要件定義を行ったのちに4つのステップでプロトタイプを開発していく、というプロセスが紹介されました。

LLM言語モデルの選定とチューニング

LLMを用いて実現したいことに即した言語モデルを選定します。汎用性の高いモデルはレスポンス速度が悪い可能性もあります。ユースケースにあったモデルの選定にはVertex AIのModel Gardenが役立つということが述べられていました。

モデルのチューニングには、プロンプトエンジニアリングのみでチューニング無し、完全なファインチューニング、Parameter-Efficient Fine-Tuningと呼ばれるモデルの部分的なファインチューニング、の3つの手法があります。計算資源やプロンプトエンジニアリングの結果を見てチューニング方法を選択します。その後、生成AIの出力に一貫性を求めるのか創造性を求めるのかでTemperatureやTop-Kというパラメータを調整する流れが述べられていました。

プロンプトエンジニアリングと入力応答の処理

エンタープライズAI製品として組織ブランディングを維持して文章を生成するためにプロンプトエンジニアリングの技術を活用します。プロンプトは3つのレイヤーに分けられ、このプロセスで回答内容の品質や安全性を確保していると説明されていました。

1つ目は前文 (Preamble)です。例えば「Google Cloudのエキスパートとして回答してください」といった文章です。シンプルな前文の方が効果的なケースもあり、複数のパターンを試して最適化する必要があるとのことです。加えて、責任あるAIとしてユーザーを保護するためには、基本的なガードレイルの構築が有用です。ガードレイルとはAIに禁止したいことを定義することです。正規表現によるマッチングと質問文のインテント分類によって実現します。インテント分類とは質問がどのような意図を持った文章かのラベリングです。LLMはインテント分類を行う機能を持っているので、製品のスコープと関係のない質問を受けた場合に処理をブロックすることが可能になると述べられていました。

2つ目のステップはハルシネーションを防ぐためのグラウンディング（Grounding Facts）です。ハルシネーションとは生成AIがもっともらしいウソを生成する事象です。グラウンディングでは、自社のデータベースから回答対象に対する正確な情報を取得し、ファクトとしてプロンプトに組み込みます。これにより生成AIによる回答をより正確なものとすることが出来るとのことです。グラウンディングはドキュメントが存在する製品の回答には効果的だが、コードの生成のようなタスクでは有益ではないこともあるとのことです。インテント分類とグラウンディングを組み合わせることも考慮すべきとの示唆がありました。

3つ目のステップはレスポンスの後処理です。生成AIの出力をチェックし正確性、品質、安全性を確保します。例えば生成AIがURLを作成した場合にはリンクが正常かの確認を行ったり、回答内容によっては免責事項を付与したりといった処理していると述べられていました。

AI支援ツールのユーザーエクスペリエンス

ユーザーエクスペリエンスのために3つの取り組みを示していました。

1つ目はユーザーに出来ることと出来ないことを明示し、免責事項を記載することです。これによりユーザーの期待を調整するとのことです。

2つ目はユーザーが適切な入力を行えるように支援することです。例えば良いプロンプトの具体例を示すといった支援を行うとのことです。

3つ目はユーザーに寄り添ったデザインとすることです。例えば生成AIのレスポンスだけでなくドキュメントへのリファレンスをセットで示しています。生成AIの出力内容によってユーザーへの表示方法を変更していると述べられていました。

継続的な実験：テストとイテレーションの高速化

生成AIの評価には複数の評価指標が必要だと分かったと述べています。評価にあたっては構造化してデータを格納しておくことも重要になり、一般的な評価指標だけでなく専門家が作成した模範解答との誤差を評価するようなことも行ったとのことです。評価指標を日々のテスティングフレームワークに組み込むことが重要であり、そのための自動テスト機構を構築しています。そして最終的に重要なのは回答がユーザーの役に立ったかという評価であると述べられていました。

生成AIの活用における重要な3点

最後にまとめとして、以下の3点を挙げて発表を締めくくられました。

・エンタープライズのユースケースでは安全性を中心に特殊な要件があること
・LLMは現在も開発化にあり、ベストプラクティスは日々進歩していること
・Vertex AIを利用して以前よりも簡単に生成AIの利用が開始できるようになっていること

• 出典：Cloud Next 2023 #DEV213

まとめ

今回はGoogle Cloud Next 2023で発表されたDuet AI in Google Cloudのディープダイブセッションの内容をご紹介しました。次回はNTTデータも展示を行った出展ブースをレポートします。
NTTデータでは、生成AIのビジネス活用をグローバルで進めています。また、クラウド領域でのAI活用も行っています。クラウド利用の増加により、システム構成は年々複雑化してきています。ログやメトリクスから人手で障害の原因を分析することは手間も時間もかかり、コストや売上、顧客満足度にも影響する懸念があります。このような課題へのアプローチとして、「AIOps」に取り組んでいます。NTTデータでは先進的な技術を用いて、顧客満足度の高いシステムを世の中に提供していきます。

[PR]提供：NTTデータ