ソフトバンクではいま、手話を認識してリアルタイムにテキスト変換するサービス「SureTalk」（シュアトーク）の開発に取り組んでいます。
同じ部署に配属された、聴覚障がいの同僚とタイムラグなく会話したい――。そんな優しさを出発点にしたプロジェクトです。開発メンバーに詳しい話を聞きました。
-
聴覚障がい者と健聴者を結ぶ「SureTalk」とは？
サービス開発のヒントは身近なところにあった
はじめに、サービスの概要から説明しましょう。「SureTalk」は、手話と音声の相互コミュニケーションを目的にしたウェブツールです。AI（人工知能）が手話の身体動作を追跡、その動きの特徴から該当する日本語を認識してテキストに変換します。逆に健聴者が発声した音声は、音声認識によりテキスト化して聴覚障がい者に伝える仕組みです。電気通信大学が開発に協力しています。
-
データの流れ。手話の映像をテキストに変換して相手に伝える
使い方はかんたん。PCあるいはiPadのブラウザから「SureTalk」にログインして「会話を開始する」をクリック、利用する言語モード（手話 / 音声）を選択してトークルームに入室するだけで、1対1の会話を始められる仕様です。2021年春よりサービスの提供を開始しました。
-
利用イメージ。茨城県水戸市、東京都調布市をはじめとする地方自治体、そして障がい者団体などへと利用が拡大している
手話の映像をテキストに変換する様子
ソフトバンク技術管理本部の田中敬之氏は、身近なところにサービス開発のヒントが隠れていたと振り返ります。
「いま弊社では障がい者採用に積極的で、わたしの部署にも聴覚障がいの社員が配属されました。彼女ら彼らとは、個人間の会話なら何も問題はないんです。けれど3～4名の会議では、応答を待っている間に話題がどんどん先に進んでしまうことがありました。文字起こしツールなども使っていたんですが、テキストを読んでいるうちに、やはり話題が次に移ってしまう。なかなか意思の疎通がうまくいかず、お互いフラストレーションをためることもありました。そこで、手話でリアルタイムに会話できるシステムを開発すべく、社内の新規アイデア募集大会に応募して、プロジェクトを立ち上げたのが経緯です」
-
ソフトバンク技術管理本部システムサービス事業統括部サービス推進部の田中敬之担当課長
開発にあたり田中氏は、あらためて日本語の難しさに直面したそう。
「例えば、日本語はひとつの単語が複数の意味を持っていたり、イントネーションで意味が変わるものもありますね。それは手話においても同様で、ひとつの表現で複数の意味を持ってしまう言葉があります。普段、私たちは前後の文脈から意味を推察しますが、これをAIが行うには“膨大なデータ量”が必要です」
-
自然言語処理の部分。適切な助詞を補完し、語尾を変化させて、自然な日本語に変換して出力する必要がある
そこで、SureTalkの認識精度の向上を目的に、一般の利用者が（PCあるいはiPhoneを通じて）手話の単語や文章を登録できる機能を用意。AIが学習するためのデータを利用者からも広く集めていこう、という試みです。
サンプル動画を見ながら動きを真似ることで、誰でも登録可能。田中氏は「皆さんで一緒にSureTalkを育ててほしい」と呼びかけていました。
-
手話認識の仕組み
-
認識中のイメージ。右手の動作 / 左手の動作について、登録されている何番の動作に近いか、それぞれ瞬時に照合して判断している
AIによる動作認識
ここで、ささやかな疑問。手話に不慣れな人が登録しても大丈夫なのでしょうか。
「同じ動きをしているつもりでも、人によって動作には癖があるものです。この登録機能により大量のデータが貯まっていけば、そうした動作の誤差もシステムで吸収できるようになります」
-
こちらはiOSアプリ版のSureTalk。手話表現のサンプルを見ながら、単語や文章を登録したり、手話の単語や文章の検索したりできる
データを集めつつ、導入先拡大を目指す
いま登録されている単語は、1万語くらい。とはいえ、ある程度のデータが貯まってからシステムで使えるように設計しているため、実際にシステムで使える単語は、もう少し絞っているそう。
「現在は、自治体で使われる頻度の高い単語を集中的に登録しています。今後、利用シーンに合わせて随時、追加していきます」
ところで、国内で使われている手話には『日本手話』と『日本語対応手話』があります。現在は『日本語対応手話』に対応していますが、機械が覚えるには複雑で難しい言語とされる『日本手話』にも、将来的には対応していきたい考えです。
いま認識している課題は、現在のシステムでは追いつける手話スピードに限界があるということ。例えば、テレビの手話ニュースなどで手話通訳士が行うような手話スピードには、まだ追いつけません。したがって利用に際しては、ゆっくり、はっきりの手話が必要となります。また、似たような手話動作のときには“迷い”も発生しています。このあたりは、データが貯まってくれば解消されるとのことでした。
現在は地方自治体に向けて展開していますが、今後は病院、ホテル、鉄道や空港などの公共事業、サービス業へと拡大していけたら、と田中氏。夢は拡がります。
利用者からの反応については「取り組みに対して、とても好意的に受け止めていただいています。引き続き、一般の方には『一緒にサービスをつくっていきましょう』と協力をお願いしていきたい。ソフトバンクでも自社メディアを介して呼びかけていくほか、いつかソフトバンクショップでも、お客様にご説明する機会があるのではないかと思っています」と話していました。
