単語の「意味」を計算!? 自然言語処理を変えたディープラーニング

DeNAは2月10日、技術カンファレンス「DeNA TechCon 2017」を東京都内で開催した。DeNAが取り組むさまざまな技術プロジェクトが披露された同カンファレンスの「AI」をテーマにしたトラックでは、Preferred Networks(PFN)の海野裕也氏が登壇。「深層学習による機械とのコミュニケーション」と題し、深層学習（ディープラーニング）の登場が自然言語処理にもたらした影響や、深層学習を活用したチャットボット、画像の自動生成ソフトへの応用例などを紹介した。

自然言語処理と深層学習の関係

海野氏は、基調講演に登壇した岡野原大輔氏と同じ東京大学大学院の研究室出身で、自然言語処理・テキストマイニング・機械学習を専門とする。日本IBM東京基礎研究所、Preferred Infrastructureを経て、2016年からPFNで活動しており、オープンソースの分散機械学習エンジン「Jubatus（ユバタス）」や日本製の深層学習フレームワーク「Chainer（チェイナー）」のコミッターのほか、2014年からは「NLP若⼿の会(YANS)」共同委員⻑も務める。

そんな海野氏はまず、自然言語処理について「話し言葉である『自然言語』を計算機で処理する技術であり、学術的には、言語学、機械学習、最適化、統計などと関わりが深いものです。応用分野としては、日本語入力や機械翻訳、自動要約などがあります」と紹介。一方、深層学習については、「層の深いニューラルネットであり、それに端を発する、複雑な構造の目的関数を持った機械学習手法全般のトレンド」だと説明した。

実際、自然言語処理における機械学習は年によってトレンドが変わり、新しい手法が次々に登場するため、明確な定義付けをすることは難しいという。

「深層学習の考え方も、登場当初は、層の深さをいくつかの箱がつながったチャートとして図示することができましたが、今は箱の数が増えすぎて1枚の用紙に書き示すことさえ難しいほどです。何ページにもわたって箱だけが続く論文まであります(笑)」（海野氏）

深層学習を自然言語処理に生かそうという取り組みが始まったのは、2011年頃のことだ。海野氏は、2012年以降のトレンドを示すキーワードを順に挙げ、それらのうち、オープンソースの自然言語処理手法「word2vec」の公開で話題になった2013年の「埋め込みベクトルの学習」に言及した。

「埋め込みベクトルの学習は、『1つの単語に対して意味のある単語を割り当てると意味の足し引きができる』という発見に基づいています。例えば、『ベルリン』という単語のベクトル『vec(Berlin)』から、『ドイツ』という単語のベクトル『vec(German)』を引き、『フランス』というベクトル『vec(France)』を足すとどうなるか。いちばん近い単語として導かれたのは、パリ『vec(Paris)』だったのです」（海野氏）

ベルリン、ドイツ、フランスという単語からパリを導くというのは、人間ならば直感的にできることだ。それが機械的にツール（word2vec）で処理できるというのは、大きな衝撃だったという。