最初に登場したのは、AR(拡張現実)を用いたGoogle検索とGoogle Lensの新機能だった。
Google検索では検索結果で3Dオブジェクトにアクセスできる。例えば、ホオジロザメを検索した結果に、ホオジロザメの3Dモデルが表示される。「View in your space」をタップすると、AR機能でその場にホオジロザメを置いて大きさを比較できる。
-
Googleで「White Shark」を検索、結果からホオジロザメの3Dオブジェクトを表示して操作できる
-
AR機能でホオジロザメを置いてみて体長18フィートのサイズ感を確認
Google Lensは、機械学習とコンピュータビジョン、さらにKnowledge Graphを組み合わせてソリョーションの幅が広がる。例えば、レストランのメニュー攻略。たくさんの料理が並ぶメニューで悩んだ時、Google Lensを通じてメニューを見ると、その店を訪れた人達の間で人気のメニューがハイライトされる。
-
メニューに並ぶたくさんの料理、Google Lensを通してメニューを見るだけで「みんなのオススメ」に絞り込める
-
Google Lensを通じて画面にレストランのレシートを表示、Lensが金額を読み取り、割り勘額やチップを簡単に計算できる
ARに関する最後の発表は、新興市場向け軽量Googleツール「Google Go」へのGoogle Lensの拡大だった。コンピュータビジョンや言語解析を用いたサービスは、AI、ハードウェア、ソフトウェアの連携で機能し、Pixelシリーズのような高性能のスマートフォンでしか利用できない制限があった。でも、それではGoogleが目指す"for everyone"ではない。「Lens in Google Go」は約100KBと小さく、50ドル以下の携帯電話でも動作するという。ユネスコのデータによると、読み書きができない成人が世界で8億人近くもいる。そうした人達は公共交通機関を使ったり、買い物にも苦労しているが、掲示板や製品の説明にスマートフォンを向けるだけで、Google Lensが単語や文章を読み上げてくれる (翻訳にも対応)。
-
新興市場の低価格スマートフォンでも動作する「Lens in Google Go」、文字や文章を認識し、テキストの読み上げで読み書きができない人達をサポート
数多く行われたデモの中で、会場を最も沸かせたのはモバイル向けの「次世代Googleアシスタント」のデモだった。Googleアシスタントは便利な機能ではあるけど、「Hey Google」と何度も呼びかけるのは手間であり、また処理に待たされることもあって、スマートフォンの使い方を変えるような存在にはなっていない。しかし、以前は約100GBのサイズだった自然言語認識や言語解析のモデルを、ニューラルネットワークの進歩の積み重ねで0.5GB以下に縮小。クラウドに頼らずデバイス内での処理を可能した次世代のモバイル向けGoogleアシスタントは、ほぼ遅延ゼロで言語処理を行える。どれぐらい速いかというと、基調講演のデモは「打てば響く」状態だった。「カレンダーを開いて」「計算機を開いて」「Photosを開いて」「タイマーを10分に設定」「天気は？」「明日は？」「John LegendのTwitterを」「ホテルまでLyftをお願い」「フラッシュライトを点けて」「消して」「セルフィーを撮って」を、わずか30秒ぐらいの間に立て続けにリクエスト。ユーザーを待たせることなく、Googleアシスタントがサクサクと対応して見せた。しかも、「Hey Google」と呼びかけたのは最初のみで、Googleアシスタントがユーザーの継続的なリクエストを認識してやり取りを続けられる。スワイプとタップの操作より「Googleアシスタント+音声」の方が効率的と思わせるデモだった。
-
レスポンスが速いだけではない、「ホテルまでLyftをお願い」というような頼み方でも、利用者の場所がどこで、どこに泊まっているか理解して対応してくれる
他にも、DuplexテクノロジーでWebでのレンタカー予約やチケット購入を自動化する「Duplex on the web」、家族や友人とのつながりや場所、イベントといった利用者に関する情報 (Personal References)に基づいてよりパーソナルなアシスタントを受けられる機能などのデモを披露した。
-
Duplexを用いた「Duplex on the web」、「Nationalsでレンタカーを予約して」と頼むだけ、Webの予約サイトでのフォーム入力など面倒な作業はGoogleアシスタントにおまかせ
