AndroidのAIが刷新される。その概要は以下の通り

Google I/O 2024で、GoogleはGeminiによるAndroidの新機能を多数披露しました。Geminiにより、Androidは様々なシナリオにおいて画面上のコンテキストを認識するようになり、ユーザーの操作が格段に楽になります。少なくともGoogleによると。

今年初めにSamsungのGalaxy Unpackedイベントで初公開されたCircle to Searchに、新たな機能が加わります。Circle to Searchは、学生にとって素晴らしい勉強のパートナーになるでしょう。なぜでしょうか？それは、物理や数学などの宿題を手伝ってくれるからです。画面上の質問を丸で囲むだけで、解くための手順がステップバイステップで表示されます。

Circle to Searchのこの新機能は本日からご利用いただけます。年末までに2億台以上のデバイスでご利用いただける予定です。

Geminiの大きな焦点は、画面に表示されている内容を文脈に応じて認識することです。例えば、Geminiはテキストメッセージに関連する画像を生成し、それを会話の中に直接挿入できます。また、現在視聴中の動画や長いPDFファイルについてGeminiに具体的な質問をすることもできるため、複数のページをスクロールする必要がありません。この機能は、今後数ヶ月かけてデバイスに展開される予定です。

Gemini Nanoのマルチモーダル機能は、今年後半にGoogle Pixelで利用可能になります。この機能により、スマートフォンはテキスト処理に加え、音、ため息、話し言葉など、特定のコンテキストにおけるより多くの情報を理解できるようになります。

Geminiで改善されるアクセシビリティ機能の一つがTalkBackです。これは、視覚に障がいのある方や弱視の方向けに設計された機能です。TalkBackを使用すると、画像に写っているものについて、より豊かで明確な説明を得ることができます。今回のGeminiのTalkBackアップデートでは、家族写真に写っているものの詳細や、オンラインショッピングで服のカットなど、不足している情報が補完されます。Gemini Nanoはデバイスに内蔵されているため、データ接続は必要ありません。

Geminiは詐欺電話の防止にも役立ちます。Gemini Nanoは、詐欺によく見られる会話パターンを検知した場合、通話中にリアルタイムでアラートを発します。例えば、「銀行員」が送金、ギフトカードでの支払い、個人情報の提供を要求してきた場合などです。

Gemini Nano がこれらのフレーズを検出すると、通話中に画面に警告が表示され、銀行が資金の移動を要求することは決してないことなどが伝えられるなどの情報が伝えられます。

これは、Android 15 に導入される改善点のほんの始まりに過ぎません。