◆オンデバイス通訳機能など優れたAI機能をテスト

　Galaxy S24 UltraはAI機能が強化されており、オンデバイスで利用できる通訳機能などスマートフォンとしての使い勝手が大きく高まっている。今回は「通訳」「ノートアシスト（テキスト成形）」「かこって検索」「画像消去・移動」を使ってみた。

　通訳機能はオフラインでも利用できるオンデバイスAI機能であり、様々なシーンでの活用が期待できる。ただし、使用する際はあらかじめ言語パックのインストールが必要だ。また通訳機能はアプリケーションではなくクイック設定パネルから呼び出して利用できる。すなわちGalaxy S24シリーズの本体機能の1つとして組み込まれているのである。

　Galaxy S24 Ultraで初めて通訳機能を起動すると、言語パックのインストールが促される。2024年1月末時点では主要な西洋言語に加え、日本語、韓国語、中国語、タイ語、ベトナム語などアジア言語にも対応している。将来はより多くの言語に対応するだろう。

クイック設定パネルに「通訳」がビルトインされている。使い始めの際に言語パックをインストールする

　通訳機能の画面は上半分が自分用、下半分が相手用、という画面になっている。マイクアイコンの横にある言語をタップすれば、会話する言語を切替できる。まずは日本語英語の通訳を試してみよう。使う際はマイクボタンを押してから画面に向かって話をすると、自分の日本語音声が認識されて1～2秒で画面上部にテキストで表示される。続いて英語のテキストが画面下部側に表示されるとともに、音声で読み上げてくれる。

　画面右上の3点リーダーボタンの左のアイコンをタップすると、画面上半分の表示が反転して、お互いが向き合って会話しやすい表示にもなる。お店などでお客さんに対応するときなどはこのほうが使いやすいだろう。相手が英語で話をすると、同様にテキスト表示→日本語の翻訳テキスト表示と音声読み上げが行なわれ、実際に会話できるわけだ。

　使ってみると、地名や人物名などは誤変換することもあった。たとえば日本語モードで会話中に「サンフランシスコ」などの地名をはっきりと発音しないと間違ってしまうこともあるようだ。とはいえ、全体的な正誤率は95％以上はあるように感じられ、ゆっくり会話すればより正確に認識される。また、翻訳に要する時間は長くて数秒。さらに長い文章も翻訳できたことから十分使い物になると感じられた。

通訳機能の初期画面（左）。日本語で会話して英語に通訳される（中）。上画面を反転させ相手に英語を話してもらった（右）

　英語は日本人でもなんとかなる場合もあるだろうが、韓国語などアジア言語の場合は文字も含めてまったくわからないというケースも多く、海外旅行に行った時など実際に活用できそうだ。

　ただ、日本語で話をするときに日本語以外の単語ははっきり・しっかり・ゆっくりと発音したほうがよい。写真の例にある、たとえば「サムギョプサル」も、早口で話すと「サムギョプ」しか認識されないこともあった。中国語の例では2つの文章を区切って話したはずが日本語では1文にまとめられている。翻訳画面側ではきちんと2文にわかれており、AIがしっかりと文章の内容を認識しているのだろう。

アジア言語は海外旅行時に実際に使えそうだ

　ノートアシスト機能はGalaxyシリーズ搭載のメモアプリ「Samsung Notes」でテキストを自動加工できる機能だ。長文文章を読みやすくまとめる「自動フォーマット」、全体をまとめる「要約」、ミスタイプを修正する「スペル修正」そして「翻訳」が使える。

　今回はサムスンのプレスリリース文章をSamsung Notesに貼り付けてテキストの成形をした。貼り付けた文章の全体を選択し、画面下部のメニューアイコン中央にある星型のアイコンをタップ。するとAI処理のメニューが表示される。あとは希望の処理を選べばよい。とはいえ、今回貼り付けた文章は19ページ。しかし19ページだと文章サイズが多いようで処理はできなかった。試してみると5ページ程度なら処理できたので、一度に処理できるテキスト量には上限があるようだ。

テキストを貼り付け（左）。AIボタンをタップしてメニューを出す（中）。翻訳画面（右）

　日本語に翻訳された文章はそのままSamsung Notesの画面に英語を置き換えて貼り付けることも、新規ノートとして貼り付けもできる。その翻訳文章を要約してみたが、確かに基本情報だけをしっかりと残してまとめあげてくれる。

　ただし現時点では要約文字数の指定などはできない。また、翻訳文章の自動フォーマットは「ヘッダーと箇条書き」「議事録」が選べる。

　今回は録音音声のテキスト化を試す時間がなかった。録音音声は会話する人ごとにテキスト化を分けることが可能だ。その機能とノートアシスト機能を組み合わせれば、会議の議事録をまとめて報告書にすることが、Galaxy S24シリーズは本体だけで簡単にできる。ビジネスツールとしてかなり強力なスマートフォンに進化しているわけだ。

要約もうまくまとめている（左）。ヘッダーと箇条書きに成形（中）。議事録型に成形（右）

　次に「かこって検索」を試した。この機能はGalaxy S24シリーズだけのものではなく、グーグル検索の新しい機能としてPixel 8シリーズでも利用できるようになっており、今後Androidスマートフォンのハイエンドモデルの標準機能として利用できるようになるだろう。

　かこって検索は、画面に表示されるあらゆるものをかこうことで、その対象物を検索できる機能だ。そのため写真だけではなく動画を視聴中に気になるものが映ったら、それをかこって検索できる。さらにテキストも文字を選ぶのではなく「文字をかこう」ことで検索できるのだ。

　使い方は簡単で、ブラウザーや動画アプリで気になったものがあれば、画面下中央のホームボタンを長押しする。すると画面全体が静止された状態になるので、検索したいものを指先でかこえばよい。Galaxy S24 UltraはSペンが使えるため、小さなオブジェクトでも指定しやすい。

気になるものがあったらホームボタンを長押し。そして指先やSペンでかこう

　オブジェクトを囲ったあとは、指先やSペンを画面から離せば対象物が検索される。スクショを撮る必要もなく、また動画の再生中でも利用できるのはとても便利だ。

あとは自動的に検索される

　テキストの検索もとても楽で、文章の中の文字をかこえばよい。指先を押し付けてテキストを選択する操作が不要なだけでも使いやすい。なお「かこう」だけではなく塗り物でも同様に検索できる。

テキストもかこって検索できる

　さてAI機能が最も進化したと感じられるのは画像処理だ。Galaxyシリーズには前モデルからPixelシリーズの「消しゴム機能」同様の機能が搭載されている。しかしGalaxy S24 Ultraでは生成AIを使うことでより自然に画像を消したり移動できるのだ。ギャラリーから画像を選び、編集モードに入り星アイコンをタップ。ここから生成AIを使った画像編集ができる。

Sペンを使って生成AI編集をできる

　まずは編集したいオブジェクトをざっくりとかこむ。するとAIが自動判断してオブジェクトだけを自動選択してくれる。選択範囲の精度はかなり高い。

生成AIで編集→オブジェクトを適当に選択→自動でオブジェクトのみが選択される

　つぎにオブジェクトを長押しすると、上に「やりなおし」「消去」ボタンと、オブジェクト四隅にハンドルがつく。オブジェクトの消去は消去ボタン、サイズや角度を変える場合はハンドルをドラッグ、さらにオブジェクトの位置を動かしたければ、そのままドラッグすればよい。最後に画面下の「生成」をタップすれば処理は完了する。

　消去や移動、拡大縮小に要する時間は10秒程度で長いとは感じられない。普段から撮影した写真を気軽に加工したいと思えるほど、仕上がりは自然で美しい。なお、たまに元々オブジェクトがあった場所に別の画像が「生成」されることもあった。生成AIのバグというか、実際に生成処理をしていることを感じることができる一面でもあるが、この辺りも追々修正されていくだろう。現時点では時々出てくる謎のオブジェクトに、むしろ楽しさや喜びを感じてしまう。

オブジェクトそのものを加工（左）。オブジェクトを移動できた。元の背景も処理は自然な仕上がりだ（中）。オブジェクトを消去したが謎のオブジェクトが「生成」されるバグも時たまある（右）

　屋外に出て画像消去を試してみた。公園の看板を消してみたが、地面の雑草も自然な仕上がりだ。後方の木の幹が2本あるのはこれで自然に見えてしまう。また、木の下の柵もしっかりと再現されている。

公園の写真（左）から手前の看板を消してみた（右）