気になるものをiPhoneで見つけたら
スクリーンショットを撮ろう

　「ググる」ではなく「スクショする」が、これからの検索のスタンダードになるのでしょうか。

　アップルがWWDCで発表した「iOS 26」。iOS 7の「フラットデザイン」以来となる、大規模なソフトウェアのデザインアップデート「Liquid Glass」が話題となりました。

　また、Apple Intelligenceの新機能として、会話やメッセージをリアルタイムで翻訳する「ライブ翻訳（Live Translation）」なども注目されています（電話については日本語は非対応）。

　筆者が気になった機能は、カメラに写った対象物を調べる「ビジュアルインテリジェンス（Visual Intelligence）」です。iOS 26では、カメラに写ったものだけでなく、iPhoneの画面上のコンテンツも認識し、そこからアプリ間での検索やアクションに活用できるのだそう。

これまでのビジュアルインテリジェンス機能は、日本ではあまり話題になっていなかったかも

スクリーンショットで画面内の写真を画像検索

　画面上のコンテンツを認識し、活用できる……とは、どういうことなのでしょうか。

　iOS 26でスクリーンショットを撮ると、画面の上部にはこれまでのように「マークアップ」「共有」などのアイコンが表示されますが、画面の下部には「Ask（質問する）」「Image Search（画像検索）」というビジュアルインテリジェンス用のツールも用意されています。

　WWDCで流されたデモでは、SNSアプリで気になるジャケットを見つけたユーザーがスクリーンショットを撮影し、画面下部の「Image Search」をタップすることで、Googleの画像検索結果を直接表示させていました。

SNSを見ているときに気になるジャケットを発見

スクリーンショットを撮影し、画面右下の「Image Search」をタップ

そのまま画像検索の結果が表示されます

　また、同じくSNSアプリから室内を撮影した写真を見つけてスクリーンショットに収め、画面内のランプを選択することでランプ“だけ”を画像検索していました。ここから気に入った結果をタップすればアプリに移動するので、「これが欲しい」となったときにもスムーズにネット通販などができそうです。

室内の写真からランプだけを指でハイライトすると……

ランプ“だけ”の検索結果が出てきます

Etsyなどの検索結果をタップすれば、そのままアプリに移動します

　これは、Androidの「かこって検索」に近い機能でしょう。ただ、iOS 26の場合は対象を囲うジェスチャー操作ではなく、スクリーンショットを撮影することでAIが判定するのですね。

スクリーンショット内の画像について
ChatGPTに聞いてみよう

　さらに、スクリーンショットした画面上に表示されているものについて知りたい場合は、「Ask」をタップすればChatGPTに直接質問が可能です。

　デモ動画では、マンドリンが表示されているスクリーンショットに対して、ChatGPTに「この楽器が使われているロックの曲は？」（※つまり、具体的な楽器名は聞いていません）という質問を投げかけました。

　するとChatGPTが、ロッド・スチュワートの「マギー・メイ（Maggie May）」やレッド・ツェッペリンの「限りなき戦い（The Battle of Evermore）」などを候補に出す、といった具合です。いずれもマンドリンが使用されている楽曲です。

スクリーンショットを撮影して画面左下の「Ask」をタップすれば、ChatGPTに質問できます

「この楽器が使われているロックの曲は？」と尋ねると……

質問に対してChatGPTが答えてくれるのですね

イベントが画面に表示されていれば
カレンダーに追加する提案も

　さらに、イベントが画面に表示されている場合は、Apple Intelligenceが日付と時刻、そして場所を自動的に抽出。「カレンダーに追加」という提案を表示する機能もそなえているようです。

気になるイベントが表示されている画面をスクショすると……

「カレンダーに追加」という表示が出てくるので、ここからカレンダーにすぐ登録可能

　スクリーンショットを撮影するだけでさまざまなことに活用できる、iOS 26のビジュアルインテリジェンス。かなり便利に使える予感がします。