Google DeepMindは、AIが画面の対象や利用者の意図を把握する新型ポインター構想を公表した。Geminiを活用し、ChromeやGooglebookで画像、表、文章を指し示すだけで要約や比較、編集を実行する試作機能を披露した。
Alphabet子会社のAI研究開発企業であるGoogle DeepMind（以下、DeepMind）は2026年5月12日（現地時間）、AIが画面の対象物と利用者の意図を同時に理解する新たなポインター技術の構想を公表した「Gemini」を基盤にした試作システムを公開し、マウスポインターを単なる位置指定ツールから、文脈を理解して操作を補助するインタフェースへ進化させる方針を示した。
「Google Chrome」や新型ノートPC「Googlebook」への導入計画も発表した。 今回の発表において、長年ほぼ変化してこなかったマウスポインターをAI時代用に再設計する考え方が示された。 現状の生成AIサービスは専用画面やチャット欄を中心に動作する例が多く、利用者は作業中の文書や画像、Webページの内容をコピーしてAI側へ渡す必要がある。 DeepMindは、こうした操作が利用者の集中を妨げていると分析している。
同社が提示した構想において、AIがポインター周辺の情報を認識し、利用者が何を求めているかを推測する。 建物の画像を指しつつ「ここへの道順を表示」と話しかけると、AIが画像の内容を解析し、地図情報と結び付けて案内を表示する。 別の例において、統計表を指して円グラフ化を求めたり、レシピ文書を選択して材料を2倍に換算したりするデモも紹介された。 DeepMindは、この構想を支える4つの設計原則を説明した。
第1は「作業の流れを維持する」ことだ。 AI機能を独立した画面に隔離せず、利用者が作業しているアプリケーションで直接呼び出せる状態を目指す。 PDFの内容を箇条書き化し、そのままメールに貼り付けるといった処理を、アプリ切り替えなしで実行する想定だ。 第2は「見せながら伝える」という考え方だ。
現在の生成AIは、利用者が詳細な指示文を入力しなければ精度の高い結果を得にくい場合がある。 新システムにおいて、ポインターが示した位置周辺の視覚情報や意味情報をAIが取得し、単語や段落、画像の一部分、コードブロックなどを識別する。 利用者は複雑な説明文を作成せず、指し示す操作だけで対象を伝えられる。 第3は、「これ」や「あれ」といった曖昧な表現を扱える仕組みだ。
人間同士の会話において、ジェスチャーや共有された状況を前提に短い言葉で意思疎通する場面が多い。 DeepMindは、ポインティング操作と音声入力、画面の文脈を統合的に解釈できれば、自然な会話形式で複雑な指示を扱えるとみている。 第4は、画面のピクセル情報を意味のある対象へ変換する点だ。 従来のコンピュータは座標情報しか扱えなかったが、AIによって場所、日時、物体などを認識し、操作可能な情報として処理できるようになるという。
手書きメモの画像をタスク一覧に変換することや、旅行動画を停止した場面から店舗予約ページへ接続する利用例が紹介された。 試作システムはGeminiを利用して構築されている。
「Google AI Studio」において、ポインター操作と音声入力を組み合わせ、画像編集や地図検索を実行する実験例を公開した。 利用者は対象を指し示しつつ短い言葉で依頼するだけで、AIが文脈を理解して処理する。 製品展開についても具体的な方針が示された。 Chromeにおいて、Webページの任意の部分を選択し、Geminiに質問できる機能を導入する。
商品一覧をまとめて選択して比較を依頼することや、室内写真を指定して家具の配置イメージを生成する用途を想定する。 Googlebook用には「Magic Pointer」を投入し、ノートPCでGeminiを直感的に扱える環境を整備する計画だ。 DeepMindは、AI技術が人間の行動様式に適応するべきだと強調している。 従来は利用者側がコンピュータ操作を学ぶ必要があったが、同社はAIによって自然な身ぶりや短い発話でもコンピュータを扱える環境を構築したい考えだ。
今回示された構想は、チャット中心だった生成AIの利用形態を、画面操作と融合した常時支援型へ変化させる試みとして注目されそうだ。
United States Latest News, United States Headlines
Similar News:You can also read news stories similar to this one that we have collected from other news sources.
AIによるサイバー攻撃が深刻化している: 米グーグル調査でAIによるサイバー攻撃の進行状況に警鐘を鳳らす調査結果を発表した米グーグル。AIがシステム開発者よりも先に脆弱性を発見し、企業のサーバーから機密情報を盗んだり、製造設備を停止させたりする被害が増加していると分析されている。犯行の手口追加、マルウエア開発にもAIが悪用されている可能性、 Cyril Black 氏コメント、China's cybersecurity strategy update, malicious AI organizations, AI threat potential.
Read more »
TBSのエデュテインメント事業、AI学習支援ツール「AI for School」の実証研究を実施TBSのエデュテインメント事業は、ニュースコンテンツやエンタメ力を学びの現場に活かしたいという強い思いから、昨年7月から本格的に取り組んでいます。AI学習支援ツール「AI for School」を開発し、2025年度文部科学省委託事業において、全国6自治体・13校で実証を行いました。90%以上の子どもたちが「普段よりおもしろい」と回答し、先生方からも「実際の授業でも活用したい」という声が寄せられています。EDIXでは、TBSブースで「AI for School」のデモ体験を実施します。トークセッションでは、教育業界のみなさんとTBSの顔たちが、AIの活用から探究学習、日本の教育が抱える問題まで真剣に語ります。
Read more »
「質問を待つ AI」から「自ら考えて動く AI」へ。レブコム、「MiiTel Synapse Copilot」で「Copilot Plus」機能を提供開始「質問を待つ AI」から「自ら考えて動く AI」へ。レブコム、「MiiTel Synapse Copilot」で「Copilot Plus」機能を提供開始 株式会社RevCommのプレスリリース
Read more »
「Meta AI」と声で会話できるように、新AIモデル「Muse Spark」搭載米Metaは12日、AIアシスタント「Meta AI」に「Meta AI Voice Convers...
Read more »
AI inside、国内データセンターをAI Factoryに転換する「Sovereign Grid」を始動― AI推論ネットワークを構築AI inside、国内データセンターをAI Factoryに転換する「Sovereign Grid」を始動― AI推論ネットワークを構築 AI inside 株式会社のプレスリリース
Read more »
Google DeepMind Unveils Concept of Using Mouse Pointer as an Input Device for AI InteractionsGoogle DeepMind has introduced a concept of using the mouse pointer as an input device for AI interactions, aiming to make the interactions more intuitive. Whereas previous AI tools required users to provide detailed instructions through text, Google DeepMind is proposing a reverse approach where the AI can make suggestions while the user is already interacting with the conventional web pages, documents, emails, and maps.
Read more »