近年ではAIの性能が飛躍的に向上し、現実世界の複雑なシナリオでタスクを実行できるAIエージェントが開発されています。しかし、これらのAIエージェントは複数のシナリオ間で一般化されたタスクを実行する際に失敗することが多いそうで、これは各環境で必要な観察や行動の違いに起因するとのこと。そこで中国の研究チームが、最も統一化されたインターフェースである「スクリーン」を入力に、「キーボード」と「マウス」を出力に使用することで、まるで人間のようにゲームやアプリを操作できるAIフレームワーク「Cradle」を発表しました。
研究チームはAIエージェントをさまざまなシナリオ間で一般化するため、スクリーンの入力に対してマウスとキーボードで出力してソフトウェアと対話する「General Computer Control」を提案しました。
コンピューターは人間とデジタル世界をつなぐ最も重要かつ普遍的なインターフェースであり、AIエージェントが操作できるアプリやゲームなどのソフトウェアを提供すると同時に、ハードウェア要件や故障といった現実のロボットにまつわる問題を回避します。これらの仮想環境をマスターすることは、AIエージェントを一般化する方法として有望です。 GCCの達成には、「スクリーンを通じた視覚情報の適切な理解とそれに基づいた意思決定」「コンピューターと対話するためのキーボードやマウスの正確な制御」「複雑なタスク実行のための推論や経験の保持」「より優れた戦略と解決策を自立的に発見する自己改善」といったさまざまな能力が必要です。そして、GCCに向けた予備的な試みとして開発されたのが、大規模言語モデルを活用したAIフレームワークのCradleです。が使用されており、「1：マルチモーダルなインプットを処理する情報収集モジュール」「2：過去の経験を再考する自己反省モジュール」「3：次に行う最適なタスクを選択するタスク推論モジュール」「4：特定のタスクに関連したスキルを生成・更新するスキル収集モジュール」「5：キーボードとマウスによるアクションを決定するアクション計画モジュール」「6：過去の経験とスキルを保存するメモリモジュール」の、合計6つのモジュールで構成されています。これらのモジュールによってCradleはさまざまなタスクを実行し、ゲームをプレイすることも可能だとのこと。
Cradleはゲームのプレイにおいて、「NPCを追いかける」「特定の場所に行く」といった単純なタスクでは、かなり高い成功率を発揮したと研究チームは報告しています。その一方で、空間認識や時間に関連する意思決定が苦手なため、「危険で曲がりくねった道を進む」「リアルタイムの戦闘や捜索タスクを実行する」といったタスクになると成功率は下がるそうです。
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
新しい「iPad Pro」と「iPad Air」は何が変わった？ 先代モデルとスペックを比較する（1/2 ページ）Appleは5月7日（日本時間）、M4チップを搭載した新型「iPad Pro」と、M2チップを搭載した「iPad Air」を発表しました。どちらのモデルも11型と13型を用意しています。新型iPad ProとiPad Airが従来モデルから何が変わったのか、スペックを比較しつつ確認します。
続きを読む »
約7万円オフ。Surface Pro 9とキーボード/ペンのセットが大幅値引きAmazonにおいて、「Surface Pro 9」と「Surface Pro Signature キーボード」(Surface Pro スリム ペン2付き)の2点セットが直近価格からの7万515円引きで、28万1,925円にて購入できる。
続きを読む »
ゲーミングブランド「Predator」よりゲームプレイを快適にするゲーミングガジェットのラインアップ拡充！キーボード/マウス/ヘッドセット/TWS（完全ワイヤレスイヤホン）全6製品が登場ゲーミングブランド「Predator」よりゲームプレイを快適にするゲーミングガジェットのラインアップ拡充！キーボード/マウス/ヘッドセット/TWS（完全ワイヤレスイヤホン）全6製品が登場 日本エイサー株式会社のプレスリリース
続きを読む »
新型｢Surface Laptop Go 3｣｢同Studio 2｣が日本でも10月3日発売。Windows 11搭載の入門＆プロ機マイクロソフトは新型ノートPC｢Surface Laptop Go 3｣と｢Surface Laptop Studio 2｣を発表しました。日本でも10月3日から出荷予定。前機種と比べた製品特徴を解説します。
続きを読む »
iPhone 15/15 PlusがUSB Type-Cに対応。カメラ性能強化で｢Proじゃなくていい｣場合が増えるかアップルは新型スマートフォン｢iPhone 15｣と｢iPhone 15 Pro｣を発表しました。前機種と比べて何が違うのか。3つのポイントに分けて解説します。
続きを読む »
｢iPhone 15 Pro｣がわかる5つのポイント。チタンボディー、USB Type-CやVision Pro対応動画撮影などアップルは新型スマートフォンの上位モデル｢iPhone 15 Pro｣と｢iPhone 15 Pro Max｣を発表しました。14 Proシリーズから何が変わったのか。5つのポイントに絞って解説します。
続きを読む »