GPT-4などの大規模言語モデルは非常に高い性能を有していますが、各モデルがどのような思考を経て応答を出力しているのかは開発者ですら把握できていません。新たに、OpenAIが大規模言語モデルの思考を読み取る手法を開発し、GPT-4の思考を1600万個の解釈可能なパターンに分解できたことを発表しました。
一般的なソフトウェアは人間の設計に基づいて開発されているため、各機能の仕組みを理解した上で機能を修正したり安全性を評価したりできます。一方で、AIの開発では、「ニューラルネットワークの学習アルゴリズム」自体は人間が設計しているものの「ニューラルネットワークの学習」は自動的に実行されているため、完成したニューラルネットワークの思考の仕組みを人間が読み解くのは難しく、修正や評価も困難です。
AI研究者たちはニューラルネットワークの思考を理解する手法の開発に取り組んでおり、2023年10月にはニューラルネットワークをニューロン単位ではなく「features 」という単位にまとめ手法が発表されました。ニューラルネットワークを特徴ごとに分類することで、「法律文章に反応する特徴」「DNA列に反応する特徴」といった解釈可能なパターンを見つけ出すことが可能となり、ニューラルネットワークの仕組みの理解につながることが期待されています。 大規模言語モデルが文章内の各トークンを生成する際には、膨大なニューラルネットワークのごく一部のみが発火します。しかし、ニューラルネットワークの特徴を捉えるにはごく一部だけでなく全体を捉える必要があります。この「ごく一部の発火から全体を捉えて特徴を探し出す」という操作は「スパースオートエンコーダー」によって実行されるのですが、既存のスパースオートエンコーダー開発手法には「巨大な大規模言語モデルに対応できない」という問題があったとのこと。
新たに、OpenAIはスパースオートエンコーダーの開発手法を改善し、GPT-4やGPT-2 smallに対応可能なスパースオートエンコーダーを作成することに成功しました。特に、GPT-4に対応するスパースオートエンコーダーではGPT-4の1600万個の特徴を見つけ出すことができたとのこと。OpenAIはGPT-4とGPT-2 smallから見つけ出した特徴と対応する学習データを以下のリンク先で公開しています。ただし、新開発のスパースオートエンコーダーでもGPT-4の動作全体を分析することはできていません。また、特徴の検出はニューラルネットワークを理解する1つのステップに過ぎず、さらなる理解のためには多くの作業が必要とのこと。OpenAIは未解決の課題を解決するべく研究を続ける姿勢を示しています。
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
最新情報②ー宮里藍 サントリーレディスオープンー明日へひとこと山下 美夢有（6位タイ：-4） 「スコアは何とかまとめられた感じだけど、第１打の精度がいまひとつ。前半からラフへ入ること…
続きを読む »
えっ…？一体、何が起こった…！？ 強烈な打球で“異変”が起きた…！ 遊撃手のグラブが消えるハプニングが発生「珍プレーだな」「どういう状況？w」（2024年6月5日）｜BIGLOBEニュース【MLB】アストロズ7-4カージナルス（6月3日（日本時間（6月4日））【映像】強烈な打球で遊撃手に“異変”6月3日（日本時間（6月4日）に米・テキサス州ヒューストンのミニッ…｜BIGLOBEニュース
続きを読む »
最後の三菱ギャランともいうべき8代目モデルには4WDスポーツセダンのVR-4があった。6代目ギャランが積んだ4G63ターボとはまた違ったV6ターボの魅力を持つスポーツセダンに迫ってみたい。最後の三菱ギャランともいうべき8代目モデルには4WDスポーツセダンのVR-4があった。6代目ギャランが積んだ4G63ターボとはまた違ったV6ターボの魅力を持つスポーツセダンに迫ってみたい。
続きを読む »
経済アナリスト vs. GPT-4──生成AIは金融投資にどれくらい使える？ 米シカゴ大が研究報告：Innovative Tech（AI+）米シカゴ大学に所属する研究者らは、大規模言語モデル（LLM）、特にGPT-4が企業の財務諸表分析においてどのような能力を発揮するかを検証した研究報告を発表した。
続きを読む »
1-4月期の北京のインバウンド客数は延べ79万人―中国メディア（2024年5月30日）｜BIGLOBEニュース今年に入ってから、北京を訪問するインバウンド客が加速度的に増加している。北京市文化・観光局によると、今年1-4月期、北京を訪問したインバウンド客は前年同期比291％増の延べ7…｜BIGLOBEニュース
続きを読む »
OpenAIがサム・アルトマンCEOを含む「安全・セキュリティ委員会」を設置、さらにGPT-4後継モデルのトレーニングを開始OpenAI理事会が、OpenAIのプロジェクトと運営における重要な安全性とセキュリティに関する決定について勧告を行う「安全・セキュリティ委員会」を設置すること、そしてGPT-4シリーズに続く次世代モデルのトレーニングを開始することを発表しました。
続きを読む »