大規模言語モデル(LLM)をベースにしたAIは高い能力を発揮できる一方で、ウソにダマされやすいといった特徴があったり、算数の文章題への推論能力が小学生未満という研究結果があったりと、脆弱(ぜいじゃく)さについてもしばしば指摘されます。AIの能力の限界を示す「ストロベリー問題」という脆弱性について、機械学習エンジニアのチンメイ・ジョグ氏が解説しています。
同様の問題として、文章を扱うLLMが抱える問題としてジョグ氏が上げているのが「ストロベリー問題」です。以下の画像でジョグ氏は、ChatGPTに対し「what is the number of r s in strawberry」と質問しました。「strawberry」という単語を見れば誰でもわかる通り、3文字目と8、9文字目の合計3つの「r」があります。しかし、以下の画像でChatGPTは「The word ”strawberry” contains 2 “r”s」と回答しています。に、同じ「what is the number of r s in strawberry」と質問したものですが、こちらも同様に「ストロベリーに含まれるrは2つ」という回答が返ってきました。
他の例では、「mammal」の「m」や「hippopotamus」の「p」を数える際にも、LLMベースのAIがミスをすることがあります。ジョグ氏によると、ストロベリー問題はLLMの特徴に由来するそうです。上に構築されています。Transformerは入力されたテキストを直接取り込むわけではなく、テキストを数値表現として「トークン化」するプロセスを使用します。トークンには完全な単語もあれば、単語の一部もあります。たとえば、「strawberry」という単語のトークンがあればそのまま読み込まれますが、単語によっては「straw」「berry」という2つのトークンを組み合わせる形で入力を取り込んでいる場合もあるというわけ。入力内容をトークンに分解することで、モデルは文中の次にどのトークンがくるのかをより正確に予測できます。
そのため、トークンを扱うLLMベースのAIは文脈をふまえて文章の内容を予測することは得意ですが、単語をアルファベット単位で分解することは難しいといえます。ジョグ氏は「個々の文字をトークン化せずに直接確認できるモデル アーキテクチャでは、この問題は発生しない可能性があります。しかし、現在のTransformerアーキテクチャでは、実現不可能です」と述べています。 LLMが抱える問題点をふまえた上で、ジョグ氏はストロベリー問題の回避策についても解説しています。その方法とは、普通の文章で対話するのではなく、プログラミング言語のコードを使うように指示して問いかけることです。以下は、ジョグ氏がChatGPTに対し「answer how many r s in strawberry using python. show the code, and the explanation」と訪ねた様子。ChatGPTはPythonのcount関数を使ったうえで、正しい「r」の数である「Output＝3」と回答することができました。
ジョグ氏は「単純な文字カウントの実験により、LLMの根本的な限界が明らかになりました。この実験では、LLMはトークンのパターンマッチング予測アルゴリズムであり、理解や推論が可能な『知能』ではないことが示されています。ただし、どのようなプロンプトがうまく機能するかを事前に知っておくと、ある程度は問題を軽減できます。私たちの生活にAIが統合されるにつれて、責任を持って使用し、現実的な期待を持つためには、AIの限界を認識することが重要です」とまとめています。
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
「Duolingo Max」が日本上陸！GPT-4／GPT-4oを活用した「リリーとビデオ通話」機能が新たに登場！「Duolingo Max」が日本上陸！GPT-4／GPT-4oを活用した「リリーとビデオ通話」機能が新たに登場！ Duolingo, Inc.のプレスリリース
続きを読む »
リコー、モデルマージで“GPT-4レベル”の大規模言語モデル開発 プライベートLLMの開発効率化に貢献リコーは、モデルマージ技術によって高性能な日本語大規模言語モデルを開発したと発表した。米OpenAIのLLM「GPT-4」と同等の性能を持つとしている。
続きを読む »
「メーガン妃のスタッフいじめ」を最初に報じたイギリス人記者が見た、「メーガン妃問題」とは？＜「サセックス・サバイバーズ・クラブ」とは？ メーガン妃の「問題のすり替え」とは？ ヴァレンタイン・ロウ記者の話題書『廷臣たちの英国王室──王冠を支える影の力』より＞ メーガン妃によるケンジントン宮殿...
続きを読む »
子どもに広まる「クロミング」とは？ 合法製品の吸入で死亡事例も米ピッツバーグ大学医学部のアンソニー・ピゾン教授によると、若い世代の間で広まっている「クロミング」とは、油性マーカー、デオドラント、マニキュア、塗料用シンナー、ガソリン、ヘアスプレーなど、さまざまな合法製品を乱用して炭化水素を吸入し、ハイになる手段だ。
続きを読む »
日本ハム清宮が「全集中」だ！今日こそ、何がなんでもエスコンでCS決める“全集中”とは、人気漫画「鬼滅の刃」の中で使われたフレーズで、「全ての意識を一つのことに集中させる」という意味を持つ。清宮は言う。「やれるのは勝つことだけなので。...
続きを読む »
【山田美保子のミホコは見ていた！】「喫茶しのぶ」にワクワクし、そそられた「台本ナシ、よってカンペもなし。カメラも、ほぼ隠し撮りスタイル。独特の空気感が、けっこうな快感でございました」とは、９月２８日午後１時１２分、「喫茶しのぶ」のエントリでアップされた坂上忍のオフィシャルブログ「綺麗好きでなにが悪い！」の一文だ...
続きを読む »