英インペリアル・カレッジ・ロンドンなどに所属する研究者らは、大規模言語モデル（LLM）の訓練データに著作権所有者の作品が含まれているかを特定する方法を開発した研究報告を発表した。
」は、大規模言語モデル（LLM）の訓練データに著作権所有者の作品が含まれているかを特定する方法を開発した研究報告である。これは、著者や出版社が自分の作品にさりげなく印を付け、それがAIモデルで使われたかどうかを後で検出できるようにする用途を目的としている。この技術は、20世紀の地図作成者たちが不正コピーを検出するために架空の町を地図に入れていたことからヒントを得ている。研究チームは「著作権トラップ」（Copyright Traps）と呼ばれる独自の架空の文章を原文に挿入することで、訓練済みLLMにおけるコンテンツの検出可能性を研究した。
この方法では、著作権所有者が複数の文書にわたって著作権トラップを繰り返し挿入する。その後、LLM開発者がそのデータをスクレイピングして訓練に使用した場合、モデルの出力に現れる不規則性を観察することで、そのデータが訓練に使用されたことを証明できるようになる。 研究チームは、この手法の有効性を検証するため「CroissantLLM」という13億パラメータAIモデルを使用して実験をした。このモデルは3兆個のトークン（おおよそ単語数の意）で学習されている。訓練用データセットにさまざまな著作権トラップを挿入し、LLMに学習させ、モデルの出力を観察した。これらのトラップ文は、長さ（25、50、100トークン）や挿入回数（1、10、100、1000回）を変えて生成した。
実験の結果、短い文（50トークン以下）を100回程度繰り返しても、効果的に検出できないことが分かった。しかし、100トークンの文を1000回繰り返すと、高い精度で検出可能であることが判明した。この結果は、長い文を多数回繰り返すことで、著作権トラップが効果を発揮することを示している。また、予測が困難な文章ほど検出されやすいことも分かった。このような訓練時にデータを記憶する能力を利用した攻撃を「メンバーシップ推論攻撃」といい、研究が進んでいる。この手法は、訓練中に大量のデータを記憶する大規模な最先端モデルで効果的に機能する。一方で、小規模なモデルは、記憶する量が少ないため、この攻撃を受けにくいとされていた。しかし、今回の「著作権トラップ」は小規模なモデルでも通用することを実証した。
Source and Image Credits: Meeus, Matthieu, et al. “Copyright Traps for Large Language Models.” arXiv preprint arXiv:2402.09363（2024）.
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
5人に1人「AIは“幸福や苦痛などを経験する能力”を持っている」と回答 米国3500人の調査結果：Innovative Tech（AI+）米シンクタンク「Sentience Institute」などに所属する研究者らは、2021～2023年にかけて、3回にわたり米国の3500人を対象に、AIとその自己意識に関する認識について詳細な調査を行った研究報告を発表した。
続きを読む »
“HDMIケーブルから漏れる信号”を屋外から傍受→モニターの表示内容を盗み見るAI ウルグアイチームが開発：Innovative Tech（AI+）ウルグアイのUniversidad de la Republica Montevideoに所属する研究者らは、HDMIケーブルから意図せずに放射される電磁波を傍受し、AIを使用して解読することでモニターに表示されている画像を再現する攻撃を提案した研究報告を発表した。
続きを読む »
生成AIが“AI生成コンテンツ”を学習し続けるとどうなる？→「モデル崩壊」が起こる 英国チームが発表：Innovative Tech（AI+）英オックスフォード大学や英ケンブリッジ大学などに所属する研究者らは、AIモデルが自己生成したデータで繰り返し学習すると、モデルの性能が低下していく「モデル崩壊」という現象を発見した研究報告を発表した。
続きを読む »
脳で“思う”→画像を生成するAI「PAM」 見ている画像の脳活動をもとに生成 オランダの研究者らが発表：Innovative Tech（AI+）オランダのRadboud Universityに所属する研究者らは、見ている画像を脳活動から再構築するAIを用いた神経デコーディングを提案した研究報告を発表した。
続きを読む »
Excelなどの“表計算ソフト専用”の大規模言語モデル 米Microsoftが「SpreadsheetLLM」発表：Innovative Tech（AI+）米Microsoftに所属する研究者らは、表計算ソフトを理解するための効率的な大規模言語モデルを提案した研究報告を発表した。
続きを読む »
猛獣Zen 5のIPCが16％向上したのは実行ユニットに餌を与え続けた成果 AMD Tech Dayレポート (1/2)AMDはロサンゼルスにて「AMD Tech Day」を開催。特に同社が力を入れる「Ryzen AI 300シリーズ」を含めた新技術への説明会を開催した。
続きを読む »