きちんとチェックすると「781年」かかるAI用データセット「LAION-5B」の課題がよくわかる「Models All The Way Down」

日本 ニュース ニュース

きちんとチェックすると「781年」かかるAI用データセット「LAION-5B」の課題がよくわかる「Models All The Way Down」
日本 最新ニュース,日本 見出し
  • 📰 gigazine
  • ⏱ Reading Time:
  • 27 sec. here
  • 2 min. at publisher
  • 📊 Quality Score:
  • News: 14%
  • Publisher: 51%

Stable Diffusionをはじめとする主要な画像生成AIのトレーニングには、50億枚超の画像とテキストのセットである「LAION-5B」が用いられています。週5で働くフルタイム労働者が1秒ずつ画像を目視確認すると781年かかるといわれているデータセットの膨大さや、その問題点がまとめられたサイト「Models All The Way Down」が公開されました。

さらにスクロールすると、LAION-5Bが作成された経緯が解説されます。それによると、LAION-5Bは別の非営利団体であるCommon Crawlが提供するさらに大きなデータセットから構築されているとのこと。Common Crawlはクローリングで毎月インターネットからデータを取得しており、これには30億以上のウェブサイトのデータが含まれています。

しかし、選び出された画像のスコアにはばらつきがあり、50億枚のうちスコアが0.5以上のものはたった2万2645枚で、全体の16%はスコアが0.1以下でした。このような精度の面での難点があるため、LAIONの研究者が類似性スコアの許容値を0.01引き上げるだけで、データセットから9億組以上の画像とテキストのセットが消えてしまうとのこと。 また言語的にも偏りがあります。前提として、LAIONのデータセットは、英語に紐付けられた「LAION-2B EN」、そのほかの言語の「LAION-2B MULTI」、言語が特定できなかった「LAION-1B NOLANG」の3つのサブセットにわかれています。 さらに、LAION-5Bには話者が30万人しかいないルクセンブルク語に分類されたテキストキャプションが約3500万個ありますが、元のトレーニングセットには約3万3000ページしかありません。それもそのはずで、ルクセンブルク語とされたデータセットを見ると、ほとんどが英語か別の言語だったとのこと。「これはLAIONの自動処理がどのように失敗するかを示す端的な例です」とModels All The Way Downは指摘しました。

このニュースをすぐに読めるように要約しました。ニュースに興味がある場合は、ここで全文を読むことができます。 続きを読む:

gigazine /  🏆 80. in JP

日本 最新ニュース, 日本 見出し

Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。

現代アートを通して、椅子が持つ多様な意味を考察。『アブソリュート・チェアーズ』が面白い!現代アートを通して、椅子が持つ多様な意味を考察。『アブソリュート・チェアーズ』が面白い!ジム・ランビー『トレイン イン ヴェイン』(2008年 公益財団法人アルカンシエール美術財団 / 原美術館コレクション)スコットランドのアーティスト、ジム・ランビー(1964年〜)が、かつての原美術館...
続きを読む »

市民と創造する演劇「地を渡る舟」稽古場レポート / 扇田拓也・棚川寛子インタビュー - ステージナタリー 特集・インタビュー市民と創造する演劇「地を渡る舟」稽古場レポート / 扇田拓也・棚川寛子インタビュー - ステージナタリー 特集・インタビュー1977年、東京都生まれ。劇作家。早稲田大学第一文学部文芸専修卒業。日本劇作家協会戯曲セミナー研修課にて井上ひさしに師事。2009年、てがみ座を旗揚げし、全公演の脚本を手がける。ユニット内外で活躍し、「乱歩の恋文」でシアタートラム ネクスト・ジェネレーションVOL.
続きを読む »

【第8回-②】くびき野の文化フィールドを歩む―1990年~2023年 石塚正英(東京電機大学名誉教授)【第8回-②】くびき野の文化フィールドを歩む―1990年~2023年 石塚正英(東京電機大学名誉教授)前回はこちら→ 「8-1.前曳きオガが高麗時代の半島にあった!」 8-2.オガ(大鋸)からうかがえる日韓文化交流 私は、オガに関しては、ことのほか強い関心を持っています。私の生まれた地は旧高田藩の城下
続きを読む »

《千葉県沖で地震頻発》専門家が“周期”を指摘「1912年、1950年、1987年にM6以上の地震が37~38年周期で繰り返している」《千葉県沖で地震頻発》専門家が“周期”を指摘「1912年、1950年、1987年にM6以上の地震が37~38年周期で繰り返している」今後30年の間に70%の確率で発生するといわれる首都直下地震。千葉県沖で頻発する地震の影響でそのXデーに注目が集まっている。そんななか、政府が触れないデータ…
続きを読む »

【第8回-③】くびき野の文化フィールドを歩む―1990年~2023年 石塚正英(東京電機大学名誉教授)【第8回-③】くびき野の文化フィールドを歩む―1990年~2023年 石塚正英(東京電機大学名誉教授)前回はこちら→ 「8-2.オガ(大鋸)からうかがえる日韓文化交流」 8-3.高田城下大工職人町「おがまち」の今昔 なるほど漢字「大鋸」を見ると「オオガ」と読みたくなるのですが、当初は実物のノコギリと一
続きを読む »

[ゲキサカ杯]チームをけん引した「声」を評価!早稲田理工DF小西健太がMVP受賞「チームのみんなが頑張ってくれた」[3.8 ゲキサカ杯決勝 専修大0-0(PK2-4)早稲田大 駒沢第二] 前日に主将DF小柳涼(2年=桐光学園高)が話していた通りの優勝へのキーマンとなった。左SBで出場したDF小西健太(2年=日大高)は、決勝でも声を出し続けて...
続きを読む »



Render Time: 2025-02-24 15:36:18