英レディング大学などに所属する研究者らは、大学の試験において生成AIで回答した答案がバレるかを抜き打ちで実施した現実世界のチューリングテストの研究報告を発表した。
研究チームは、英レディング大学の心理学の学士課程5科目の試験に対し、GPT-4を使用して63の回答を作成した。これらの回答は実際の学生の回答と共に提出され、平均して採点された全回答の約5％を占めた。採点者には、33人の架空の学生（その名前もGPT-4が生成）の回答を採点していることは知らされなかった。評価には短答式と長文エッセイの2種類の問題が含まれていた。全科目を通じて、AI生成の回答のうち学生自身の回答でない可能性があるとして指摘されたのはわずか6％であった。つまり、GPT-4を使用して作成された大学の試験回答の94％がAI生成だとは検出されなかった。研究チームによると、平均してAI回答は実際の学生の回答よりも高い成績を獲得した。ただし、科目によって多少のばらつきがあった。63のAI回答全体では、AI回答が学生の回答を上回る確率は83.
採点者の負担も、AI生成の回答を見抜く能力に影響を与えている可能性がある。時間的制約のある採点者が、軽々しくAIの不正使用を指摘することは難しい。この問題は、他の教育機関でも起こっている可能性が高いと推測される。 Source and Image Credits: Scarfe P, Watcham K, Clarke A, Roesch E （2024）A real-world test of artificial intelligence infiltration of a university examinations system: A “Turing Test” case study. PLOS ONE 19（6）: e0305354. https://doi.org/10.1371/journal.pone.0305354
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
AI「はっきりしませんが……」 “自信がないAI”に人はどう反応する？ 米Microsoftらが400人以上で実験：Innovative Tech（AI+）米プリンストン大学とカナダと米国のMicrosoftに所属する研究者らは、自信がない回答をする大規模言語モデル（LLM）に対して人々はどう反応するかを調査した研究報告を発表した。
続きを読む »
LLMが別のLLMを何度も改善 より良い回答を出す最適化手法をAIが発見する技術 Sakana AIなどが開発：Innovative Tech（AI+）AIベンチャーのSakana AIやFLAIR、英ケンブリッジ大学、オックスフォード大学に所属する研究者らは、人間の介入を最小限に抑えて新しい最適化アルゴリズムをAIによって発見する手法を提案した研究報告を発表した。
続きを読む »
米Appleの独自AI「Apple Intelligence」の技術詳細 基盤モデルや学習データなどを解説：Innovative Tech（AI+）（1/3 ページ）米Appleは、年次開発者会議「Worldwide Developers Conference 2024」（WWDC24）において、iOS 18、iPadOS 18、macOS Sequoiaに統合される独自AI「Apple Intelligence」を発表した。このシステムの基盤モデルについて、簡潔にまとめる。
続きを読む »
「自称オープンソース生成AI」は本当に“オープン”なのか？ 45種のAIモデルをオランダの研究者らが調査：Innovative Tech（AI+）オランダのRadboud University Nijmegenに所属する研究者らは、オープンソースと主張する生成AIを対象に、どの程度オープンなのかを調査した研究報告を発表した。
続きを読む »
ChatGPT vs. Wikipedia──生成AIの登場でウィキペディアはどう変わったか？ 英国の研究者らが調査：Innovative Tech（AI+）英キングス・カレッジ・ロンドンに所属する研究者らは、2022年11月にChatGPTが一般公開されたことを受け、Wikipediaの利用状況にどのような変化が生じたのかを調査した研究報告を発表した。
続きを読む »
「なぜ時間は過去→未来にしか進まない？」を“量子もつれ”で説明か 未解決問題「時間の矢」に切り込む：Innovative Tech英サリー大学と米カリフォルニア大学サンディエゴ校に所属する研究者らは、時間が過去から未来へ一方向にしか流れない理由を探究した研究報告を発表した。
続きを読む »