GPT-4やClaude 3のような大規模言語モデルは人間が書いたように自然な文章を生成できますが、時として事実に基づかない情報を生成する「ハルシネーション(幻覚)」という現象を起こします。セキュリティ企業・Lasso Securityの研究者であるバー・ラニャド氏が、ハルシネーションによって存在しないパッケージを組み込んだソースコードが生成され、実際に使われていると指摘しています。
には、「huggingface-cli」をインストールするpipコマンドが含まれています。このhuggingface-cliは「pip install -U"huggingface_hub"」というコードで正規にインストールできますが、GraphTranslatorのリポジトリでは、2024年2月まで「pip install huggingface-cli」というコマンドでインストールが推奨されていました。このPython Package...
このことから、ラニャド氏は、悪意のある攻撃者がAIのハルシネーションによって作り出された架空のパッケージにマルウェアを含むようなコードを用意する可能性を指摘しています。ラニャド氏によれば、実際にハルシネーションによる架空のパッケージを応用した攻撃事例は確認されていないそうですが、この攻撃方法は痕跡が残りにくく発見が難しいとのことです。また、ラニャド氏は「オープンソースソフトウェアの使用には慎重なアプローチを行ってください。知らないパッケージに遭遇した場合は、そのパッケージのリポジトリにアクセスし、コミュニティの規模やメンテナンス記録、既知の脆弱性などを評価してください。また、リリース日をチェックして不審な点がないかを注意してください」と述べ、パッケージを運用環境に統合する前に包括的なセキュリティスキャンを実行するように警告しています。
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
マイクロソフト、「Copilot」無料版にも「GPT-4 Turbo」を搭載マイクロソフトは、「Copilot」の無料版に搭載していた大規模言語モデル（LLM）「GPT-4」を「GPT-4 Turbo」に置き換えたと発表した。
続きを読む »
生成AIスタートアップ投資、幻覚解消技術に注目 米VC世界中で生成AI（人工知能）スタートアップへの投資が活発になっているが、その中で今後有望なのはどんな分野なのだろうか。ここ2年、生成AI企業に投資してきた有力ベンチャーキャピタル（VC）の米インデックス・ベンチャーズが今注力しているのが、精度の向上だ。一見確からしい誤情報を出す「ハルシネーション（幻覚）」や回答の偏りを減らす技術に積極投資している。インデックス・ベンチャーズはリード投資家として生
続きを読む »
�}�C�N����t�g�́g�Г�GPT��Ձh��GPT-4 Turbo�ȂǂɑΉ���Microsoft���A��K�͌��ꃂ�f���uGPT-4�v�Ȃǂ�API��N���E�h�T�[�r�X�uMicrosoft Azure�v�o�R�Ŏg����uAzure OpenAI Service�v�̐V��������B��OpenAI�������������́uGPT-4 Turbo�v��uGPT-3.
続きを読む »
「ChatGPT」、情報の最終収集日を延長--より新しい情報で回答可能にOpenAIは、「GPT-3.5」と「GPT-4.0」に改良を加えたことを明らかにした。
続きを読む »
大規模言語モデルが「幻覚」を引き起こすリスクを客観的に検証できるオープンソースの評価モデルをVectaraがリリースAIが入力された内容に対して、いかにもそれっぽいように見えるいい加減な内容を出力してしまう現象を「幻覚」と呼びます。AI企業のVectaraが、オープンソースの幻覚評価モデル(HEM)を発表しました。
続きを読む »