データ分析ツールなどを提供する企業のDatabricksが、2024年3月27日にオープンな汎用大規模言語モデル(LLM)である「DBRX」を発表しました。オープンライセンスでの配布となっており、月間アクティブユーザーが7億人以下の企業は無料で商用利用が可能となっています。
DBRXはトランスフォーマーのデコーダーを使用するLLMで、「mixture-of-experts」アーキテクチャが採用されています。パラメータの合計数は1320億となっていますが、全ての入力に反応するのは360億パラメータのみで、残りのパラメータは「専門家」として必要に応じてアクティベートされます。MoEアーキテクチャを採用することで、サイズを抑えて高効率の学習や推論を可能にしつつ性能を高めたとのこと。
同じくMoEアーキテクチャを採用したMixtralやGrok-1が8人の専門家を搭載し、入力ごとに2人をアクティベートするのに対し、DBRXは16人の専門家を搭載して入力ごとに4人をアクティベートします。専門家の組み合わせ数が65倍になったことでモデルの品質が向上したと述べられています。 また、DBRXは最大コンテクスト長3万2000トークンの合計12兆トークンのデータでトレーニングされました。「専門家」が混在するMoEモデルをトレーニングするのは難しかったものの、効率的な方法で繰り返しトレーニングできる堅牢なパイプラインを開発し、誰でもDBRXレベルのMoE基礎モデルをゼロからトレーニングできるようにしたと述べられています。
下図は「言語理解」「プログラミング」「数学」のベンチマーク結果で、DBRXはLLaMa2-70BやMixtral、Grok-1などのモデルよりも良い結果を出していることが分かります。また、専門家を搭載することで汎用性能を確保しながらプログラミングなど特化が必要な領域における性能も確保できています。 また、「GPT-3.5」「GPT-4」「Claude 3シリーズ」「Gemini 1.0 Pro」「Gemini 1.5 Pro」「Mistral」といったクローズドソースのLLMとの比較結果は下図の通り。ざっくり見るとDBRX InstructはGemini 1.0 ProやMistral Mediumなどと同等のレベルに見えます。
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
GPT-3.5�Ő��������Θb��ȃf�W�^���ȃ}�������E�������[�ASXSW�Ńf�r���[60�N�ȏ�O�ɖS���Ȃ����l�C���D�A�}�������E�������[�̃��A���ȃf�W�^���ł�SXSW�Ńf�r���[�����B�Θb�҂̕���ɉ������Ή�����A��b����L����B
続きを読む »
東大ベンチャーELYZA、GPT-3.5 Turboレベルの日本語LLM発表東大松尾研究室発のAIベンチャー「ELYZA」は3月13日、700億パラメーターの最新日本語大規模言語モデル（LLM）「ELYZA-japanese-Llama-2-70b」を発表した。
続きを読む »
GPT-4の半分以下の計算でほぼ同等なIQを持つパーソナルAI「Pi」と基盤モデル「Inflection-2.5」が登場AI企業・Inflectionが開発している生成AI「Pi」は、ユーザーひとりひとりに最適化された「パーソナルAI」です。そんなPiの能力を飛躍的に向上させた基盤モデルである「Inflection-2.5」をInflectionが発表しました。
続きを読む »
マイクロソフト、「Copilot」無料版にも「GPT-4 Turbo」を搭載マイクロソフトは、「Copilot」の無料版に搭載していた大規模言語モデル（LLM）「GPT-4」を「GPT-4 Turbo」に置き換えたと発表した。
続きを読む »
「Copilot GPT Builder」登場！ 知識や機能をカスタマイズして“自分専用Copilot GPT”を作る個人向けの有料プランとなる「Copilot Pro」で、オリジナルのCopilot GPT（CopilotによるAIチャット）を作成できる「Copilot GPT Builder」の提供が開始された。
続きを読む »