AI のシステム導入により消費電力量が急増している。2030 年末にはアメリカ消費電力量の 16% を占める可能性がある。メモリー容量の増加とインターコネクト能力不足も問題となっている。
この結果として市場に急速にAI向けのシステムが導入されるようになったことで消費電力量が急増しているわけですが、現在の伸びからの推定で言うと、2030年末にはアメリカの消費電力量の16%を占める、という衝撃的な推定がなされている。興味深いのは、現状はほとんどがAIのトレーニング向けで占められている 電力消費 が、今後は次第に推論もバカにならなくなると見られていることだ。LLM（大規模言語モデル）の推論は結構な消費電力を必要とするのは事実である。 もう1つ問題になっているのが メモリー の問題である。 メモリー 容量は2年で2倍という、これはこれで猛烈なペースでの増加になっているが、特にLLMの方は2年で410倍という、尋常ではない勢いでネットワークが拡大しており、この結果 メモリー 容量と メモリー 帯域の両方が足りない現象が起きている。 メモリー 容量「だけ」の問題なら、それこそSCM(Storage Class
Memory)を利用すればなんとでもなるのだが、当然こうしたメモリーは演算速度に全然追いつけないほどに遅いので、結局メモリーアクセス待ちになってしまう。メモリー容量と帯域の両方を向上させないといけない このメモリーに絡んでもう1つあるのがインターコネクトの能力不足である。単にチップレットだけでなく、昨今はモジュールを複数接続してキャビネットに収め、そのキャビネットを集積したラック同士をさらに接続というようにスケールアウトの方向にどんどん展開しつつある。 Single Ended、つまり1本の信号線で済ますのが一番エネルギー効率が良いのだが、当然制約がいろいろあるし、なにより到達距離が非常に短いものになる(チップレット間の通信ですら怪しい)。Single Endedは現状、3D積層の接続くらいにしか使えないことになりそうだ また、オンダイで集積できるメモリーの量に限界がある以上、ダイの外にメモリーを集積する形になるため、このメモリーとの接続もまた問題である。余談だが上のグラフ、縦軸が単位距離・単位消費電力当たりの転送速度という複雑なものになっているのがおもしろい。 で少し触れたが、UCIeはStandard Packageで1mm幅に56対、Advanced Packageで330対の信号を通せる。配線密度が上がれば信号速度を落としても帯域は確保しやすいわけで、このあたりもバーターになっている。結果、縦軸がGbps/mmをpJ/bitで割る、という形になっている。 ちなみにスライドの一番下にあるように、データの移動をどうやって減らすかがキーであり、これを突き進めるとIn-Memory Computingになるわけですが、現状では汎用性がないので、なにかしら汎用プロセッサーと組み合わせないと処理が難しい。 さらに、In-Memory Computingといっても1つのダイに収められるComputation Unitとメモリーの量には限界があるから、スケールアウトを考えると結局なんらかのインターコネクトが必要になるので、結果としてIn-Memory Computingだけで解決するわけではない、というあたりが難しいところである。
AI 電力消費 メモリー インターコネクト In-Memory Computing
日本 最新ニュース, 日本 見出し
Similar News:他のニュース ソースから収集した、これに似たニュース記事を読むこともできます。
MSI、ポータブルゲーミングPC「Claw8 AI+」と「Claw7 AI+」を発表MSIは12月3日、インテルの新CPU「Core Ultra 7 258V」を搭載したポータブルゲーミングPC「Claw8 AI+」と「Claw7 AI+」をグローバル向けに発表。バッテリー強化やCopilot+PC対応など、最新機能を搭載。
続きを読む »
MSI、新Core Ultra シリーズ2搭載のポータブルゲーミングPC「Claw8 AI+」「Claw7 AI+」を発表MSIは12月3日、新Core Ultra シリーズ2を搭載したポータブルゲーミングPC「Claw8 AI+」「Claw7 AI+」をグローバル向けに発表しました。この新モデルはIFA2024で予告されていたもので、8インチと7インチの2モデルが存在し、バッテリー容量が強化されています。
続きを読む »
Superb AI、2024年度AWS「ライジングスター・パートナー・オブ・ザ・イヤー」を受賞Superb AI、2024年度AWS「ライジングスター・パートナー・オブ・ザ・イヤー」を受賞 Superb AI, Incのプレスリリース
続きを読む »
“AIを騙す”協力プレイ型お絵かきクイズ『outdraw.AI』Steam向けに発表。画像認識AIにバレないように、お題の絵をみんなに当ててもらうゲーム開発者の木原共氏および Playfoolは12月9日、『outdraw.AI』をSteamにてリリースすると発表した。『outdraw.AI』は、高性能画像認識AIに正解されないようにお題の絵を描く協力型のお絵かきクイズゲームだ。
続きを読む »
AI inside、ＭＳプラスワン少額短期保険株式会社における「返品送料保険」の査定業務自動化を支援、保険金請求から着金までを約5分間に迅速化AI inside、ＭＳプラスワン少額短期保険株式会社における「返品送料保険」の査定業務自動化を支援、保険金請求から着金までを約5分間に迅速化 AI inside 株式会社のプレスリリース
続きを読む »
日本最大規模のオープンイノベーション拠点「STATION Ai」に最新ソリューションの体験型施設「EBC STATION Ai」を開設日本最大規模のオープンイノベーション拠点「STATION Ai」に最新ソリューションの体験型施設「EBC STATION Ai」を開設
続きを読む »