イーロン・マスク氏、メンフィスでNVIDIA H100 GPUを使用したGROK 3トレーニングを発表

イーロン・マスク氏は、NVIDIA の現行世代 H100 GPU を搭載したメンフィスのスーパーコンピューター施設で GROK 3 トレーニングを開始すると正式に発表しました。 マスク氏が「世界で最も強力な AI トレーニング クラスター」と呼ぶこの施設は、単一の RDMA ファブリック上の 100,000 個の水冷 H100 GPU を利用して月曜日に稼働を開始しました。

トレーニングはメンフィスで現地時間午前4時20分に予定されていた。 その後のツイートでマスク氏は、世界の「最先端のAI」が今年12月までに開発される可能性があると述べた。 マスク氏はまた、Xでの成果についてツイートし、xAI、X、NVIDIAのチームの素晴らしい仕事を称賛した。  

xAI、戦略を転換し、Oracleサーバーとの契約をキャンセル

この発表は、xAIとOracleの間の100億ドルのサーバー契約が最近キャンセルされたことを受けて行われた。 マスク氏は、当初2025年秋までに稼働すると予想されていたコンピューティングのxAIギガファクトリーが予定より前倒しで稼働を開始したことを示唆した。

xAIは以前、自社のAIチップをオラクルから委託していたが、独自の高度なスーパーコンピューターを開発するために委託を中止することを決めた。 このプロジェクトは現在、1 台あたり約 30,000 ドルの最先端の H100 GPU の可能性を活用することを計画しています。 GROK 2 では 20,000 個の GPU が使用され、GROK 3 ではより洗練された AI チャットボットを構築するために 5 倍の GPU が必要でした。  

こちらもお読みください: イーロン・マスク氏、テスラへの50億ドルのxAI投資について世論を求める

特に NVIDIA は、Hopper アーキテクチャに基づく H200 GPU の次期リリースを最近発表したばかりであるため、これは非常に驚くべきことです。 H200 または今後登場する Blackwell ベースの B100 および B200 GPU を待つのではなく、H100 GPU でトレーニングを開始するという決定。 第 2 四半期に量産開始された H200 GPU は、大幅なパフォーマンス向上を約束していますが、xAI の当面の焦点は、既存の H100 インフラストラクチャを活用して野心的な目標を達成することにあります。

アナリストがメンフィス・スーパークラスターの電源について質問

AIと半導体の専門家であるディラン・パテル氏は当初、メンフィス・スーパークラスターの実行に伴う電力の問題について 懸念を表明した 同氏は、現在の 7 メガワットのグリッド供給では約 4,000 個の GPU しか維持できないと指摘しました。 テネシーバレー庁（TVA）は、8月1日までに署名される予定の契約として、この施設に50MWを供給する予定である。 ただし、電力需要をすべて満たすために必要な変電所は、2024 年後半に完成する予定です。

衛星画像を分析した際、パテル氏はマスク氏がそれぞれ2.5メガワットを発電できる14台のVoltaGrid移動式発電機を使用していることに注目した。 これらの発電機は合計 35 メガワットの電力を生成します。 グリッドからの 8MW に加えて、合計 43MW となり、ある程度の電力制限があれば、約 32,000 個の H100 GPU に電力を供給するのに十分です。