テラバイト単位のメモリを搭載したSN40L再構成可能なデータフローユニット(RDU)は、次世代のAIワークロードであるエージェンティックAI向けに構築されました。エージェンティックAIは、複数のモデルを連携させて、個々のモデルでは実行できない複雑なタスクを、単一のユーザープロンプトから実行できるようにします。これは、GPUでは効果的に実行できない複雑なタスクです。
SN40Lは何百ものモデルをメモリ内に保持できます。パラメータ数に換算すると何兆にもなります。これは、一度に1つのモデルしか保持できないGPUと比較すると、信じられないほどのパフォーマンス向上をもたらします。
エージェンティックAIでは、多くのモデルが協調して動作し、複雑なタスクを実行します。そのため、モデルを高速に切り替える能力が求められます。SN40Lは、モデルをマイクロ秒単位で切り替えることができ、GPUよりも最大100倍高速です。
AIシステムの主な機能として、推論がモデル学習に急速に取って代わろうとしています。大容量のメモリとRDUのデータフローアーキテクチャの組み合わせにより、モデル推論において他のプロセッサよりもはるかに高速なシステムが実現します。これは、複数の世界記録が証明しています。他のプロセッサでは推論しか実行できませんが、SambaNova RDUは単一システムでモデル学習と推論の両方を実行できます。SambaNova RDUを使用すれば、推論を実行するのと同じプラットフォーム上でモデルの学習とファインチューニングを行うことができ、GPUと同等の、またはそれ以上の学習パフォーマンスを実現できます。
AI向けに設計されたSambaNova RDUは、画期的なデータフローアーキテクチャで構築されています。この設計により、GPUの機能の限界であるメモリへの冗長コールが排除されるため、RDUはGPUよりもこれらのワークロードに対して大幅に効率的になります。この組み込みの効率性は、RDUがGPUよりもはるかに高いパフォーマンスをわずかな設置面積で実現できる機能の1つです。
今日の生成AIワークロードと明日のエージェンティックAIソリューションを効率的に実行できる唯一の完全なプラットフォームで、AIインフラへの投資を保護しましょう。SambaNovaシステムはシームレスに拡張できるため、AI能力を高めるにつれて組織とともに成長できます。
SambaNovaが貴社のAIイニシアティブをどのように推進できるかを知るためのミーティングをリクエストする