SambaRack

クラウド規模のトークン生成

SambaRack SN50は、前世代と比較してアクセラレータあたり5倍の計算性能と、4倍のネットワーク帯域幅を実現します。
毎秒数テラバイト級のインターコネクトを介して最大256基のアクセラレータまでスケールできるため、初回トークン生成までの時間（Time-to-First-Token）を短縮し、より大きなバッチサイズにも対応できます。
その結果、組織はより高いスループットと優れた応答性を備えたモデルを展開できます。これらの推論クラスターは、SambaStackフルスタックソリューションによって管理されます。

詳細はこちら -->

大規模モデルで高速推論

SambaRackは、高スループットを維持しながら低レイテンシを実現し、優れたトークノミクス（トークンあたりのコスト効率）を提供します。モデル実行に数十ラックを必要とするSRAMベースのシステムとは異なり、SambaRack SN50は単一ラックで最大10兆パラメータのモデルを実行でき、コンテキスト長も最大10兆トークンまで対応可能です。この圧倒的な性能優位性により、SambaRackは複雑なエージェント型AIワークロードやコーディングワークロードに最適な選択肢となります。

Learn more -->