Products
Developers
About

SambaNova DataScale

モデル学習、ファインチューニング、推論のための最速ハードウェアプラットフォーム

SambaNova DataScaleは、最も要求の厳しいAIワークロードの学習、ファインチューニング、展開を可能にし、最大かつ最も困難なモデルで世界記録の推論性能を達成する、唯一の完全統合型ハードウェア・ソフトウェアシステムです。

SambaChip_SN40L_Composite_R1_600x300

 

SambaNova SN40Lは、SambaNovaの再構成可能なデータフローユニット(RDU)であるSN40Lを搭載しており、すべてのモデルサイズでこれまでにないパフォーマンスを実現します。これにより、政府機関、研究機関、企業は、GPUよりも設置面積が小さく、より正確で、より大規模なモデルを迅速に展開することができます。

最速の推論プラットフォーム

最新の大小さまざまなモデルに対し、世界記録のパフォーマンスと精度を実現しています。

拡張性を考慮した設計

テラバイト単位のメモリにより、すべてのモデルを実行し、マイクロ秒単位で切り替えることができます。

最高精度の実現

プライベートデータを使用して、迅速かつ簡単に、そして安全にモデルをファインチューニングし、最高の精度を実現します。


DataScaleシステムは、SambaNovaのユニークな再構成可能なデータフローユニット(RDU)であるSN40Lを活用し、小さな設置面積で卓越したパフォーマンスを実現します。SN40Lは、その革新的なデータフローアーキテクチャと大規模なメモリにより、この極めて高いパフォーマンスを実現しています。

RDU_Dataflow_Architecture_486x230

データフローアーキテクチャ

SN40LはAI専用に設計されています。レガシーテクノロジーの限界を打ち破り、SN40LはデータフローアーキテクチャとAIアルゴリズムをプロセッサにマッピングし、プロセッサを動的に再構成して最適なパフォーマンスを実現する革新的なソフトウェアスタックを採用しています。これにより、GPUアーキテクチャに内在する冗長性が排除され、ハードウェアフットプリントを大幅に削減しながら、飛躍的なパフォーマンスの向上を実現します。 

3階層メモリアーキテクチャ

最大規模のAIモデルを稼働させるために特別に設計されたSN40Lは、大容量メモリ、高帯域メモリ、超高速メモリからなる3階層メモリアーキテクチャを採用しています。その結果、単一のシステムノードで最大数百の個別のモデルで構成される最大5兆のパラメータをサポートできます。テラバイト単位のメモリを搭載したSN40Lは、カスタムモデルやモデルチェーンに最適であり、モデル間の切り替えをマイクロ秒単位で行うことができます。これは、従来のGPUよりも桁違いに高速です。

DataFlow_stack-584x424


業界最先端のソフトウェアスタック

SambaNova DataScaleは、PyTorchのような標準的な機械学習フレームワークから入力を受け取るように設計された完全なソフトウェアスタックを備えています。 低レベルのチューニングを必要とせずに、モデルをコンパイル、最適化、実行できます。

推論のための最速のシステム

DataScale SN40L は、今日、そして明日の推論ワークロードを強化するパフォーマンス、柔軟性、拡張性、効率性を実現します。Llama 3 8B、70B、405Bモデルにおいて、世界記録の性能と精度を実現しています。405Bモデルで高い性能を発揮できるのはこのシステムだけです。他のシステムではこれほど大規模なモデルを処理できないか、GPUと比べると、SN40Lは5倍高速です。

ファインチューニングに最適な最も柔軟なシステム

世界でも最も要求の厳しい顧客環境で実証されたDataScale SN40Lは、モデルの学習に優れたパフォーマンスを発揮し、低レベルのモデルチューニングの必要性を排除します。ユーザーは、カスタムモデルやLlama 3のチェックポイントを各自で持ち込み、プライベートデータで安全にファインチューニングすることができます。


 

DataScale SN30

最も要求の厳しいAIおよびディープラーニングのワークロード向けに特別に設計されたDataScale SN30は、データフローアーキテクチャを搭載した完全に統合されたハードウェア・ソフトウェアシステムであり、企業が最も要求の厳しい基盤モデルや科学のためのAIの学習と展開を行い、最大かつ最も複雑なモデルで世界記録的なパフォーマンスを達成することを可能にします。