JP
Samba-1 Turboが毎秒1000トークンの性能を発揮
Artificial Analysis社のベンチマークでトップに
米国カリフォルニア州パロアルト、2024年5月29日 – 最速のモデルと最先端の半導体を提供する生成AIソリューション企業であるSambaNova Systemsは本日、Artificial Analysisによる最新の大規模言語モデル（LLM）ベンチマークで圧倒的な性能を発揮したことを発表しました。毎秒1000トークン（t/s）を超えるLeaderboadのトップに立ったSamba-1 Turboは、Llama 3 8Bのパフォーマンスで新記録を樹立しました。
SambaNova Systems の共同創業者兼CEOであるロドリゴ・リアンは次のように述べています。「SambaNovaの使命は、すべての企業に低コストでカスタムAIシステムを提供することです。精度を損なわない驚異的な推論速度は、企業がパーソナライズされたLLMのメリットを享受するために開発者が必要とするもので、ワークフローを合理化し、より早く新テクノロジーを導入することができるようになります。」
出典：Artificial Analysis, https://x.com/artificialanlys/status/1795480857404448953
Artificial Analysis社の共同設立者兼CEOであるMicah Hill-Smith氏は次のように述べています。「SambaNovaのSamba-1 Turboは、Artificial Analysis社による最近のベンチマークにおいて、大規模言語モデルの推論性能の新記録を樹立しました。
Artificial Analysis社は、Meta社のLLMであるLlama 3 Instruct 8B上でSamba-1 Turboの性能について独自にベンチマークを行い、1秒間に1,084の出力トークンを記録しました。これは我々がベンチマークを実施しているプロバイダー全体の出力速度の中央値よりも8倍以上速い数値でした。Artificial Analysis社は、Samba-1 Turbo上のLlama 3 Instruct 8Bが16ビット精度と同等の品質スコアを達成することを検証しました。
新境地ともいえる言語モデルの驚異的な推論速度は、AIアプリケーション構築の新たな方法をもたらします。新たなユースケースとして、例えば、シームレスな会話を維持しながらマルチステップのアクションを取るエージェント、リアルタイムの音声体験、大量の文書解釈などが含まれます。」
何百ものチップで同じモデルを実行する競合他社とは異なり、Samba-1 Turboはわずか16個のチップでLlama 3 8Bを毎秒1000トークン（t/s）で実行し、16ソケットのSN40Lノード1台で最大1000個のLlama3チェックポイントを同時にホストできます。これは、競合他社よりもはるかに低コストで、完全な精度を維持しながらLlama 3を提供するための最速の速度です。最も近い競合他社は、メモリ容量の制限により、各モデルのシングル・インスタンスを実行するために数百のチップを必要とし、GPUは総スループット、メモリ容量とも低くなります。SambaNovaは、この記録的な速度を維持しながら、1つのノードで数百のモデルを実行することができ、競合他社よりも10倍低いTCOを提供します。
SambaNova Systems の共同創業者であり、スタンフォード大学の著名なコンピューター科学者であるクンレ・オルコトンは次のように述べています。「Samba-1 Turboのスピードは、データフローアーキテクチャの素晴らしさを表しており、SN40L半導体上のデータ移動を合理化し、レイテンシを最小化し、処理スループットを最大化しています。これはGPUよりも優れており、その結果、即座にAIへアクセスできるのです。」
今すぐSamba-1 Turboをお試しください！
SambaNova Systems について
最先端の生成AI機能を企業内に迅速に展開するために、SambaNovaに注目が集まっています。 SambaNovaのエンタープライズスケールのために構築されたAIプラットフォームは、次世代の生成AIコンピューティングのための技術的バックボーンです。
カリフォルニア州パロアルトに本社を置くSambaNova Systemsは、業界の著名人や、サン／オラクルおよびスタンフォード大学のハードウェアおよびソフトウェア設計の専門家によって、2017年に設立されました。投資家には、SoftBank Vision Fund 2、BlackRock、Intel Capital、GV、Walden International、Temasek、GIC、Redline Capital、 Atlantic Bridge Ventures、Celestaなどが含まれています。sambanova.ai をご覧いただくか、info@sambanova.ai までご連絡ください。Linkedinで SambaNova Systems をフォローしてください。
お問合せ
SambaNova Systems Japan合同会社
林 憲一
kenichi.hayashi@sambanova.ai
