Rebellions Inference Platform

既にお使いのフレームワークでそのまま始められます。移行も再学習も必要ありません。

既存のPyTorch、TensorFlow、Hugging Faceのモデルをそのまま利用できます。Rebellions SDKは既存のワークフローにシームレスに統合できるため、モデルコードを書き換えたり、フレームワークを切り替えたりする必要はありません。

モデルをRebellions NPU向けの命令へ変換し、性能を自動的に最適化します。

一度コンパイルするだけで、モデルをハードウェア向けに最適化されたバイナリへ変換します。フロントエンドコンパイラがモデルの抽象化と計算グラフの最適化を担い、バックエンドコンパイラがNPU向けの最終的なコマンドストリームを生成します。ほとんどのモデルはコード変更なしでコンパイルできます。

CNNから最新のLLMまで、あらゆるモデルの推論を支える、NPU向けに最適化された数学演算ライブラリです。

GEMM、LayerNorm、アテンションカーネルなど数百の低レベル演算が、Rebellions Neural Engineに合わせて事前に最適化されています。これが高速な推論を実現する中核となる技術であり、SKのリリースに合わせて新しいモデルアーキテクチャへの対応を継続的に拡充しています。

サービングフレームワークとシームレスに統合され、NPU上のメモリ管理、スケジューリング、スループットなど、モデル実行を管理します。

ランタイムはサービングレイヤー（vLLM）とハードウェアの間に位置し、データ転送、実行スケジューリング、パフォーマンスモニタリングを担います。追加の統合コードなしで、既存のサービングスタックをそのまま利用できます。

OSとオーケストレーションレイヤーをNPUに接続し、クラスタへのデプロイに対応したネイティブのKubernetes Device Pluginをサポートします。

カーネルモードドライバ（KMD）は、OSがRebellions NPUを標準的なコンピュートデバイスとして認識できるようにします。ユーザーモードドライバ（UMD）は、アプリケーション統合向けにシンプルで使いやすいAPIを提供します。クラウドネイティブなデプロイを実現するためのKubernetes Device PluginとNPU Feature Discoveryが含まれています。

チップ上で動作する最下層のソフトウェアレイヤーであり、メモリとNeural Engine全体のワークロードを制御するとともに、ハードウェアの状態をリアルタイムで監視します。

ファームウェアは、NPUのメモリ階層とNeural Engine全体のワークロードスケジューリングを担います。チップ上で動作し、SDKとともに更新されます。状態情報や電力指標は、Metrics Exporterを介してPrometheus/Grafanaなどの監視基盤へ連携されます。

単一のアクセラレータカードからラックスケールインフラまで対応する、AI推論向けに設計されたハードウェアです。

上記のすべてのレイヤーはハードウェアと一体で設計されており、モデルファイルからNPUでの実行まで、スタック全体がシームレスに動作します。RebelCardから始めて、ソフトウェアスタックを変更することなく、RebelServer、さらにRebelPODへとそのまま拡張できます。