Rebellions Inference Platform

이미 사용하고 계신 프레임워크로 그대로 시작하세요. 마이그레이션도, 재학습도 필요 없습니다.

기존의 PyTorch, TensorFlow, Hugging Face 모델을 그대로 활용할 수 있습니다. Rebellions SDK가 현재 워크플로우에 그대로 연동되므로, 모델 코드를 다시 작성하거나 프레임워크를 바꿀 필요가 없습니다.

Rebellions NPU가 실행할 수 있는 명령어로 모델을 변환하며, 성능 최적화가 자동으로 이루어집니다.

한 번의 컴파일 과정으로 모델을 하드웨어 최적화 바이너리로 변환합니다. 프론트엔드 컴파일러가 모델 추상화와 그래프 최적화를 담당하고, 백엔드 컴파일러가 NPU용 최종 커맨드 스트림을 생성합니다. 대부분의 모델은 코드 변경 없이 컴파일됩니다.

CNN부터 최신 LLM까지, 모든 모델 추론을 뒷받침하는 NPU 최적화 수학 연산의 포괄적인 라이브러리입니다.

GEMM, LayerNorm, 어텐션 커널 등 수백 개의 저수준 연산이 Rebellions Neural Engine에 맞춰 사전 최적화되어 있습니다. 이것이 빠른 추론을 가능하게 하는 핵심이며, SK가 릴리스될 때마다 새로운 모델 아키텍처를 지원하도록 계속 확장됩니다.

서빙 프레임워크와 자연스럽게 통합되면서, NPU상의 메모리, 스케줄링, 처리량 등 모델 실행을 관리합니다.

런타임은 서빙 레이어(vLLM)와 하드웨어 사이에 위치합니다. 데이터 이동, 실행 스케줄링, 성능 모니터링을 처리하므로, 별도의 통합 코드 없이도 서빙 스택이 그대로 작동합니다.

OS와 오케스트레이션 레이어를 NPU에 연결하며, 클러스터 배포를 위한 네이티브 Kubernetes 디바이스 플러그인을 지원합니다.

커널 모드 드라이버(KMD)는 OS가 Rebellions NPU를 표준 컴퓨트 디바이스로 인식하게 합니다. 유저 모드 드라이버(UMD)는 애플리케이션 통합을 위한 깔끔한 API를 제공합니다. 클라우드 네이티브 배포를 위한 Kubernetes Device Plugin과 NPU Feature Discovery가 포함되어 있습니다.

칩 위에서 동작하는 가장 낮은 소프트웨어 레이어로, 메모리와 Neural Engine 전반의 워크로드를 조율하고 하드웨어 상태를 실시간으로 모니터링합니다.

펌웨어는 NPU의 메모리 계층과 Neural Engine 전반의 워크로드 스케줄링을 처리합니다. 칩 위에서 동작하며 SDK와 함께 업데이트됩니다. 상태 정보와 전력 지표는 Metrics Exporter를 통해 상위 스택의 Prometheus/Grafana로 전달됩니다.

단일 가속기 카드부터 랙스케일 인프라까지, AI 추론을 위해 설계된 전용 하드웨어입니다.

위의 모든 레이어는 하드웨어와 함께 설계되어, 모델 파일부터 NPU 실행까지 전체 스택이 마찰 없이 작동합니다. 단일 RebelCard로 시작해 소프트웨어 스택 변경 없이 RebelServer, 이어서 RebelPOD까지 그대로 확장할 수 있습니다.