NPU 가속 지원 연산자 목록

FuriosaAI NPU와 SDK 에서는 Tensorflow Lite 모델과 ONNX 가 지원하는 아래 연산자들을 가속할 수 있다. 연산자 이름은 ONNX 를 기준으로 한다.

참고

NPU 가속을 지원하지 않는 경우에는 CPU에서 동작하게 된다. 또한 NPU 가속을 지원하는 일부 연산자는 특정 조건을 만족하지 않을 경우 다수의 연산자로 분할되어 동작하거나 CPU 에서 동작할 수 있다. 모델의 가중치가 NPU 메모리 보다 크거나 NPU의 메모리로 특정 연산을 처리하기에 부족한 경우가 한 가지 예이다.

NPU 가속 지원 연산자

연산자 이름	추가 설명
Add
AveragePool
BatchNormalization	Conv 다음에 있는 경우에 한하여 가속 지원
Clip
Concat	H axis 지원 (>= 0.6.0), C axis 지원 (>= 0.7.0)
Conv	group <= 128, dilation <= 12 인 경우에 대해 지원
ConvTranspose
DepthToSpace	CRD 모드 지원 (>= 0.6.0), DCR 모드 지원 (>= 0.7.0)
Exp	0.7.0 이상 부터 지원
Elu	0.7.0 이상 부터 지원
Erf	0.7.0 이상 부터 지원
Expand
Flatten
Gemm
Gelu	0.7.0 이상 부터 지원
LeakyRelu
Log
LpNormalization	p = 2 이고 batch <=2 인 경우에 한하여 지원
MatMul
MaxPool
Mean
Mul
Pad	CWH axis 지원 (>= 0.7.0)
ReduceL2
ReduceSum
Relu
Reshape
Resize	Linear, Nearest 모드 지원 (>= 0.7.0)
Pow
SpaceToDepth	CRD 모드 지원 (>= 0.6.0), DCR 모드 지원 (>= 0.7.0)
Sigmoid
Slice	H axis 지원 (>= 0.6.0), C axis 지원 (>= 0.7.0)
Softmax	batch <= 2 인 경우에 한해 지원
Softplus
Sub
Split
Sqrt
Tanh	0.7.0 이상 버전 부터 지원
Transpose	0.6.0 이상 버전 부터 지원
Unsqueeze