算子支持

阅读说明

• 文中“支持”表示满足本文约束时，发布包支持对应算子。

• 文中“受限”表示仅支持列出的属性、形状或数据类型组合，未列出的组合不属于本文公开支持范围。

• 文中“不支持”表示当前发布包不提供该算子的公开支持路径。

• 图像特征张量的形状按 [N,H,W,C] 表示，分别对应批次、高度、宽度和通道；4D 特征张量的 axis 索引约定为 0 表示批次、1 表示高度、2 表示宽度、3 表示通道。该记号仅用于说明维度关系，不要求客户指定底层存储方式。

• 未特殊说明时，输入、输出形状以及 axis、kernel、stride、padding、groups 等算子属性必须在模型转换阶段确定。

• 量化算子的输入、输出量化参数必须与模型实际量化参数一致。

• 表中数据类型以客户模型图可直接依赖的公开组合为准；转换工具自动生成的数据类型转换、跨位宽中间组合或部 署辅助算子，以转换工具实际转换结果为准，不建议客户在模型图中手写依赖。

• 未列出的属性组合、广播方式或数据类型组合不属于本发布包的公开支持范围。

• 本表只列客户模型图中需要关注的算子。由转换工具自动插入的数据转换、权重处理和部署辅助步骤不单独列出， 客户模型图中不应手写这类中间步骤。

算子支持列表

算子限制说明

• 广播方式和通道常量形状必须在模型转换阶段确定。

• 当前版本支持 8 bit 和 16 bit 量化输入和输出。空间广播加法：

• 必须有两个输入和一个输出。

• 主输入形状为 [N,H,W,C]，被广播输入形状必须为 [N,H,W,1]。

• 输出形状必须为 [N,H,W,C]。

• 两个输入的 N、H、W 必须完全一致。

• 仅支持把通道数为 1 的输入沿通道维广播到 C；不支持沿批次、高度或宽度维广播。

• 部分量化配置要求宽度 W 为偶数。

• 该广播形式不支持融合激活。

• 广播方式和被广播输入形状必须在模型转换阶段确定。

• 当前版本支持 8 bit 和 16 bit 量化输入和输出。

• Add 不支持单独沿宽度维广播；如模型中存在该模式，应在转换前改写为本文列出的广播形式。

AveragePool

• 输入和输出必须为 4D 特征张量。

• 卷积核高度和宽度必须为正数。

• 步长高度和宽度必须为正数。

• 当卷积核高度和宽度均不大于 7 时，明确覆盖的步长组合为：

• 高度步长和宽度步长均为 1、2 或 4；

• 或宽度步长为 3、高度步长为 1、2 或 3。

• 其他正数卷积核与步长组合以转换工具转换结果为准，未通过校验的配置不能被部署；不建议客户模型依赖超出上述明确覆盖范围的组合。

• 使用 padding 时，padding 方式必须与模型导出的边界处理方式一致。

• 输出形状必须按标准平均池化公式计算。

• 支持 4、8、12、16 bit 量化数据。

ChannelShuffle

• 输入和输出必须为 4D 特征张量。

• groups > 0。

• 输入通道数必须能被 groups 整除。

• 输出形状必须与输入形状完全一致。

• 输入、输出位宽必须一致。

• 支持 8 bit 和 16 bit 量化输入和输出。

Concat

• 输入数量必须至少为 1，输出数量为 1。

• 拼接轴必须在输入维度范围内，支持负数轴表示法。

• 4D 特征张量仅支持沿高度、宽度或通道维拼接；不支持沿批次维拼接。

• 拼接轴和输入数量必须在模型转换阶段确定。

• 除拼接轴外，所有输入维度必须完全一致。

• 输出拼接轴的长度等于所有输入在该轴长度之和。

• 支持 8 bit 和 16 bit 量化输入和输出。

• 量化 Concat 的每个输入都必须提供与自身数据匹配的量化参数。

Conv2D

Conv2D 分为普通卷积、组卷积和深度卷积。

通用限制：

• 输入和输出必须为 4D 特征张量。

• 不支持将卷积配置为全连接层。

• 卷积核尺寸、步长、膨胀率、padding 和 groups 必须在模型转换阶段确定，并与输出形状计算结果一致。

• padding 只支持非负整数配置；不支持 Reflect、Symmetric 等非卷积 padding 模式。

• 输出空间尺寸必须满足 out_h = floor((in_h + pad_top + pad_bottom - effective_kernel_h) /stride_h) + 1，out_w 同理；其中 effective_kernel = (kernel - 1) * dilation + 1。

• 卷积核高度和宽度均必须为正数；不同卷积类型对卷积核尺寸的公开支持范围见下方。

• 普通卷积和组卷积的量化权重支持 4、8、16 和 20 bit；深度卷积的量化权重仅支持 8 bit。

• 输入、输出数据类型组合必须与当前发布包的量化模型配置一致；输入和输出位宽支持 4、8、12、16 bit。普通卷积：

• groups = 1。

• 普通小核卷积的卷积核高度和宽度均在 1～7 范围内，公开支持 stride_h、stride_w 为 1、2 或 4的常见组合；非对称 stride、stride 为 3 或其他特殊组合以转换工具选择结果为准。

• 普通大核卷积支持卷积核高度或宽度大于 7 的配置，但仅支持 dilation = 1，步长仅支持 1 或 2。

• 支持 dilation = 1，也支持部分 dilation > 1 的普通卷积配置。

• 使用 dilation > 1 时，必须仍满足卷积核不大于 7×7、groups 为 1、步长为 1 或 2，padding和输出形状按有效卷积核计算；不支持把该模式与组卷积、深度卷积或大核卷积组合。

• 输入通道数和输出通道数按普通卷积计算，不需要分组整除条件。组卷积：

• groups > 1。

• 输入通道数必须能被 groups 整除。

• 输出通道数必须能被 groups 整除。

• 每组输出通道数必须为 8 的倍数。

• groups 必须小于输出通道数；当 groups 同时等于输入通道数和输出通道数时，按深度卷积处理。

• 公开支持的组卷积卷积核高度和宽度均在 1～7 范围内。

• 步长支持 1、2 或 4。

• 膨胀率仅支持 1。深度卷积：

• groups 必须同时等于输入通道数和输出通道数。

• 通道倍率只支持 1。

• 权重量化位宽仅支持 8 bit。

• 卷积核高度和宽度必须为正数，且不大于 7。

• 步长仅支持 1、2 或 4。

• 不支持膨胀卷积。

DepthToSpace

• 输入和输出必须为 4D 特征张量。

• block_size > 1。

• 输入通道数必须能被 block_size * block_size 整除。

• 输出形状为：

• N 不变；

• H 乘以 block_size；

• W 乘以 block_size；

• C 除以 block_size * block_size。

• 支持 DCR 和 CRD 两种模式。

• 支持 8 bit 和 16 bit 量化输入和输出，输入和输出位宽必须一致。

Dequantize

• 输入必须为量化数据，输出为 FP32。

• 输入位宽支持 8 bit、12 bit 和 16 bit。

• 输出形状必须与输入形状一致。

• 必须提供与输入数据匹配的 scale 和 zero point。

• 只改变数据类型，不改变元素排列和形状。

Embedding

• 输入为整数索引，索引类型为 INT32。

• 每个索引必须在 embedding 表的有效行范围内。

• 输出最后一维等于 embedding 表的向量长度。

• 向量长度必须大于 0。

• 输出支持 8 bit 和 16 bit 量化数据。

Erf

• 必须只有一个输入和一个输出。

• 输入和输出必须为 FP32。

• 输入和输出形状必须一致。

• 不支持量化 Erf。

Gather

• 只支持沿一个轴进行索引。

• 输入维度数支持 1～6。

• 索引数量为 1～64。

• axis 和索引列表必须在模型转换阶段确定，不支持运行时动态索引。

• 每个索引必须落在被索引维度的有效范围内。

• 输出维度数与输入相同，只有被索引轴的长度变为索引数量。

• 当前版本支持 8 bit 输入和输出。

GenerateBox

• 支持 YOLOv3、YOLOv5 和 YOLOv8。

• 类别数、候选框数量和最大输出框数量都必须大于 0。

• 置信度阈值和 NMS 阈值必须在 [0,1] 范围内。

• 开启 NMS 时，NMS 类型必须与模型后处理配置一致。

• anchor 数量和 stride 数量必须与检测头数量一致。

• YOLOv8 的 reg_max 必须与模型导出配置一致。

• 输入支持 FP32 或量化 16 bit。

• 后处理类型、阈值、anchor、stride 和 reg_max 必须在模型转换阶段确定。

GlobalAveragePool

• 输入和输出必须为 4D 特征张量。

• 输出高度和宽度必须均为 1。

• 只能对整个空间区域做全局平均，不能输出大于 1×1 的空间尺寸。

• 支持 4、8、12、16 bit 量化数据。

GRU

• 支持 8 bit 量化 GRU。

• linear_before_reset 必须为开启状态。

• 隐藏单元数必须为 16 的倍数。

• 输入特征数必须为 16 的倍数。

• 权重位宽必须为不大于 8 的偶数。

• 支持 Forward、Reverse 和 Bidirectional。

• 使用初始状态时，初始状态的形状必须与方向数和隐藏单元数匹配。

• 序列长度、方向数和隐藏单元数必须在模型转换阶段确定。

LeakyReLU

• 必须只有一个输入和一个输出。

• 输入和输出形状必须完全一致。

• 负半轴斜率必须作为固定模型参数提供。

• 当前版本支持 8 bit 量化输入和输出。

MatMul

• 支持特征张量与权重常量相乘、两个特征张量相乘两种方式。

• 不支持输入矩阵转置，transpose_a 和 transpose_b 必须关闭。

• 不支持运行时动态改变矩阵维度或转置属性。

• 支持 4 bit、8 bit、12 bit 和 16 bit 量化输入和输出。

• 输入 A 的维度数为 2～4，输入 B 的维度数为 2～5，输出维度数为 2～4。

• 矩阵维度必须满足：

• A：[..., M, K]；

• B：[..., K, N]；

• 输出：[..., M, N]。

• A、B 和输出的前置维度必须完全一致；不支持前置维广播。

• A 的 K 必须等于 B 的 K 维；B 的最后一维必须等于输出最后一维。

• 4 bit 输入配置要求 B 的最后一维为偶数，输出的 N 为 16 的倍数。

MaxPool

• 输入和输出必须为 4D 特征张量。

• 池化类型必须为 MaxPool。

• 高度和宽度方向的卷积核、步长都必须为正数。

• kernel、stride、padding 和 ceil_mode 必须在模型转换阶段确定。

• 输出形状必须按标准最大池化公式，由输入形状、padding、卷积核、步长和 ceil_mode 计算。

• 具体卷积核与步长组合以转换工具对模型实际配置的校验结果为准，未通过校验的组合不属于公开支持范围。

• 支持 4、8、16 bit 量化数据，输入和输出位宽需匹配。

Mul

支持逐元素、通道广播、空间广播和标量四种方式。

• 逐元素方式要求两个输入形状完全一致。

• 通道广播方式只允许在通道维展开，其他维度必须为 1 或与主输入相同。

• 空间广播方式只允许在高度、宽度维展开，未广播维度必须为 1 或与主输入相同。

• 宽度广播方式只允许被广播输入的宽度维为 1，并沿主输入宽度方向展开。

• 标量方式中，标量必须在模型转换时确定。

• 输出形状必须与主输入形状一致。

• 输入和输出位宽必须匹配对应量化方式。

• 当前版本支持 8 bit、12 bit、14 bit 和 16 bit 量化输入和输出。

• 不支持将广播扩展到批次维。

• 广播类型和被广播输入形状必须在模型转换阶段确定。

Normalize

• 输入和输出形状必须完全一致。

• 归一化轴必须在输入维度范围内，支持负数轴表示法。

• 支持按通道、按空间维度或逐元素广播；广播参数的形状必须与所选方式一致。

• 支持 Normalize、LpNormalize 和 LayerNormalize 对应的固定模式；模式必须在模型转换阶段确定。

• 方差 epsilon 必须大于 0。

• 支持 8 bit 和 16 bit 量化输入和输出。

• 量化输入必须同时提供输入 scale、输入 zero point 和输出 scale。

• 不支持运行时动态改变归一化轴或广播方式。

Pad

• 输入和输出必须为 4D 特征张量。

• 只支持 Constant 模式，不支持 Reflect、Edge 等模式。

• padding 参数必须在模型转换阶段确定，各维度的 padding 大小必须为非负数。

• 填充值必须能由输出数据类型表示。

• 输出尺寸必须等于输入尺寸加上前后两侧 padding 之和。

• 当前版本支持 4 bit、8 bit 和 16 bit 量化输入和输出，输入和输出位宽必须一致。

• 通道方向 padding 在部分量化配置下必须按 8 对齐。

• 转换工具自动生成的跨位宽 Pad 不作为客户手写模型的公开支持项。

Pow

• 标准配置为 FP32 输入和 FP32 输出。

• 输出形状必须与输入形状一致。

• 标量指数必须在模型转换时固定。

• 按通道设置指数时，指数张量的通道数必须等于输入通道数。

• 量化 Pow 使用转换工具生成的固定查表参数，不支持运行时动态指数。

ReduceMax

• 只支持 axes = [3]，即按通道维求最大值。

• axes 必须在模型转换阶段确定。

• 输入通道数必须为 16 的倍数。

• 输出形状为 [N,H,W,1]。

• 当前公开配置为 8 bit 输入到 8 bit 输出。

ReduceMean

• 输入必须为 4D 特征张量。

• axes 必须在模型转换阶段确定，负数轴需等价转换到 [0,3] 范围内。

• 支持以下轴组合：

• axes = [2]：按宽度归约，输出形状为 [N,H,1,C]；

• axes = [1,2]：按高度和宽度归约，输出形状为 [N,1,1,C]；

• axes = [1,2,3]：按高度、宽度和通道归约，输出形状为 [N,1,1,1]；

• axes = [3]：按通道归约，输出形状为 [N,H,W,1]。

• keep_dims 必须与输出形状一致；支持配置为保留被归约维度。

• 不支持运行时动态改变 axes 或 keep_dims。

• 支持 8 bit、12 bit、14 bit 和 16 bit 量化输入和输出。

• 当 8 bit 输入直接输出 8 bit，按通道归约时输入通道数必须为 16 的倍数。

ReduceMin/ReduceProd

• 当前发布包不提供 ReduceMin 和 ReduceProd 的公开支持路径。

• 若模型中包含 ReduceMin 或 ReduceProd，必须在模型转换前替换、折叠，或联系技术支持评估替代方案。

ReduceSum

• 输入必须为 4D 特征张量。

• axes 必须在模型转换阶段确定，负数轴需等价转换到 [0,3] 范围内。

• 支持以下轴组合：

• axes = [3]：按通道归约，输出形状为 [N,H,W,1]；

• axes = [2]：按宽度归约，输出形状为 [N,H,1,C]；

• axes = [1,2]：按高度和宽度归约，输出形状为 [N,1,1,C]；

• axes = [1,2,3]：按高度、宽度和通道归约，输出形状为 [N,1,1,1]；

• axes = [0,1,2,3]：全维归约，输出形状为 [1,1,1,1]。

• keep_dims 必须与输出形状一致；支持配置为保留被归约维度。

• 不支持运行时动态改变 axes 或 keep_dims。

• 支持 8 bit、12 bit、14 bit 和 16 bit 量化输入和输出。

• 必须提供完整的量化 scale 和 zero point。

• 除上述方式外，其他轴组合不属于本文公开支持范围。

ReLU

• 必须只有一个输入和一个输出。

• 输入和输出必须为 4D 特征张量，且形状完全一致。

• 输入支持 8 bit 和 16 bit 量化数据；输出支持 8 bit、16 bit 量化数据，若转换工具生成 FP32 输出配置，则支持 FP32输出。

• 输入、输出位宽必须与所选量化配置匹配。

Reshape

• 只改变形状，不改变元素数量和元素排列顺序。

• 输入元素总数必须等于输出元素总数。

• 不支持改变元素排列顺序的变换。

• 目标形状必须在模型转换时确定。

• 支持 8 bit 和 16 bit 量化输入和输出，输入和输出位宽必须一致。

Resize/Upsample

Nearest 和 FillZero：

• 输入和输出必须为 4D 特征张量。

• 支持高度和宽度为正整数倍率放大；输出高度和宽度必须分别等于输入高度和宽度乘以对应倍率。

• 2 倍放大为明确覆盖的高性能组合；其他整数倍率以转换工具选择结果为准。

• 输入和输出位宽必须一致。

• 支持 4 bit 和 8 bit 量化配置。

• 缩放比例和插值方式必须在模型转换阶段确定。Bilinear：

• 输入和输出位宽必须一致。

• 支持 8 bit 和 16 bit 配置。

• aligned_corners 必须与模型导出配置一致。

• 输出高度和宽度必须与缩放比例计算结果一致。

• 不支持运行时动态切换插值方式或 aligned_corners。

Slice

• 输入和输出必须为 4D 特征张量。

• start、end、axis 和 step 必须在模型转换阶段确定，不支持由运行时输入动态提供。

• 支持最多 4 个切片轴。

• 每个轴都必须满足 0 <= start < end <= input_dim。

• 输出对应维度必须等于 end - start。

• 只支持连续切片，步长必须为 1。

• 输入和输出位宽必须一致，支持 4 bit、8 bit 和 16 bit 量化数据。

• 等分切片时，被切分维度必须能被切分份数整除。

• 按通道维切片时，部分量化配置要求 start、end 按 8 对齐。

Softmax

• 必须只有一个输入和一个输出。

• 输入和输出必须为 4D 特征张量。

• 只支持沿最后一维，即通道维 C 计算；axis 必须为 3 或等价的负数轴。

• 输出形状必须与输入形状一致。

• 量化 Softmax 的输入、输出 scale 和 zero point 必须完整且相互匹配。

• 支持 8、12、16 bit 输入；输出可以是量化数据或 FP32，具体由量化配置决定。

• 查表参数必须由转换工具在模型转换阶段生成，不支持运行时动态替换。

SpaceToDepth

• 输入和输出必须为 4D 特征张量。

• block_size > 1。

• 输入高度和宽度必须分别能被 block_size 整除。

• 输出形状为：

• N 不变；

• H 除以 block_size；

• W 除以 block_size；

• C 乘以 block_size * block_size。

• 支持 DCR、CRD 和 Focus 三种模式。

• 支持 8 bit 和 16 bit 量化输入和输出，输入和输出位宽必须一致。

Sqrt

• 必须只有一个输入和一个输出。

• 输入和输出必须为 FP32。

• 输入和输出形状必须一致。

• 输入值必须大于或等于 0。

Squeeze/Unsqueeze

• 当前发布包不提供 Squeeze 和 Unsqueeze 的公开支持路径。

• 若模型中包含 Squeeze 或 Unsqueeze，必须在模型转换前折叠为静态Reshape，且必须保持元素总数和元素排列顺序不变。

• 不支持运行时动态插入或删除维度。

Swish

• 输入和输出形状必须完全一致。

• 仅支持固定查表形式，查表参数必须由转换工具根据模型量化信息生成。

• 支持以下三种固定配置：

• 8 bit 输入到 8 bit 输出；

• 16 bit 输入到 16 bit 输出；

• 16 bit 输入到 8 bit 输出。

• 不支持运行时动态修改查表范围或查表数据。

Transpose/Permute

• 轴数量必须等于输入维度数。

• 轴必须是 0 到 rank-1 的完整排列，不能重复、不能遗漏、不能越界。

• 输出形状必须等于输入形状按轴排列后的结果。

• 支持 2～5 维张量。

• 支持 8 bit 和 16 bit 量化输入和输出，输入和输出位宽必须一致。

不支持的常见情况

以下情况不属于本发布包的公开支持范围：

• 使用未列出的广播方式，尤其是沿批次维广播。

• 在组卷积或深度卷积中使用非 1 的卷积膨胀率。

• 使用非 Constant 的 Pad 模式。

• 使用 Slice 步长不为 1。

• 使用 ReduceMin、ReduceProd、Squeeze 或 Unsqueeze。

• 使用重复、遗漏或越界的 Transpose/Permute 轴。

• 使用超出本文列出的卷积核、步长、膨胀率、归约轴或 block size。

• 运行时动态改变算子属性，而模型转换阶段没有生成对应参数。模型转换时若某个算子不满足上述条件，转换工具通常会提示该算子的具体属性或形状不被支持。建议优先按照本表修改模型；对于需要扩大支持范围的模型，请提供算子名称、输入输出形状、数据类型和属性配置进行支持范围评估。