图像掩码解码

图像掩码解码

一、技术背景

YOLOv8/YOLO11实例分割模型采用了一种高效的掩码表示方式：原型掩码（Prototype Masks）+ 掩码系数（Mask Coefficients）。这种设计将掩码表示分解为两部分：一组与类别无关的原型掩码矩阵，和每个检测框对应的掩码系数向量。通过线性组合生成最终掩码，大大减少了输出维度和计算量。

在SEM项目的截面分割模块中，模型输出包含两个部分：

• output0：检测框信息（4坐标 + N类别分数 + 32掩码系数）
• output1：32个原型掩码矩阵（每个大小为maskH × maskW）

二、数学原理

2.1 掩码线性组合

设原型掩码为 $\{P_1,P_2,\dots ,P_{32}\}$，每个原型是尺寸为 $H_m\times W_m$ 的矩阵。掩码系数为 $\{c_1,c_2,\dots ,c_{32}\}$，最终掩码 $M$ 通过线性组合得到：

$$M=\sum _{i=1}^{32}{c}_i\cdot P_i$$

2.2 Sigmoid二值化

线性组合后的掩码值域是 $(-\infty ,+\infty )$，需要通过Sigmoid函数映射到 $[0,1]$ 区间：

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

Sigmoid函数特性：

• $x\to -\infty$ 时，$\sigma (x)\to 0$
• $x\to +\infty$ 时，$\sigma (x)\to 1$
• $x=0$ 时，$\sigma (x)=0.5$

2.3 阈值二值化

将连续掩码转为二值掩码：

$$M_{binary}(i,j)=\{\begin{array}{ll}1& \text{if }\sigma (M(i,j))>\tau \\ 0& \text{otherwise}\end{array}$$

其中 $\tau$ 通常取 0.25（对应阈值25，若归一化到0-255）。

三、代码实现

3.1 Sigmoid函数实现

// 文件路径: e:\\SEM\\Yolo11_section\\Utils.cs
public static Mat Sigmoid(Mat src)
{
var dst = new Mat();
// 计算 e^(-x)
Cv2.Exp(–src, dst);

// 创建全1矩阵
var oneMat = new Mat(src.Size(), src.Type(), Scalar.All(1));

// 计算 1 + e^(-x)
Cv2.Add(dst, oneMat, dst);

// 计算 1 / (1 + e^(-x))
var sigmoidResult = new Mat();
Cv2.Divide(oneMat, dst, sigmoidResult);

return sigmoidResult;
}

3.2 原型掩码提取

// 文件路径: e:\\SEM\\Yolo11_section\\Utils.cs
// 从output1中提取32个原型掩码
int maskH = output1Dims[2]; // 原型掩码高度
int maskW = output1Dims[3]; // 原型掩码宽度

var prototypeMasks = new List<Mat>();
for (int m = 0; m < 32; m++)
{
// 从一维数组output1中提取对应通道数据
float[] slice = new float[maskH * maskW];
Array.Copy(output1, m * maskH * maskW, slice, 0, maskH * maskW);

// 创建Mat并设置数据
var mat = new Mat(maskH, maskW, MatType.CV_32F);
mat.SetArray<float>(slice);

prototypeMasks.Add(mat);
}

3.3 掩码系数提取

// 文件路径: e:\\SEM\\Yolo11_section\\Utils.cs
// 从output0中提取每个检测框的32个掩码系数
float[] maskCoeffs = new float[32];
for (int m = 0; m < 32; m++)
{
maskCoeffs[m] = output0[(maskOffset + m) * stride0 + i];
}

3.4 线性组合与二值化

// 文件路径: e:\\SEM\\Yolo11_section\\Utils.cs
// 计算最终掩码：原型掩码矩阵线性组合
Mat finalMask = new Mat(new OpenCvSharp.Size(maskW, maskH), MatType.CV_32F, Scalar.All(0));

// 线性组合: M = Σ(c_i * P_i)
for (int m = 0; m < 32; m++)
{
Cv2.Add(finalMask, prototypeMasks[m] * maskCoeffsList[idx][m], finalMask);
}

// Sigmoid映射到[0,1]
finalMask = Utils.Sigmoid(finalMask);

// … 裁剪和缩放到原始尺寸 …

// 二值化阈值处理
Cv2.Threshold(resizedMask, resizedMask, 0.25, 255, ThresholdTypes.Binary);
resizedMask.ConvertTo(resizedMask, MatType.CV_8U);

3.5 完整后处理流程

// 文件路径: e:\\SEM\\Yolo11_section\\Utils.cs
public static List<SegmentedDetection> Postprocess(
OpenCvSharp.Size origSize,
OpenCvSharp.Size letterboxSize,
IDisposableReadOnlyCollection<DisposableNamedOnnxValue> outputs,
float confThreshold,
float iouThreshold,
List<string> classNames)
{
// 获取模型输出
var output0 = outputs.First(x => x.Name == "output0").AsEnumerable<float>().ToArray();
var output1 = outputs.First(x => x.Name == "output1").AsEnumerable<float>().ToArray();

// 解析原型掩码
for (int m = 0; m < 32; m++)
{
float[] slice = new float[maskH * maskW];
Array.Copy(output1, m * maskH * maskW, slice, 0, maskH * maskW);
var mat = new Mat(maskH, maskW, MatType.CV_32F);
mat.SetArray<float>(slice);
prototypeMasks.Add(mat);
}

// 对每个NMS后的检测框生成掩码
foreach (var idx in nmsIndices)
{
// 线性组合
Mat finalMask = new Mat(new OpenCvSharp.Size(maskW, maskH), MatType.CV_32F, Scalar.All(0));
for (int m = 0; m < 32; m++)
{
Cv2.Add(finalMask, prototypeMasks[m] * maskCoeffsList[idx][m], finalMask);
}

// Sigmoid激活
finalMask = Utils.Sigmoid(finalMask);

// 缩放并二值化
Cv2.Resize(cropped, resizedMask, origSize);
Cv2.Threshold(resizedMask, resizedMask, 0.25, 255, ThresholdTypes.Binary);
}

return results;
}

四、参数调优

4.1 二值化阈值

4.2 掩码裁剪处理

// 裁剪掩码区域，排除LetterBox填充影响
int x1 = Math.Clamp((int)Math.Round((padW – 0.1f) * maskScaleX), 0, maskW – 1);
int y1 = Math.Clamp((int)Math.Round((padH – 0.1f) * maskScaleY), 0, maskH – 1);
int x2 = Math.Clamp((int)Math.Round((letterboxSize.Width – padW + 0.1f) * maskScaleX), x1, maskW);
int y2 = Math.Clamp((int)Math.Round((letterboxSize.Height – padH + 0.1f) * maskScaleY), y1, maskH);

var cropRect = new Rect(x1, y1, x2 – x1, y2 – y1);
var cropped = new Mat(finalMask, cropRect).Clone();

4.3 插值方法选择

// 掩码缩放插值方法
InterpolationFlags.Linear // 默认，速度快
InterpolationFlags.Nearest // 保持边缘锐利
InterpolationFlags.Cubic // 质量更高

五、常见问题

5.1 掩码边缘锯齿

问题描述：生成的掩码边缘不平滑，出现锯齿。

解决方案：

var kernel = Cv2.GetStructuringElement(MorphShapes.Ellipse, new OpenCvSharp.Size(3, 3));
Cv2.MorphologyEx(mask, mask, MorphTypes.Open, kernel);

5.2 掩码越界

问题描述：掩码超出检测框范围。

解决方案：

// 仅在检测框区域内应用掩码
var roi = new Rect(seg.BBox.X, seg.BBox.Y, seg.BBox.Width, seg.BBox.Height);
roi = roi.Intersect(new Rect(0, 0, origSize.Width, origSize.Height));
if (roi.Width > 0 && roi.Height > 0)
{
resizedMask[roi].CopyTo(finalBinaryMask[roi]);
}

5.3 掩码系数异常

问题描述：掩码系数为NaN或Inf。

解决方案：

maskCoeffs[m] = Math.Clamp(maskCoeffs[m], –100f, 100f);

5.4 内存泄漏

问题描述：处理大量图像时内存持续增长。

解决方案：

// 及时释放原型掩码
foreach (var mask in prototypeMasks)
{
mask.Dispose();
}

// 释放临时矩阵
finalMask.Dispose();
cropped.Dispose();
resizedMask.Dispose();

5.5 多目标掩码重叠

问题描述：多个检测目标掩码相互覆盖。

解决方案：
使用优先级机制处理重叠：

// ApplyMasksWithPriority 函数根据类别优先级处理重叠
int priority = classPriority.ContainsKey(className) ? classPriority[className] : 0;
if (priority >= currentPriority)
{
maskCanvas.Set(y, x, color);
priorityMap.Set<byte>(y, x, (byte)priority);
}