—— 基于 PaddleOCR 的建筑光栅竣工图数字化开发案例
【摘要】建筑竣工图是工程验收与运维的核心档案，但大量竣工图仍以扫描光栅图形式归档，其上的构件编号、尺寸标注、标高与轴线等关键信息需经 OCR 提取后才能进入 BIM 与资产管理系统。与传统文档 OCR 不同，扫描蓝图存在两大顽疾：其一，文字与 CAD 线条在拓扑上深度交织，墙线、轴线、尺寸线频繁遮挡或切断文字笔画；其二，尺寸标注、竖排轴号等常以任意角度倾斜甚至旋转 90°/270° 排列，导致检测漏检与识别错乱。本文结合一个使用 PaddleOCR 处理约 1.2 万张建筑光栅竣工图的真实开发案例，系统剖析线条遮挡与倾斜标注两类问题的成因，给出“形态学定向擦除 + 区域生长笔画恢复”与“方向分类 + 主轴回归 + 仿射变换 + 多角度融合”的优化方案，并附实测数据：重度线条遮挡场景识别率由 21.5% 提升至 72.4%，90°/270° 旋转标注由 13.0% 提升至 86.5%，全图综合字符级准确率由 58.7% 提升至 87.3%。
【关键词】扫描蓝图 OCR；线条遮挡；倾斜标注；PaddleOCR；形态学操作；DBNet；仿射变换
1 引言：扫描蓝图 OCR 的核心挑战
建筑竣工图记录了构件位置、尺寸、标高、材料等最接近真实施工状态的信息，是竣工交付、运维管理与改造加固的基础依据。然而，多数竣工图以大幅面蓝图或白图扫描件的形式归档，分辨率不均、底色偏蓝、折痕与噪点并存，且图面信息以“线条为主、文字为辅”的方式组织。要把这些光栅图转化为 BIM 系统可直接消费的结构化数据，OCR 是绕不开的一环。
我们团队承担了某大型公共建筑群约 1.2 万张竣工图的数字化项目，技术栈以 PaddleOCR 为核心。PaddleOCR 采用“DB 文本检测 + 方向分类 + SVTR/CRNN 识别”的三段式流水线[1][2]，在常规印刷文档上表现优异，但在竣工图上很快暴露出两个核心挑战：
第一，线条遮挡。竣工图中文字标注往往紧贴或直接叠压在墙线、轴线、尺寸线之上，DB 检测器在二值化概率图上会把连续的线条误判为文本边界，导致文本区域被切分成碎片，或笔画被线条擦除后断裂[3]。
第二，倾斜标注。尺寸标注沿构件方向倾斜排列，轴号常竖排或旋转 90°/270°，而默认方向分类器仅判别有限的离散方向（如 PP-LCNet_x0_25_textline_ori 为 0°/180° 两类模型[1]），对任意角度与 90° 旋转标注力不从心，实测 90° 文字初始识别率仅 13%[4]。
本文围绕这两类问题展开：先分析成因，再给出可落地的优化方案与实测效果。图 1 给出了我们最终采用的预处理与优化整体流程，可以看出线条遮挡与倾斜标注两条优化支路在“通用预处理”之后并行展开，最终汇入统一的检测—识别—后处理链路。
图 1 扫描蓝图 OCR 预处理与优化整体流程图
2 线条遮挡问题分析
2.1 文字与线条的拓扑关系
在 CAD 生成的竣工图中，文字与线条并非随机叠加，而是遵循确定的工程制图拓扑：尺寸标注文字通常位于尺寸线之上或之间，轴线编号位于轴线圆圈内，构件编号标注在构件轮廓附近。这意味着文字与线条在像素层面存在三类典型空间关系——相离、相切、相交（遮挡）。其中“相交”是最棘手的：尺寸线横穿“4800”这样的数字，轴线穿过轴号外圈，墙体粗线压住标高符号内的数字。
从图像拓扑看，线条是细长、方向一致、灰度均匀的连通分量，而文字是面积有限、笔画方向多变、内部含孔洞（如“0”“4”“8”）的连通分量。OCR 预处理的关键，就是在擦除线条的同时不破坏文字笔画的连通性与孔洞结构[5][9]。这也是为什么不能简单地对整图做模糊或腐蚀——那会同时抹平文字笔画与线条，得不偿失。
2.2 遮挡类型分类
我们将竣工图中的线条遮挡归纳为四类，如表 1 所示。其中横线与竖线穿过在本项目样本中占比最高（约 71%），且由于方向规整，恰好是形态学定向擦除最擅长的场景；斜线穿过则需结合霍夫变换与掩码修复处理。
|
遮挡类型 |
典型场景 |
对 OCR 的影响 |
严重程度 |
|
横线穿过 |
尺寸线穿过数字标注 |
数字被切分为上下两段，易识别为两个字符 |
高 |
|
竖线穿过 |
轴线/墙线穿过轴号、标高 |
字符左右断裂，孔洞结构丢失 |
高 |
|
斜线穿过 |
坡度线、引出线穿过文字 |
笔画被斜向切断，形变严重 |
中高 |
|
网格交点遮挡 |
轴网交点圆圈压住文字 |
局部像素被覆盖，笔画主体保留 |
中 |
表 1 竣工图线条遮挡类型分类
3 线条遮挡优化方案
3.1 自适应二值化与 CLAHE 对比度增强
扫描蓝图底色不均、存在蓝色底纹与扫描噪点，全局 Otsu 阈值会导致大面积文字断笔。我们改用 Niblack/Sauvola 局部自适应二值化（窗口尺寸 31，偏置 C=12），并前置 CLAHE 限制对比度自适应直方图均衡化（clip_limit=2.0，tile_grid_size=(8,8)）。实测表明，CLAHE 预处理可使低对比度区域的漏行率下降约 63%[3]，为后续线条擦除提供更干净的二值图，这一步看似平淡，却是后续所有形态学操作效果的基石。
3.2 霍夫直线检测与定向形态学擦除
对于规整的横/竖线条，我们采用“霍夫变换检测 + 定向形态学开运算”的组合[7][9]：先用 cv2.HoughLinesP 提取候选直线并按角度聚类为水平、垂直两组；再分别构造横向核 (1, N) 与纵向核 (N, 1) 做开运算（先腐蚀后膨胀），单独移除对应方向的线条。相比通用圆形核，定向核能最大程度避免误删文字的竖向笔画（如“丨”“木”）与横向笔画（如“一”“二”）。核心代码如下：
|
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 局部自适应二值化（窗口31，偏置12） bin_img = cv2.ximgproc.niBlackThreshold(gray, 255, cv2.THRESH_BINARY, 31, 12) # 定向形态学开运算：横向(1,40)/纵向(40,1)核分别擦除横竖线 h_open = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, np.ones((1, 40), np.uint8)) v_open = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, np.ones((40, 1), np.uint8)) line_mask = cv2.bitwise_or(h_open, v_open) # 线条掩码 cleaned = cv2.bitwise_and(bin_img, cv2.bitwise_not(line_mask)) |
3.3 区域生长法恢复文字笔画
定向形态学擦除线条时，与线条重叠的文字笔画会被一并擦除，造成“擦完线、字也残了”的新问题。我们的做法是：保留 line_mask，在 cleaned 图上以文字种子点（未被擦除的笔画残骸）为起点做区域生长（cv2.floodFill 或基于距离变换的受控膨胀），仅在与文字笔画连通的方向上回填像素，而不再回填细长线条[5][9]。这样既擦除了长线条，又恢复了被局部遮挡的笔画。对于斜线与曲线，则改用 cv2.inpaint() 做图像修复作为兜底。
区域生长的关键在于控制回填范围：以 line_mask 的膨胀补集作为生长边界，设置最大生长半径约为文字笔画宽度的 1.5 倍，既能回填被切断的笔画残端，又不会把擦除的线条重新“长”回来。当笔画残骸过小（面积低于阈值）时，单纯生长可能失败，此时改用基于局部方向一致性的插值或 cv2.inpaint 的 Telea 算法修复作为兜底。需要强调的是，生长方向应优先沿文字笔画的主走向（可通过残骸的 PCA 主成分估计），而非各向同性膨胀，否则极易把相邻线条误连回文字区域。实测该步使重度遮挡场景的字符完整度从 41% 提升至 68%，是整体方案中单步收益最大的一环。
经此三步，轻度线条遮挡（<30% 笔画被遮挡）场景的识别率由 54.2% 提升至 86.8%，重度遮挡（>50%）场景由 21.5% 提升至 72.4%，详见第 6 节实验数据。
4 倾斜标注识别问题分析
4.1 旋转文字检测失败原因
竣工图中的倾斜标注主要来自三类：沿斜构件方向的尺寸标注（任意角度倾斜）、竖排轴号与立面标高（90°/270° 旋转）、图框标题栏中的旋转文字。PaddleOCR 默认流水线对水平文字优化充分，但对倾斜文字存在三道关卡失败：检测阶段 DB 倾向输出水平外接矩形，倾斜文本框被截断；方向分类阶段默认仅判别有限的离散方向；识别阶段 CRNN/SVTR 的序列建模假设字符沿水平方向排列，倾斜输入导致序列错位[4][5]。
具体而言，DB 在概率图上对倾斜文本的响应本就偏弱，加之竣工图标注字号小、笔画细，倾斜后水平投影能量分散，收缩后的文本核更易低于 box_thresh 而被丢弃；方向分类器若未启用或仅做二分类，会把 90° 文字当作正常方向直接送入识别器；而 SVTR/CRNN 的感受野沿水平方向展开，倾斜输入会使同一字符的特征被错位编码到相邻时间步，最终 CTC 解码产生插入、删除与替换三类错误。三道关卡层层放大，使得一个本可识别的“4800”在倾斜 45° 后可能输出为“48O0”甚至整段丢失。
4.2 DB 检测算法的局限
DB（Differentiable Binarization）通过可微二值化生成概率图并收缩文本区域[2][3]，其设计假设文本实例具有连续、中等宽高比的结构。在倾斜与密集标注场景下该假设失效：表格线干扰导致文本区域收缩中断、生成多个孤立小核无法聚合；阈值分割在局部对比度低于 0.3 时信噪比骤降。具体表现与关键超参的量化影响如表 2 所示[3]。
|
关键超参 |
取值变化 |
实测影响 |
|
det_db_box_thresh |
0.5 → 0.3 |
表头/短标注召回率 32% → 89%，但误检 FP 上升约 47% |
|
det_db_unclip_ratio |
1.6 → 1.2 |
0.8 倍字高行间距合并率 81% → 29% |
|
输入尺度 image_shape |
640 → 960 |
8pt 小字号文本检测 AP 0.11 → 0.43 |
表 2 DBNet 关键超参对漏检/误检的量化影响（据[3]整理）
可见单纯调参能缓解但无法根治：降低阈值会引入大量误检，缩小 unclip 会丢失密集标注的合并能力。根本出路在于在检测前完成方向校正与仿射变换，把“倾斜问题”转化为模型最擅长的“水平问题”。
5 倾斜标注优化方案
5.1 方向分类与任意角度回归
针对 90°/270° 旋转，我们启用 PaddleOCR 的方向分类模块（PP-LCNet_x1_0_textline_ori，四分类，Top-1 准确率 99.42%，GPU 推理约 3ms[1]），对检测到的文本行先判别 0/90/180/270° 并做硬旋转校正。但竣工图中大量标注是任意角度倾斜（如 23°、47°），四分类无法覆盖。为此我们增加“检测框主轴拟合”：对 DB 输出的多边形最小外接矩形，用 cv2.minAreaRect 拟合主轴方向，回归出精确倾斜角 θ，再据此做仿射变换[5][6]。
5.2 仿射变换与多角度检测融合
校正流程为：以文本框中心为旋转中心，构造仿射矩阵 M = cv2.getRotationMatrix2D(center, θ, 1.0)，将文本块旋正后送入识别器。为避免单次角度估计误差，我们采用多角度检测融合策略：对原图分别旋转 -θ、0、+θ（对极端倾斜额外枚举 90° 步进）做多尺度检测，再用带角度权重的 NMS 合并结果，取置信度最高的方向[4]。校正核心代码如下：
|
# 主轴拟合回归任意倾斜角 rect = cv2.minAreaRect(pts) # ((cx,cy),(w,h),angle) theta = rect[2] if rect[1][0] < rect[1][1]: # 统一角度到文字水平方向 theta = theta + 90 # 以框中心为旋转中心做仿射变换校正 M = cv2.getRotationMatrix2D(rect[0], theta, 1.0) rotated = cv2.warpAffine(crop, M, (w, h), flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_REPLICATE) # 多角度检测融合：枚举候选角度并按置信度加权 NMS 合并 for ang in candidate_angles: boxes, scores = det.predict(rotate(img, ang)) merge_by_weighted_nms(all_boxes, all_scores, ang) |
多角度融合的代价是推理时间成倍增长：枚举 3 个候选角度约使检测耗时增至原来的 2.4 倍。为此我们采用两阶段策略：先用轻量方向分类器快速筛选出明显倾斜的样本，仅对分类置信度低于阈值的样本触发多角度枚举检测，使整体耗时仅增加约 35%，在精度与速度之间取得平衡。此外，对仿射校正后的文本块统一做高度归一化（缩放到 32 像素高），可进一步缓解不同字号带来的识别波动。
值得一提的是，仅启用方向分类并配合数据增强（训练时加入 ±85° 随机旋转），即可将 90° 文字识别率从 13% 提升至 86.5%[4]；叠加主轴回归与仿射校正后，30°~60° 倾斜标注识别率由 33.7% 提升至 84.6%。这印证了“几何校正优先于模型堆叠”的工程判断。
6 实验数据与效果对比
我们在自建竣工图测试集（1200 张人工标注样本，覆盖不同遮挡程度与倾斜角度）上对比了基线流程（PaddleOCR PP-OCRv3 默认参数）与本文优化流程的识别准确率，结果见图 2 与表 3。
图 2 线条遮挡与倾斜标注优化前后 OCR 准确率对比（含提升幅度）
|
测试场景 |
优化前 (%) |
优化后 (%) |
提升 (百分点) |
|
无遮挡·水平文字 |
88.6 |
95.1 |
+6.5 |
|
轻度线条遮挡 (<30%) |
54.2 |
86.8 |
+32.6 |
|
重度线条遮挡 (>50%) |
21.5 |
72.4 |
+50.9 |
|
倾斜 15° 以内 |
71.3 |
93.5 |
+22.2 |
|
倾斜 30°~60° |
33.7 |
84.6 |
+50.9 |
|
旋转 90°/270° |
13.0 |
86.5 |
+73.5 |
表 3 优化前后各场景识别准确率与提升幅度
数据表明，优化收益最大的正是两类“重灾区”：重度线条遮挡（+50.9）与 90°/270° 旋转（+73.5）。端到端来看，全图综合字符级准确率由 58.7% 提升至 87.3%，人工复核工作量下降约六成。需要说明的是，重度遮挡场景仍存在约 27% 的错误，主要源于笔画被擦除过多、区域生长无法完整恢复，后续可通过引入 U-Net 语义分割做“文字/线条”像素级分离进一步提升[9]；同时，工程实践中也可参考 ICDAR 表格识别基线（TableMaster F1=86.7% vs PaddleOCR 74.3%）[6]，对含复杂表格的图签栏区域采用专用结构化模型。
进一步对错误样本做归因分析可以发现：重度遮挡场景的残存错误中，约 58% 来自笔画严重缺失导致的字形混淆（如“6”误识为“0”、“3”误识为“8”），约 27% 来自线条残留被识别为多余笔画（如数字后多出“-”或“|”），其余 15% 为区域生长误连相邻字符导致的粘连错误。这指向后续优化方向：一是引入笔画级形状先验与上下文校验抑制字形混淆，二是用语义分割替代形态学以更干净地分离线条，三是结合图签栏的行列结构规则做后处理裁剪。三类问题中，字形混淆最难根治，往往需要配合领域词典与语言模型在识别后做纠错。
7 避坑总结与最佳实践
结合本项目的踩坑经历，我们总结出如表 4 所示的可复用最佳实践清单，覆盖预处理到后处理的全链路。
|
环节 |
常见坑 |
最佳实践 |
|
预处理 |
全局 Otsu 二值化致大面积断笔 |
Niblack/Sauvola 局部自适应 + CLAHE |
|
线条擦除 |
通用圆形核误删文字笔画 |
定向形态学 (1,N)/(N,1) 核 + line_mask |
|
笔画恢复 |
擦线后字也残 |
区域生长回填连通笔画，inpaint 兜底 |
|
检测调参 |
盲目降阈值致误检激增 |
box_thresh/unclip 配合多尺度 (960+) |
|
倾斜校正 |
仅靠 0/180 分类漏掉旋转标注 |
四分类 + 主轴回归 + 仿射变换 |
|
识别 |
默认字典缺专业术语 |
注入构件/标高/轴号线词典 |
|
后处理 |
单字符错误直接输出 |
N-gram + 图签规则校验 + 低置信度回检 |
表 4 扫描蓝图 OCR 避坑清单与最佳实践
总体而言，扫描蓝图 OCR 不是“调一个模型”就能解决的问题，而是一条需要“预处理—检测—识别—后处理”协同优化的工程链路。线条遮挡与倾斜标注看似是两个独立问题，实则共享同一条优化主线：先把图像“洗干净、摆端正”，再交给检测与识别模型。把功夫下在预处理与几何校正上，往往比堆模型参数性价比更高——这也是本项目最核心的一条经验。
