金融AI落地的真相：84%的准确率意味着什么？
上篇我拆解了投行AI文档平台的PRD，讲了八个关键产品决策。这篇我想换个角度——不聊产品设计，聊数据背后的现实。 这份补充知识里有一组数据让我印象极深：大模型要素抽取平均正确率84.39%，但供应商名称识别0%、发票数量0%、记账日期0%。84%听起来不错，但那16%的错误落在关键字段上，就是灾难。 这才是AI在金融行业落地的真正挑战。
一、先看行业现状：一个IPO项目，12万页底稿
数据说话：
| 单个IPO项目底稿规模 | 12万页+ |
| 中型券商年IPO项目数 | 至少10个 |
| 年平均底稿处理量 | 120万页 |
| 单项目人员配置 | 分析师7-8人 + 实习生2-3人 |
12万页是什么概念？一个人一天看100页，看完全部底稿需要3年多。而且这只是"看"，还没算核查、比对、交叉验证的工作量。
再看IPO底稿的目录结构——8大章节，每一章下面十几到二十几个子项：
| 第一章 发行人基本情况 | 历史注册、董监高、员工情况 | 13项 |
| 第二章 业务与技术 | 行业、销售、采购、客户 | 6项 |
| 第三章 财务会计 | 会计科目逐项核查 | 22项 |
| 第四章/第五章 公司治理与独立性 | 募集资金、内部控制、关联交易 | 12项 |
| 第六/七/八章 投资者保护及其他 | 承诺履行、重大事项、中介机构 | 多项 |
我的感受：这种规模的工作量，纯人工就是"用人力堆时间"。实习生加班到凌晨校对底稿，不是因为业务复杂，是因为量太大。AI介入的切入点非常清晰——不是替代专业判断，而是替代机械劳动。
二、采购穿行核查：一个典型的AI落地场景
"穿行核查"是投行尽职调查的核心环节——顺着采购/销售的全流程，把每个环节的单据比对一遍，找出矛盾和异常。
采购穿行涉及6类单据
| 采购申请单 | 审批日期、采购品种、采购数量、审批人 |
| 采购订单 | 签订日期、供应商名称、订单品种、数量、金额 |
| 入库单 | 入库日期、品种、数量、金额 |
| 发票 | 发票日期、发票号、数量、金额、单价、税率、开票方 |
| 记账凭证 | 记账日期、凭证号、记账金额 |
| 付款单据 | 付款日期、支付金额、收款方 |
五个维度的核查规则
| 时间 | 审批日期 ≤ 订单签订日期 ≤ 入库日期 | 生成比对结果表 |
| 数量 | 申请数量 ≥ 订单数量 ≥ 入库数量、发票数量 | 生成比对结果表 |
| 品种 | 申请品种 = 订单品种 = 入库品种 | 差异汇总表 |
| 金额 | 订单金额 ≥ 入库金额、记账金额、付款金额 | 生成比对结果表 |
| 名称 | 付款方收款方 = 订单供应商名称 = 发票开票方 = 入库供应商 | 差异汇总表 |
这套规则的逻辑非常清晰：先确保时间顺序对、数量对得上、品种一致、金额没超出、名称没写错。 听起来简单对吧？但当一份采购流程涉及几十笔交易、每个字段都要跨6类单据交叉比对时，人工做这件事又慢又容易漏。
这就是AI最该介入的地方——规则明确、重复性高、数据量大的核查场景。
三、84.39%的准确率：好看的数据，残酷的细节
这是我在这份材料里看到最有价值的数据。基于8个场景、34个要素的抽取测试：
整体数据
- 平均抽取正确率：84.39%
听起来还行？但看细节：
部分关键字段的真实表现
| 采购穿行 | 采购订单 | 签订日期 | 100% | ✅ |
| 采购穿行 | 采购订单 | 供应商名称 | 0% | ❌ OCR识别时错误 |
| 采购穿行 | 采购订单 | 订单品种 | 100% | ✅ |
| 采购穿行 | 采购订单 | 订单金额 | 100% | 部分样本错 |
| 采购穿行 | 入库单 | 入库金额 | 25% | ❌ 4个样本只对1个 |
| 采购穿行 | 发票 | 发票数量 | 0% | ❌ 完全不可用 |
| 采购穿行 | 记账凭证 | 记账日期 | 0% | ❌ OCR格式错误 |
| 销售穿行 | 出库单 | 销售品种 | 0% | ❌ |
| 销售穿行 | 收入确认凭证 | 签收日期 | 0% | ❌ |
看到问题了吗？ 平均84.39%，但"供应商名称""发票数量""记账日期"这些核心字段正确率是0%。在采购穿行核查中，供应商名称对不上——意味着整条"名称核查"维度直接废掉。
招股书撰写场景的抽取效果
| 采购订单 | 62.4% | 订单金额57.4% |
| 发回函快递单 | 52.4% | 收件地址28.6% |
| 发回函扫描件 | 78%+ | 应收账款40%、本期收款42% |
| 发票 | 86.6% | 相对最好 |
我的判断：84%的平均正确率意味着三件事——
四、RAG评测的三层逻辑：别只看"端到端效果"
这份材料里还给出了一个我觉得非常有参考价值的RAG评测框架——三类测试集，各测各的：
| 第一类：端到端测试 | 检索+生成全流程真实效果 | 考试——看最终能考多少分 |
| 第二类：剔除集外问题 | 剔除"知识盲区"后，检索和回答的理想上限 | 开卷考——只考学过的内容 |
| 第三类：假设召回100%正确 | 强插正确chunk，只测大模型的生成能力 | 给你答案让你抄——看你抄得对不对 |
为什么要分三层？ 因为RAG系统出问题，只有三种可能：
这三层测试，就是RAG系统的"故障定位工具"。 不做分层测试，你根本不知道问题出在哪——改检索？改chunk策略？换模型？全靠猜。
我的经验：很多团队只做第一类端到端测试，发现效果差就开始换模型，结果换三个模型效果都差不多——因为问题根本不在模型，在知识库覆盖度或检索策略。 先定位问题，再解决问题，这是RAG优化的正确顺序。
五、3.7亿市场：谁在买单？
场空间测算：
| 头部金融机构 | 14家 | 1000万 | 1.4亿 | 已落地1单证券公司，保险/基金暂无 |
| 腰部金融机构 | 46家 | 500万 | 2.3亿 | 商机储备6000万，70%销售单落在腰部 |
| 中小金融及其他 | 158家 | ~千万 | – | 算力与数据基础不成熟，暂不具备私有化条件 |
| 合计 | – | – | 3.7亿 | 三年目标市占率50% |
几个值得注意的点：
腰部分才是主力——不是头部。头部客户要的是标杆案例，腰部客户才是真正的收入来源。70%的销售单落在腰部金融机构，客单价500万，量大利好。
头部是"面子"，腰部是"里子"——头部1-2单做好标杆，才能说服腰部客户下单。但头部客户需求定制化程度高，交付成本也高，利润率未必比腰部好。
中小机构暂时别碰——158家看起来多，但算力和数据基础都不成熟，私有化部署条件不具备。等云端方案成熟后再切入。
我的理解：AI产品在金融行业的商业化路径非常清晰——头部造标杆、腰部赚利润、中小等时机。 别想一口气吃下所有客户，分层打法比全面铺开效率高得多。
六、标签体系：知识库的"导航系统"
这份材料还详细描述了标签体系的设计，这是很多人做知识库时忽略的关键环节：
标签字段定义
| section_title / subsection_title | 结构性标题 | "第三章 财务会计调查/3-4 销售收入" |
| theme_tag | 内容主题（3-5字中文短语） | 行业信息、财务数据、政策要求 |
| date_scope | 时间范围 | "2023-2024" |
| content_type | 内容类型 | 图片、表格、文字 |
标签构建的四个阶段
产品/业务定义标签体系 → 大模型/规则引擎预打标签 → 人工审核修正 → 作为元数据存入知识库
关键原则：标签不允许模型随意定义。 模型只负责"建议"，最终决策权在人。为什么？因为标签是检索过滤的依据——标签错了，检索就偏了，回答就错了。
我的体会：标签体系就是知识库的"导航系统"。 没有标签，RAG只能靠语义相似度检索——语义相似但不相关的文档会被误召回。有了标签，可以先按"行业信息""财务数据"过滤，再在精准范围内做语义检索，准确率大幅提升。
七、知识库构建：四种文件，四套流程
| 案例文件 | ~7500份 | 自动拆解问答对+问题类型/主题识别 | 定时监控Agent（月度） |
| 法律法规 | ~2000份 | 逐字校对，工作量主要在切片核对 | 定时爬虫监控（月度） |
| 招股书 | 存量全量 | 拆分主题章节内容后入库 | 定时爬虫监控（月度） |
| 底稿文件 | 按项目 | OCR+要素抽取+人工校对 | 尽调系统自动同步 |
我的发现：四套流程的核心差异在于"人工介入程度"不同——
- 法律法规要逐字校对，因为一条法规引用错了就是合规事故
- 案例文件要拆解问答对，因为问答形式检索效率远高于段落形式
- 招股书要按章节拆分，因为写招股书是按章节引用的
- 底稿文件要要素抽取，因为核查比对需要结构化字段
没有一种知识库构建方案能适配所有文件类型。 想用一个流程走天下，结果就是每种数据都不够精准。
写在最后
这份补充知识给我最大的启发是：AI在金融行业落地，最大的挑战不是技术不够强，而是"不够强的技术必须用在够强的流程里"。
- 84.39%的平均正确率 → 必须设计人工校对和复核环节
- 关键字段0%正确率 → OCR质量是瓶颈，不是大模型能力问题
- RAG效果差 → 先分层定位问题，别急着换模型
- 3.7亿市场 → 别想吃全，头部造标杆、腰部赚利润
产品经理要做的事情，不是追求"AI全能"，而是设计一套"AI先筛、人来兜"的协作流程——让84%的准确率在流程中变成99%的交付质量。
这才是AI在金融行业落地的正确姿势：承认不完美，用流程补短板。 而不是假装AI什么都能做，出了问题再甩锅给模型。
84%的准确率不可怕，可怕的是你不知道那16%错在哪里。
