面向逻辑思维的程序设计方法——类脑大模型大脑视觉五个子网联合处理设计

面向逻辑思维的程序设计方法——类脑大模型大脑视觉五个子网联合处理设计

冯胤清

（河南 三门峡 472000）

摘要：小脑视觉预处理以快环流水线完成空间结构构建、前庭-视觉融合与执行导向的物体识别，向大脑传递的是"空间事实"（物体三维坐标、深度、自运动），而大脑对视觉的消费远不止于"物体在哪"——还需要"这是什么、意味着什么、接下来会怎样、该作何感受、为何看错"。本文基于面向逻辑思维的程序设计方法（LOPD）双脑架构，提出大脑视觉五个子网联合处理设计：感知理解子网把小脑传递的空间事实上升为场景语义（物体-关系-事件），认知推理子网以视觉语义驱动问答、空间推理与任务规划，世界模型子网将视觉事件纳入世界状态并预测未来画面，情感子网从表情、体态与场景中估计八维情感，反思创新子网对误检、错觉与视觉幻觉进行归因并驱动视觉能力进化；五子网经全局工作空间（GWS）按优先级协作，构成"看清-看懂-看透-看情-看省"的完整视觉认知链路[5-13]。文中给出视觉信息从小脑向大脑传递的接口设计、各子网的视觉处理机制、联合协作流程、训练方案与视觉联合处理质量评估体系，为类脑大模型"所见即所知、所见可决策"提供架构参考[5-13]。

关键词：类脑大模型；大脑视觉处理；五子网联合处理；视觉场景理解；视觉推理；视觉世界模型；视觉情感；七层认知模型

中图分类号：TP18；TP391　　文献标志码：A

1 引言

1.1 大脑视觉的需求

视觉是类脑大模型获取世界信息最主要的通道[5-6]。然而，不同脑区对同一视觉世界的读法并不相同：小脑视觉预处理以毫秒级快环服务动作执行——物体在三维空间中的坐标、深度与自运动，支撑"伸手去够、抬脚去走"的实时协调[13]；大脑则需要更深的读法——杯子不仅是"坐标(1.2, 0.8, 0.5)处的物体"，还是"主人惯用的、盛着热水的、可能被打翻的器皿"[5-9]。神经科学的双通路假说早已指出这一分工：背侧通路（枕顶）服务于视觉引导的动作（“在哪里、怎么做”），腹侧通路（枕颞）服务于知觉与识别（“是什么”）[1]。小脑视觉预处理对应背侧通路的功能角色，而大脑侧需要一套对应腹侧通路及其上游认知加工的处理体系[1,5,13]。

类脑大模型的五子网架构为这套体系提供了骨架[5,7]：感知理解子网负责语义化，认知推理子网负责分析与决策，世界模型子网负责预测与想象，情感子网负责情感评估，反思创新子网负责错误归因与能力进化[7-12]。五个子网都消费视觉信息，也都反作用于视觉处理——“看到什么"决定"想到什么”，“预期什么"又调制"看到什么”[7-12]。因此，大脑视觉处理不是某一个子网的局部功能，而是五个子网对小脑传递的视觉信息的联合处理[5,7]。

1.2 从视觉预处理到视觉综合处理

本系列论文已经完成了视觉通路的两级设计[5-13]。第一级是小脑视觉预处理：双目视觉构建空间结构、前庭-视觉融合维持空间感知稳定、执行导向的物体识别输出操作相关属性，其输出以VisualStabilized、Object3D、SelfMotion三类消息对接小脑部位模型与大脑子网[13]。小脑视觉预处理的设计哲学是"看清动作空间"，服务对象是"毫秒级的执行闭环"[13]。

第二级即本文的主题——大脑视觉五个子网联合处理。小脑视觉把"物体在哪"看得又快又准，但视觉的认知消费方在大脑[7-13]。大脑需要回答的视觉问题远超空间范畴：这个物体是什么类别、它与周围物体的关系如何（场景理解）[8,17]；看到的现象意味着什么、下一步该做什么（推理与决策）[9,19-20]；正在发生的事将如何演变（预测与想象）[10,21-22]；眼前人的表情与体态传递什么情绪（情感）[11,23-24]；刚才为什么看错了、模型为什么会幻觉（反思与进化）[12,25-26]。小脑视觉预处理论文在衔接设计中已预留了接口——“大脑感知理解子网可调用小脑视觉预处理的空间结果增强空间语义理解”，“空间结构供世界模型作为当前环境状态”[13]——但各子网如何系统化地联合处理视觉信息，尚未有专论。本文填补这一缺口[5-13]。

1.3 五子网联合处理的概念

大脑视觉五个子网联合处理指：小脑视觉预处理输出的视觉信息（以Object3D等空间事实为主体）经感知门户与GWS进入大脑后，由五个子网按各自的认知职能分工消费、并按需协作的处理体系[5-13]。

联合处理的三层含义[5,7]：其一，分工消费——同一份视觉信息被不同子网读出不同侧面：感知理解读"语义"（这是什么），认知推理读"含义"（意味着什么），世界模型读"走向"（将发生什么），情感读"情绪"（感受如何），反思读"错误"（哪里不可信）[7-12]；其二，信息递进——五子网的处理深度递进，感知理解子网输出的场景语义是认知推理的输入，认知推理的结论进入世界模型推演，形成"看懂→想透→预见"的认知阶梯[7-10]；其三，反馈调制——高层的预期与判断回流调制低层的视觉处理：世界模型的预测作为视觉先验，反思子网的归因修正视觉参数，情感状态影响视觉注意的取向[7-12]。三个层面共同构成视觉信息在大脑中的"联合加工"，而非各子网各自为政的"并行加工"[5-7]。以"看见打翻的水杯"为例：小脑视觉传回空间事实（杯子位移异常），感知理解子网语义化为"杯子倒下"，认知推理与情感子网据此判断"需要处理"与"用户可能懊恼"，世界模型预测"水会流到电脑上"，反思子网事后复盘"为何没有更早预警"——同一事件，五个子网的加工深度各不相同，但结论相互印证、共同支撑一次完整的视觉响应[7-13]。

1.4 本文的定位与贡献

本文是类脑大模型视觉通路的"大脑侧总论"，与《小脑视觉预处理》（执行侧）、《感知层整合处理》（多模态中枢）形成视觉体系的三足[5-13]。具体贡献包括：

①提出大脑视觉五个子网联合处理架构，明确小脑视觉输出（空间事实）向大脑各子网传递的接口与语义（"事实+解释"分工的接续）[5,13]；②设计感知理解子网的视觉语义化机制——从Object3D到场景图与视觉世界状态，复用视觉基础模型（ViT/SAM/CLIP）与场景理解数据集（Visual Genome等）[8,14-18]；③设计认知推理子网的视觉推理机制——视觉问答、构成式推理、空间推理与视觉语言动作规划[9,18-20]；④设计世界模型子网的视觉预测机制——视觉事件进入世界状态、未来画面的预测与潜空间想象[10,21-22]；⑤设计情感子网的视觉情感机制——表情、体态与场景情感向八维情感空间的映射[11,23-24]；⑥设计反思创新子网的视觉反思机制——误检、错觉与幻觉的归因与抑制，视觉能力的自进化闭环[12,25-27]；⑦给出五子网经GWS联合处理视觉信息的协作流程、典型场景全流程示例、训练方案与视觉联合处理质量评估体系[5-13]。

1.5 论文结构

全文共10章：第2章阐述理论基础（视觉双通路、层级识别、视觉注意、预测编码、场景理解、视觉基础模型、五子网架构）；第3章设计视觉信息从小脑向大脑的传递与五子网联合处理的总体架构；第4至第8章分别设计感知理解、认知推理、世界模型、情感、反思创新五个子网的视觉处理机制；第9章给出五子网联合协作流程、训练、评估与应用；第10章总结展望。

1.6 与系列论文的关系

本文与系列论文的关系[5-13]：它是《类脑大模型大脑部分》（五子网总纲）在视觉通道的具体化——五子网总纲给出了各子网的通用设计，本文给出各子网消费视觉信息的专用机制[7]；它与《感知理解子网》《认知推理子网》等五子网专论互为经纬——专论阐述子网内部的完整设计，本文阐述五个子网如何围绕"同一份视觉信息"分工协作[8-12]；它与《小脑视觉预处理》直接对接——前者输出空间事实，本文消费空间事实并反馈语义解释，构成"小脑看空间、大脑看世界"的完整视觉通路[13]；它与《感知层整合处理》互补——整合处理解决多模态的融合问题，本文聚焦视觉单模态在大脑内部的纵深加工[5-13]。

2 理论基础

2.1 视觉双通路：腹侧与背侧

Goodale与Milner提出的视觉双通路假说是大脑视觉分工的神经科学基石[1]：腹侧通路（V1→V4→下颞叶IT）服务于"知觉与识别"——物体是什么、场景如何组织，形成可供认知使用的视觉表征；背侧通路（V1→MT/V5→顶叶）服务于"视觉引导的动作"——物体在哪里、如何伸手去够，形成可供运动系统使用的空间表征[1]。两条通路并非完全独立：它们共享早期视觉输入，在顶叶与颞叶交界处交互，共同支撑"既知道是什么、又知道怎么做"的完整视觉行为[1]。

工程映射[1,5,13]：小脑视觉预处理承担背侧通路的角色（空间与动作），大脑五子网中的感知理解子网承担腹侧通路的角色（语义与识别），而认知推理、世界模型等子网则对应腹侧通路之上更高层的联合皮层加工[1,5-9]。双通路假说为本文的"小脑传空间事实、大脑做语义解释"的分工提供了直接的神经科学依据[1,5,13]。

2.2 视觉皮层的层级处理

腹侧通路的层级组织是视觉识别的计算模板[2]。Riesenhuber与Poggio的HMAX模型表明：初级视皮层V1的简单细胞检测边缘与朝向，复杂细胞进行位置不变性整合，逐级组合为V4的物体部件、IT皮层的复杂物体选择单元，形成"简单特征→复合特征→物体模板"的前馈层级[2]。现代卷积神经网络正是这一层级结构的工程对应[2,29]：浅层学习边缘纹理、中层学习部件、深层学习物体语义[29]。中文计算机视觉综述系统梳理了深度卷积神经网络与类脑视觉的渊源——CNN的层级结构与腹侧通路的一致性，是"类脑视觉"命题的工程依据[29]。

层级处理给大脑视觉设计的启示[2,8]：视觉语义化应遵循"自下而上建层级、自上而下加约束"——底层由视觉基础模型提供通用特征，高层由语义模型组织为结构化描述[8,14-16]。

2.3 视觉注意：显著性驱动与目标导向

视觉注意决定"看哪里"，是视觉信息进入认知加工的门控[3-4]。Itti等的经典显著性模型以中央-周边机制融合颜色、亮度、方向特征生成显著图，驱动自底向上的注意选择[3]；Corbetta与Shulman提出注意的双网络理论——背侧顶内/额叶网络支持目标导向的注意（按任务找目标），腹侧颞顶网络支持刺激驱动的注意（被显著事件捕获）[4]。两条注意路径在大脑中动态竞争与协作：阅读时目标导向主导（找文字），突然的移动物体则捕获刺激驱动注意[3-4]。

工程映射[3-4,5,13]：小脑视觉预处理已具备快环的注意能力（执行目标的空间定位[13]）；大脑侧需要任务级的注意路由——认知推理子网下发"找什么"（目标导向），感知理解子网检测"显著异常"（刺激驱动），两者竞争决定视觉处理的优先分配[3-5,8-9]。视觉注意的工程实现可借鉴显著性模型（颜色/亮度/方向特征图融合[3]）与目标导向的特征查询（"按类别找物体"的CLIP式检索[16]）。

2.4 视觉预测编码

预测编码理论认为大脑视觉的本质是"预测与纠错"：高级皮层持续生成对低层输入的预测，只有预测误差向上传播[22]。Lotter等的PredNet将这一理论工程化：网络每层包含"表示单元（预测当前帧）+误差单元（记录预测误差）"，自上而下的预测与自下而上的误差交替传播，可在无监督条件下学习视频预测[22]。视觉预测编码的行为证据包括：看到熟悉场景时注视更快（预期确认），场景意外变化时产生强烈的朝向反应（预测误差）[22]。

工程映射[10,22]：世界模型子网的视觉预测功能即预测编码的实现载体——预测未来画面、比对实际画面、以误差驱动更新[10,22]；同时，预测结果回流感知理解子网作为视觉先验（“预期这里有杯子”），预期与感知一致则快速确认、不一致则标记意外——这一机制与本文第6章的设计直接对应[8,10,22]。

2.5 视觉场景理解与视觉推理基础

视觉场景理解将图像从"像素集合"上升为"结构化场景描述"[17]。Visual Genome提供了大规模"场景图"标注——以（物体-关系-物体）三元组组织图像内容（如"杯子-在…上-桌子"），为场景理解定义了数据基础与评测任务[17]；场景图生成成为连接视觉识别与语言推理的标准中间表示[17-18]。视觉问答（VQA）把"看图回答问题"确立为视觉推理的任务范式[19]；CLEVR以合成场景解耦物体识别与推理能力，使"构成式推理"可被诊断式评测[18]；GQA进一步以场景图为底构建带推理结构的真实图像问答，支持可解释的构成式推理评估[20]。

这些工作为大脑视觉的认知层提供了成熟的组件基础[8-9,17-20]：感知理解子网的输出可以采用场景图式的"物体-关系-事件"结构（与UWS的实体-关系表示兼容[8]）；认知推理子网的视觉问答与空间推理可直接复用VQA/GQA的模型与评测范式[9,18-20]。

2.6 视觉基础模型

视觉基础模型提供了可复用的通用视觉表征[14-16]。ViT将图像切块为token输入Transformer，奠定了视觉基础模型的架构范式[14]；SAM以提示式分割实现"分割一切"，提供通用物体掩码能力[15]；CLIP以4亿图文对对比预训练实现图文联合表征，支持零样本的图文匹配与检索[16]。三者的组合（ViT编码+CLIP语义对齐+SAM实体化）构成了现代视觉语义化流水线的标准组件[14-16]。

在大脑视觉设计中，视觉基础模型的角色定位为"感知层引擎"[8,14-16]：感知理解子网以CLIP式图文对齐支撑开放词汇的语义标签（不受固定类别限制），以SAM式分割支撑任意物体的实体化（不受检测框类别限制），以ViT为骨干提供层级视觉特征[8,14-16]。它们与场景图结构化输出的结合，使视觉语义化兼具"开放性"（认识新类别）与"结构性"（输出可推理的表示）[8,14-17]。在大脑视觉五子网的语境中，视觉基础模型的角色可进一步映射：ViT骨干对应腹侧通路的层级特征提取[2,14]，CLIP的图文对齐对应"视觉概念-语言符号"的绑定（人类通过语言学习视觉类别的机制类比）[16]，SAM的分割对应"视觉实体化"（把连续视觉场景切分为可指称的离散对象）[15]——视觉基础模型不是被"接入"大脑，而是被"组织"进感知理解子网的类脑处理层级[8,14-16]。

2.7 五子网架构与全局工作空间

本系列《类脑大模型大脑部分》给出了五子网+全局工作空间（GWS）的大脑架构[5,7]。五子网分工[7]：感知理解子网（多模态编码与语义化世界状态，类比感觉皮层[8]）；认知推理子网（基于LLM的推理与知识图谱，类比前额叶[9]）；世界模型子网（潜空间预测+生成式+可微物理的推演引擎，类比海马体与顶叶[10]）；情感评估子网（八维离散+三维VAD的情感空间，类比杏仁核[11]）；反思创新机制（自我评估与纠错循环，类比前额叶的元认知[12]）。GWS协调总线以消息（Msg={type, payload, timestamp, priority}）在子网间广播，消息优先级为生存>安全>任务>社交[5,7]。

视觉在大脑中的进入路径（类脑大脑前作）[7]：视觉图像→感知理解子网编码为结构化世界状态→经GWS分发给世界模型（输入状态与动作候选）、认知推理（分析规划）、情感评估（情绪线索）、反思机制（视觉认知自我评估）[7]。本文的五个子网视觉处理设计，正是对这一总纲路径的逐子网细化与联合机制设计[5-13]。

2.8 大脑视觉五个子网联合处理的设计定位

综合上述理论，大脑视觉五个子网联合处理的设计定位可归纳为[1-13]：位于大脑侧、承接小脑视觉预处理输出（空间事实）、由五个子网按认知职能分工消费并协作的视觉处理体系。设计遵循三条原则[5-13]：其一，分工而不分割——五子网各自消费视觉的不同侧面，但共享同一份视觉事实与统一的视觉世界状态，避免各子网持有互相矛盾的视觉认知[7-8]；其二，递进而非堆叠——处理深度沿"语义→推理→预测→情感→反思"递进，高层处理消费低层输出并反馈调制低层，构成视觉认知的纵深[7-12]；其三，开放而不封闭——视觉处理组件（视觉基础模型、场景理解模型、视频预测模型）可独立升级，子网内实现与子网间协作解耦[8-16]。三项原则共同确立：大脑视觉不是"一个更大的识别器"，而是"以五子网协作为组织、以视觉世界状态为核心"的综合处理体系[5-13]。

3 视觉信息从小脑向大脑的传递

3.1 小脑视觉预处理的输出：空间事实

小脑视觉预处理向大脑传递的是"空间事实"[13]：以Object3D消息为核心的物体状态（物体ID、类别、三维位置、朝向、置信度）、深度图与空间结构（环境的几何表示）、SelfMotion消息（自运动速度与姿态）以及VisualStabilized稳像流[13]。空间事实的特点是"客观几何"——它回答"物体在三维空间中处于什么位置、以什么姿态存在"，而不回答"这个物体是什么、意味着什么"[13]。

小脑视觉预处理前作对接口语义的界定是理解本文的起点[13]：“小脑视觉输出空间事实（深度/坐标——客观几何）、大脑视觉补充语义解释（这是什么——主观理解）——事实+解释”[13]。空间事实的时标是毫秒级（执行快环），语义解释的时标是秒级（认知慢环），两者经GWS桥接，语义更新不阻塞空间处理[7,13]。

3.2 "事实+解释"的分工原则

"事实+解释"是大脑视觉处理的基本分工原则，其神经科学基础是视觉双通路假说[1,13]：背侧通路提供空间事实（在哪里），腹侧通路提供语义解释（是什么），两条通路共享早期视觉输入但服务于不同消费方[1]。

在大脑五子网的语境中，“事实+解释"分工被进一步展开[5-13]：小脑视觉（与大脑感知理解子网的低层）共同维护"事实层”——空间事实（物体在哪）+基础语义（物体类别），事实层要求客观、稳定、可验证[8,13]；五个子网在事实层之上进行各自的"解释"——认知推理解释"这意味着什么"（如Object3D+场景语义→"杯子在桌沿，可能掉落"）、世界模型解释"将发生什么"、情感子网解释"感受如何"、反思子网解释"事实是否可信"[9-12]。解释层允许主观性与假设性，但任何解释须锚定事实层并标注置信度——防止脱离视觉事实的凭空推断[7-12]。

3.3 传递通道：GWS广播与语义-空间桥接

视觉信息从小脑向大脑的传递通道是GWS[5,7,13]：小脑视觉预处理的空间结果（Object3D/深度/自运动）作为"视觉事实消息"经GWS广播给大脑各子网[7,13]。传递设计的三项机制[7-8,13]：

消息语义化——原始空间消息在进入大脑语义处理前，先经感知理解子网的轻量语义化（ID→类别标签、位姿→"在桌上"的空间关系初判），避免各子网重复进行底层几何理解[8,13]；语义-空间桥接——小脑视觉用语义ID定位空间（认知层下发"找ID=3的物体"，小脑返回其坐标[13]），大脑侧据此建立"语言指代↔空间位置"的双向映射（说话提到"那个杯子"→查询其空间坐标→小脑引导注视与抓取）[8-9,13]；增量更新——空间事实变化频繁（物体移动），GWS广播采用增量消息（Object3D.update），语义层订阅相关实体的事件流而非轮询全量状态[7-8]。

3.4 快慢双视觉：小脑快环与大脑慢环

大脑视觉处理与小脑视觉预处理的时标差异决定了处理分层[5,13]：小脑快环（毫秒级）——稳像、深度、位姿的连续估计，服务执行闭环，要求低延迟高频率[13]；大脑慢环（百毫秒至秒级）——场景语义化、推理、预测、情感评估，服务认知决策，允许较长的处理时间但要求语义质量[7-13]。

快慢双视觉的协作模式[5,13]：快环提供"连续的世界几何"，慢环提供"离散的世界语义"——慢环在快环的几何框架上标注语义事件（“那个物体是杯子”）；快环执行慢环的语义目标（“按语义找位置”）。两者间存在"语义刷新不阻塞空间处理"的约定[13]：当慢环正在分析新场景时，快环继续维持空间跟踪，执行系统不会因语义处理的时延而失去对世界的空间把握[13]。这一约定使大脑视觉处理可以"慢慢想、稳稳看"——思考语义时不丢空间[5,13]。快慢协作的典型时序：快环以30-60 Hz维持空间跟踪，慢环以1-5 Hz更新语义标注，两者通过共享的实体ID关联——快环跟踪的每个物体都挂接慢环的语义标签，语义更新时标签刷新而几何跟踪不中断[5,13]。当慢环语义与快环空间发生矛盾（语义说"杯子在桌上"而快环显示"杯子正在掉落"），以快环的空间事实为紧急依据（安全级），慢环再行语义修正——“空间事实紧急优先、语义解释事后校正”[5,13]。

3.5 视觉信息传递的质量保障

视觉信息在传递过程中的质量保障设计[7-8,13]：置信度贯穿——空间事实携带几何置信度（深度噪声、遮挡程度），语义化结果携带识别置信度，两者在传递中不丢失，供消费子网判断证据强度[8,13]；时延预算——空间事实的端到端时延目标不超过100 ms（感知门户到大脑消费方），语义结果允许秒级时延但须带时间戳供时序推理[5,7,13]；丢帧与遮挡处理——视觉流短暂中断时，大脑子网以世界模型的运动外推填补（“物体按速度继续移动”），不因单帧丢失产生语义跳变[10,13]；传递审计——GWS记录视觉消息的传递日志（何时、何内容、发给谁），供反思子网回溯"哪个子网基于哪份视觉事实作出了判断"[7,12]。

3.6 五子网联合处理的总体架构

综合上述设计，大脑视觉五个子网联合处理的总体架构为[5-13]：

输入端：小脑视觉预处理（空间事实）→ 感知门户 → GWS。

大脑侧五子网的视觉处理分工[7-13]：感知理解子网——把空间事实与原始视觉流语义化为"视觉世界状态"（场景图：物体-关系-事件），是视觉语义的唯一权威源[8]；认知推理子网——消费视觉世界状态，执行视觉问答、空间推理与基于视觉的任务规划[9]；世界模型子网——把视觉事件写入世界状态，执行视觉预测（未来画面）与潜空间想象[10]；情感子网——从人脸、体态与场景中提取情感线索，更新八维情感状态[11]；反思创新子网——监控视觉处理的错误模式（误检、幻觉、错觉），执行归因与能力更新[12]。

输出端：视觉世界状态（给认知决策）、视觉预测（给执行预判）、视觉情感（给社交行为）、视觉反思报告（给自进化系统）——经GWS分发给各自的消费方[5-13]。

处理原则[5,7]：同一份视觉事实五个子网共享，任何子网不得私下持有与共享事实冲突的视觉认知；子网间的视觉协作以消息驱动，消息优先级遵循GWS的生存>安全>任务>社交规则（如"看到危险"的视觉消息优先于"看到熟人"的社交视觉）[5,7]。

“联合"的判定并非"五个子网都处理视觉"这一松散事实，本文给出三条可检验的联合判据[5,7-12]：其一，事实层共享——五个子网消费的视觉事实来自同一权威发布（感知理解子网的视觉世界状态），任何子网不得私下维护独立的场景认知[8]；其二，时序一致性——子网间的视觉消息按统一时间戳与版本号组织，后到消息覆盖先到消息、乱序消息被缓存重排，保证各子网对"当前视觉状态"的认知在同一时间切面[7]；其三，结论互验——任一子网的重大视觉结论（危险判断、情感判断、预测判断）须能被其他子网的独立证据支持或反驳，互验失败触发反思归因而非强行统一[12]。满足三条判据的处理体系方为"联合处理”，否则只是"并行处理各自为政"——这一区分是本文架构主张的核心[5-12]。

3.7 视觉信息传递的带宽与算力管理

视觉是带宽消耗最大的感知模态（高帧率图像/视频流），五子网若各自处理原始视觉流将造成算力浪费[7-8]。带宽与算力管理设计[7-8,13]：分层消费——只有感知理解子网与低层视觉处理消费原始图像流，其余子网只消费结构化的视觉世界状态（语义消息远小于原始像素）[8]；按需订阅——子网按任务订阅视觉消息的特定类型（认知推理订阅实体与事件、世界模型订阅运动状态、情感子网订阅人脸区域），不订阅全部视觉内容[7]；分级分辨率——感知理解子网对全场景低分辨率处理（场景级语义），对注意区域高分辨率处理（细节级语义），兼顾语义质量与算力[8,13]；算力预算——视觉处理链路的端到端算力预算按"识别30%、语义化20%、预测20%、推理20%、情感与反思10%"分配，超预算时优先保障安全级视觉处理[7-8]。

4 感知理解子网的视觉处理

4.1 从空间事实到场景语义

感知理解子网承担大脑视觉的"语义化"职能[7-8]：把小脑视觉传递的空间事实（Object3D：坐标、位姿、类别初判）与原始视觉流（图像帧）上升为场景语义[8,13]。语义化的核心是回答三个问题：这是什么（类别与属性）、它与什么在一起（关系）、正在发生什么（事件）[8,17]。

工程实现路径[8,14-17]：视觉特征提取（ViT骨干编码图像帧[14]）→ 物体识别与分割（检测框/掩码实体化[15]）→ 属性与关系预测（物体间空间关系与属性标注[17]）→ 语义结构组装（场景图式的视觉世界状态[8,17]）。小脑视觉的Object3D为语义化提供几何约束——"两个物体空间相邻"的先验加速关系判定，"物体静止/运动"的状态辅助事件检测[13]。

4.2 场景图的构建

视觉世界状态采用场景图式的结构化表示[8,17]：以物体为节点、关系为边、属性为节点标注的三元组集合组织场景语义（“杯子-在…上-桌子”、“桌子-旁边-窗户”）[17]。构建流程[8,15,17]：实体化（SAM式分割获得物体掩码与边界[15]）；识别（ViT/CLIP标注类别与属性[14,16]）；关系预测（基于空间布局与语义相容性判定物体间关系[17]）；动态更新（场景变化时增量修改场景图——物体移动、出现、消失）[8]。

场景图与UWS的实体-关系-事件表示天然兼容[8]：场景图的物体节点即UWS的实体，关系即UWS的关系，场景图的事件层（“物体被打翻”）即UWS的事件[8]。这一兼容性使感知理解子网的视觉输出可直接被认知推理与世界模型消费[8-10]。场景图构建的典型输出形如：“厨房场景：灶台（不锈钢，静止）-相邻-锅（金属，加热中）；锅-盛有-水（沸腾）；人（张先生，站立）-手持-锅铲——事件：正在烹饪”。这样的结构化描述使认知推理可以直接进行"锅里的水沸腾→需要关小火"的推理，而无须回到像素[8-9,17]。

4.3 视觉-语言对齐

视觉语义需要语言媒介才能被认知推理使用[8,16]。感知理解子网以CLIP式图文对比对齐建立"视觉↔语言"的共享语义空间[16]：图像特征与文本特征在同一嵌入空间中度量相似度，视觉概念可直接以自然语言查询（"找桌上的红色杯子"→计算文本与图像区域特征的相似度）[16]。

视觉-语言对齐的应用[8,16]：开放词汇标注——类别标签不限于训练集固定集合，任何文本可描述的视觉概念都可匹配（认识"保温杯"即使训练数据中只有"杯子"）[16]；属性与关系的语言化——“透明的”"在…左边"等语言描述可直接与视觉特征对齐，支撑场景图的语言化构建[8,16]；指代落地——语言指代（“那个”）经对齐映射到视觉实体，为认知推理的指代消解提供视觉基础[8-9,16]。

4.4 开放词汇与长尾理解

真实世界的视觉类别服从长尾分布：少数常见物体（人、车、桌）出现频繁，大量罕见物体（特殊工具、特定植物）鲜少出现[8,16]。固定类别检测器在长尾场景中性能衰减，感知理解子网因此采用开放词汇策略[8,14-16]：以CLIP式图文对齐支持任意文本可描述的类别（零样本识别）；以分割基础模型提供类别无关的实体化（先分割后识别，避免检测框类别限制）[15-16]；视觉基础模型的大规模预训练提供常识级视觉知识（认识"一般杯子长什么样"）[14-16]。

长尾理解的工程要点[8,16]：置信度校准——开放词汇识别的置信度与固定类别识别不可直接比较，需按类别频率校准；不确定则询问——罕见物体识别置信度低时，感知理解子网输出"未知物体"标记并触发主动询问（“这是什么？”），而非强行给出错误标签[8]。

4.5 视觉分割与实体化

场景语义化的前提是"知道哪里有物体"[8,15]。SAM式分割基础模型提供了提示式分割能力：给定图像与提示（点、框、掩码），输出精确的物体掩码，支持任意物体的实体化[15]。实体化流程[8,15]：候选发现（显著性检测或检测框生成候选区域[3,15]）→ 掩码分割（SAM细化边界[15]）→ 实体对象创建（为每个掩码建立持久化的视觉实体ID）→ 属性绑定（类别、颜色、位置绑定到实体）[8]。

实体化的价值[8,15]：为场景图提供稳定的节点（实体ID跨帧持久）；为空间事实提供语义外壳（Object3D的几何坐标挂接语义标签）；为交互提供操作对象（"抓住那个实体"的视觉锚点）[8,13,15]。语义分割作为实体化的像素级基础，其方法演进（区域分类与像素分类两条主线）为掩码质量提供了系统参考[28]。

4.6 视觉世界状态的表示与输出

感知理解子网的最终输出是"视觉世界状态"[8]：由场景图（物体-关系-事件）+ 空间锚定（每个实体绑定三维坐标）+ 置信度（识别与关系置信度）组成的结构化视觉认知[8,13]。视觉世界状态与本系列感知整合设计中的统一世界状态（UWS）保持同构：视觉世界状态即UWS的视觉域视图——UWS是跨模态（视觉、听觉、触觉）的统一世界表示，视觉世界状态是其中由视觉模态支撑的实体-关系-事件子集，两者共享实体ID体系与置信度表示，视觉信息可无缝并入多模态UWS而无须格式转换[5,8]。视觉世界状态经GWS输出给消费子网[7-8]：认知推理子网读取状态执行推理（“场景中有什么、关系如何”）[9]；世界模型子网以状态为推演初始条件[10]；情感子网提取状态中的表情与场景线索[11]。视觉世界状态的更新采用事件驱动——场景变化（新物体、关系改变、事件发生）时输出增量更新，静止场景不产生冗余消息[7-8]。

视觉世界状态的质量指标[8,13]：语义完整性（场景中重要物体是否都被识别）、关系准确率（物体间关系判定是否正确）、事件检出率（动态事件是否被及时捕获）、更新时延（场景变化到状态更新的延迟）。这些指标构成第9章评估体系的基础[8,13]。

4.7 视觉语义化的分层架构

视觉语义化遵循"自下而上建层级、自上而下加约束"的分层架构[2,8]：底层（特征层）——视觉基础模型提供通用视觉特征，对类别与场景中立[14-16]；中层（实体层）——检测、分割与识别形成视觉实体（类别+属性+位置）[8,15,28]；高层（语义层）——实体组织为场景图，形成关系与事件的结构化描述[8,17]。自上而下的约束来自任务上下文与认知预期：认知推理下发"当前关注人物交互"的语义焦点，感知理解子网据此提高相关关系（人与物体的交互）的检测优先级、降低无关属性（背景纹理）的处理投入[8-9]；世界模型的场景预期（“厨房里应有水槽”）作为语义先验，加速一致场景的理解、标记不一致内容[8,10]。分层架构使语义化兼具效率（低层特征复用）与灵活性（高层按需聚焦）[2,8]。

5 认知推理子网的视觉处理

5.1 视觉驱动的推理：看见→推断

视觉信息到达认知推理子网时，已经过感知理解子网的语义化（场景图+实体ID），认知推理在此之上的核心操作是"看见→推断"[7,9]：看见物体与场景，推断其含义与后果。视觉推理与纯文本推理的差异在于：视觉推理的输入是结构化的场景语义（物体-关系-事件），而非自然语言句子，因此推理需要"视觉事实→语言命题"的转换与"语言推理→视觉验证"的回溯[8-9,17]。

视觉推理的典型形式[9,18-20]：描述性推理（场景中有什么）；关系性推理（A与B什么关系）；计数与逻辑推理（有几个红色的）；反事实推理（如果X移开会怎样）。视觉推理还需常识的支撑——看到"厨房里冒烟"推断"可能烧干了锅"，依赖"锅烧干会冒烟"的常识而非图像本身的信息；认知推理子网的知识图谱（系列前作）为视觉推理提供常识查询（物体功能、场景常规、因果关系），使视觉结论超越"图像表面信息"[9]。VQA任务范式为这些推理提供了成熟的评估框架[19-20]，GQA的构成式问答结构（问题可分解为推理程序）为"可解释的视觉推理"提供了评估路径[20]，CLEVR则提供了诊断式评测（解耦识别与推理[18]）。认知推理子网复用这些范式，但推理对象从静态图像扩展为动态的视觉世界状态[8-10,18-20]。

5.2 视觉问答与构成式推理

视觉问答是认知推理子网视觉处理的核心任务形态[9,19]。实现分层[9,18-20]：底层——视觉语言对齐（感知理解子网提供的图文共享空间[8,16]）；中层——场景语义提取（从视觉世界状态取回问题相关的实体与关系[8,17]）；高层——语言推理（以LLM执行多步推理，将问题分解为子问题逐级回答[9]）。构成式推理强调可分解性：复杂问题（“桌上有几个比杯子大的物体？”）分解为（计数（大于（杯子，桌_上物体）））式推理程序[18,20]。

视觉问答的工程要点[9,18-20]：结构化优先——能从视觉世界状态直接检索的（实体属性、显式关系）优先检索，避免让模型从像素重新推理[8]；组合泛化——训练与评测采用CLEVR式组合（识别与推理能力分离评测），确保推理能力可泛化到新场景[18]；可解释输出——推理过程记录（回答了哪个子问题、依据哪个视觉实体），供反思子网审计[12,20]。

5.3 空间推理与指代消解

空间推理处理视觉世界中的位置、方向、距离与路径关系[8-9,13]：拓扑关系推理（在…上/里/旁——来自场景图）；度量关系推理（距离、尺寸——来自空间事实[13]）；运动关系推理（靠近、远离——来自多帧事件流）。空间推理直接服务动作决策（“杯子在桌沿内侧，抓取路径需避开花瓶”）[9,13]。

指代消解把语言指代落地到视觉实体[8-9]：感知理解子网建立的实体ID（4.5节）为指代消解提供候选集；指代描述（“那个红色的”“我刚才放下的”）经属性匹配与空间约束筛选出唯一实体[8]；空间指代（“那边的”）依赖空间事实（方位词↔坐标映射）[13]。指代消解与空间推理的结合使认知推理能够下达明确的执行指令（“把ID=7的实体（桌角的红色杯子）递给用户”）——认知层只须维护语义，几何执行交给小脑视觉[9,13]。

5.4 视觉-语言-动作规划

认知推理子网基于视觉信息进行任务规划，形成"看见→理解→规划→动作"的完整认知链[7,9]：任务理解（视觉场景+语言指令→任务目标）；步骤规划（把任务分解为动作序列，每步标注所依赖的视觉实体）；执行监督（动作执行中比对视觉反馈与预期，异常时调整计划）。视觉在规划中的双重角色[7,9]：输入（规划的依据——场景中有哪些可操作对象）与监督（规划的执行校验——动作结果是否如预期可见）。

视觉-语言-动作规划的工程实现参考视觉语言动作模型（VLA）范式[9,30]：把视觉观测与语言指令统一编码，自回归生成动作序列；在类脑架构中，规划由认知推理子网承担（VLA模型作为其实现引擎），小脑部位模型负责动作的精细执行[9,13,30]。需要指出的是，VLA的"端到端"与类脑的"分层"并非对立：VLA提供了"视觉→动作"的强映射能力，类脑架构则在其上叠加语义校验层——认知推理对VLA输出的动作序列进行常识校验（“把杯子递给盲人时应先提示位置”），世界模型对动作后果进行想象预演，双重校验降低端到端模型的低级错误率，同时保留端到端的高效性[9-10,30]。

5.5 视觉证据的因果推断

认知推理子网不只做相关性推理，还执行视觉证据的因果推断[9-10]：看到结果推断原因（地面积水→推断水管破裂或杯子打翻）；基于原因预测结果（看到杯子在桌沿且有人经过→预测可能碰落）；区分因果与巧合（两事件同时发生不必然因果相关）[9-10]。因果推断依赖世界模型的推演支持（因果假设→推演检验）与视觉事件的时间序列（原因先于结果）[9-10]。

因果推断的工程实现[9-10]：视觉事件时序化（把离散的视觉事件按时间组织为因果链候选）；假设-推演-验证循环（对每个因果假设，世界模型推演其预期结果，与实际视觉事件比对验证）[10]；不确定性标注（因果判断带置信度——“很可能”“可能”“不确定”）[9]。

5.6 视觉推理的不确定性管理

视觉世界状态自带不确定性（识别置信度、关系置信度、空间噪声）[8,13]，认知推理须显式管理不确定性而非假装确定[9]：证据分级——推理结论标注所依据的视觉证据等级（多模态强证据、单模态弱证据、推测性证据）；置信度传播——视觉置信度沿推理链传播（底层识别置信度低时，高层结论置信度相应下调）；不确定则行动——推理置信度不足以决策时，触发视觉重检（主动感知：换个视角再看[8]）、信息询问（“我没看清，那个物体是什么？”）或保守决策（不做有风险的行动）[8-9]。重检请求经GWS发回感知理解子网并联动小脑视觉：大脑请求"重新观察桌角区域"，小脑视觉执行注视转移与深度重测[9,13]。这一"推理层请求、感知层响应"的闭环使视觉推理从被动消费升级为主动获取证据——认知不再将就模糊的视觉输入，而是通过追问获得清晰的事实基础[8-9,13]。

6 世界模型子网的视觉处理

6.1 视觉事件进入世界状态

世界模型子网维护"世界状态"并执行推演[7,10]，其状态更新高度依赖视觉——视觉是世界状态最主要的更新来源[7,10,13]：感知理解子网输出的视觉世界状态（场景图+事件）作为"观测事实"写入世界模型的事实库[8,10]；小脑视觉的空间事实（Object3D/自运动）作为连续几何状态同步写入[10,13]。世界模型前作定义了世界状态的表示（物理-社会-文明三维结构）与推演引擎（潜空间预测+生成式+可微物理三层融合）[10]，视觉信息的写入遵循该表示：视觉实体→物理层对象，视觉事件→状态转移，场景语义→情境描述[8,10]。

视觉信息写入的一致性保障[7,10]：多源冲突处理——视觉观测与世界模型的既有预期冲突时（看到杯子在桌上但模型预期它在柜子里），以高置信度视觉观测为准并触发预期修正[10]；时序一致性——视觉事件按时间戳顺序写入，防止乱序导致的因果倒置[10]。

6.2 视觉预测：看见→预判

世界模型的核心视觉职能是预测——基于当前视觉世界状态预判未来画面[7,10,21-22]。预测的层次[10,21-22]：像素级预测——生成未来帧（视频预测模型，如PredNet的自上而下预测[22]）；潜空间预测——在压缩表征中预测未来状态（World Models的"梦境"想象[21]）；语义级预测——预测未来事件（“杯子将继续滑向桌沿，3秒后掉落”）[10]。工程实现可分层部署：近端毫秒-秒级的物理预测（物体运动外推）由小脑前向模型承担[13]，中远端的语义预测（事件走向）由大脑世界模型承担[10]。

视觉预测的价值[7,10]：预判支撑决策（提前知道"会掉落"就能提前行动）；预测驱动注意（预测偏差区域吸引视觉注意）；预测作为训练信号（预测误差驱动世界模型更新——见6.4节）。

6.3 潜空间想象与视觉推演

世界模型的"想象"能力使其不依赖实时视觉即可进行视觉推演[7,10,21]：给定当前状态与候选动作，在潜空间想象执行后果的视觉场景（“如果伸手去够那个杯子，会发生什么”）[10,21]。World Models的V-M-C架构（感知-记忆-控制）证明智能体可在自身"梦境"中学习规划[21]；潜空间想象的优势在于计算效率（不渲染完整像素，只在压缩表征中推演）[10,21]。

在五子网联合视觉处理中，潜空间想象的输入来自视觉世界状态[8,10]：把当前场景图的实体与关系映射到潜空间，注入候选动作，预测后果表征，再解码为语义级预期（“会碰到花瓶”）[10,21]。想象结果回传认知推理子网用于行动评估（“这个方案会导致打翻花瓶，换一个”）[9-10]。想象的具体形态因任务而异：操作想象——在潜空间预演抓取动作，检查末端轨迹是否与场景实体碰撞[10]；导航想象——预演行进路径，检查路径上的动态障碍与可通行性[10]；社会想象——预演交互行为（递物、问候），评估对方可能的反应场景[10]。想象空间的分辨率与抽象度按任务调节：精细操作需要较高空间分辨率的想象，社会交互只需事件级（语义级）想象——"想清楚要什么结果"即可，不必"像看电影一样"预演每一帧[10,21]。

6.4 视觉-预测误差驱动学习

视觉预测的误差是世界模型学习与视觉系统校准的信号[10,22]。预测编码的神经科学逻辑：预测误差（实际画面与预期画面的差异）驱动皮层更新，使预测越来越准[22]。工程对应[10,22]：误差定位——预测与实际的差异在何处（位置偏差？物体缺失？事件意外？）；误差归因——差异源于世界模型（预期错误）还是感知（观测错误）——归因错误会把模型缺陷误算为感知噪声[10,12]；误差驱动的双更新——世界模型参数按预测误差更新（模型校准），感知理解子网按误差反馈调整视觉处理参数（感知校准，如曝光、检测阈值）[8,10,12]。

6.5 视觉想象在规划中的应用

视觉想象使规划具备"预先试错"能力[7,10,21]：认知推理规划的动作序列在世界模型的想象空间中预演，评估各方案的视觉后果，选择最优方案[9-10]。视觉想象的规划应用场景[10]：操作规划——预演抓取路径（想象手伸向杯子，检查是否碰撞）；导航规划——预演移动路径（想象沿走廊行进，检查障碍）；社会场景推演——预演交互后果（想象走向主人递杯子的过程）[10]。

想象与现实的闭环[7,10]：规划基于想象做出，执行后以实际视觉反馈校验，想象与现实的偏差回流修正世界模型——“想得越准，做得越好”[7,10]。

6.6 自运动与场景动态的世界模型

视觉预测必须处理"自运动导致的场景变化"与"场景自身动态"的区分[10,13]：人眼移动时整个场景在视网膜上移动（自运动成分），物体真实移动只是局部变化（场景动态成分）。小脑视觉预处理的前庭-视觉融合已区分自运动与世界运动（VOR类补偿）[13]，世界模型在此基础上维护"世界坐标系下的场景动态"[10]：自运动成分经前庭/本体信息剥离，场景动态以世界坐标表示（“杯子在动"而非"画面在动”）[10,13]。这一表示为视觉预测提供了正确的参照系——预测在静止的世界坐标中进行，不受观察者自身运动干扰[10,13]。

6.7 视觉预测的层次与时标

视觉预测按时间尺度与抽象层次分为四级[7,10,13,21-22]：第一级毫秒级运动外推——小脑前向模型预测物体短时运动轨迹（自由落体、惯性滑动），支撑抓取与避让的实时控制[13]；第二级百毫秒级像素预测——视频预测模型生成近未来帧（PredNet式[22]），支撑遮挡推理与短暂注意转移；第三级秒级语义事件预测——世界模型预测"事件走向"（杯子滑向桌沿→将掉落），支撑决策的提前量[10]；第四级长时程情境预测——潜空间想象推演多步动作后果（World Models式梦境[21]），支撑任务规划。四级预测的误差逐级放大、抽象逐级升高：低层追求几何精确、高层追求事件正确——工程上不要求秒级预测像素精确，而要求"事件是否发生"判断正确[7,10]。

7 情感子网的视觉处理

7.1 面部表情识别：从人脸到八维情感

在视觉情感的多类线索中，面部表情承载的信息最密集[11,23-24]。情感子网的视觉情感通道沿"人脸检测→对齐→特征→映射"组织[11]：人脸检测与对齐→表情特征提取→情感映射。表情特征提取采用FACS动作单元（AU）与深度特征两条路径[11,23]：AU路径——检测面部动作单元组合（内眉上扬AU1、嘴角上翘AU12等），按AU组合规则推断基本表情；深度路径——以CNN/ViT在大规模表情数据集上端到端学习（AffectNet提供约百万张自然场景人脸的表情与效价/唤醒度标注，是视觉情感的标准数据基准[23]）。

情感映射到类脑大模型的八维情感空间（喜怒哀乐忧思恐悲八维，强度0-1）+三维VAD连续空间（效价-唤醒-支配）[11]：表情类别（快乐→喜）经区域映射进入八维空间；表情的强度（微笑vs大笑）映射为情感强度；AffectNet式的效价-唤醒连续值直接对应VAD空间的效价与唤醒维度[11,23]。深度表情识别综述（Li & Deng）系统梳理了从实验室数据集到自然场景的FER方法演进与开放挑战（遮挡、姿态、光照变化）[24]，为视觉情感通道的工程选型提供依据[24]。

7.2 体态与动作情感

面部之外，体态与动作携带补充性的情感信息[11]：蜷缩体态→恐惧，抱胸→防御，快速踱步→焦虑，开放姿态→放松[11]。体态情感识别的工程路径[11]：骨骼关键点检测（人体姿态估计）；姿态特征（关节角度、身体朝向、动作速度）；体态-情感映射（姿态模式→八维情感）。体态情感的价值在于弥补表情的局限[11,23-24]：表情可被刻意控制（强装笑靥），体态更难伪装（防御性体态的泄露）；远距离或侧脸时表情不可用，体态仍然可见[11]。

视觉情感的多线索融合[11]：表情（脸）+体态（身）+动作（行为）三线索在情感子网内融合——线索一致时增强情感置信度，线索矛盾时（笑着握拳）以更不可伪装的线索为准，与系列情感子网的多模态融合规则一致[11]。

7.3 场景与审美情感

视觉情感不限于人——场景本身唤起情感[11]：昏暗压抑的场景→低沉，明亮开阔的场景→愉悦，混乱的场景→不安。场景情感的估计路径[11]：场景全局特征（颜色分布、亮度、空间开放度）→效价-唤醒估计；场景语义（葬礼/婚礼/运动场）→事件性情感标签。审美情感是场景情感的高阶形态：视觉艺术（画作、设计）唤起的美感体验，涉及和谐、对称、色彩搭配等审美维度[11]。

场景情感与个体情感的区分[11]：场景情感是"环境的情绪氛围"，个体情感是"主体的情绪状态"——情感子网维护两者：场景氛围作为情感上下文（处于压抑场景中，主体的情绪基线被压低），个体表情体态作为主体情感的直接证据，两者结合形成完整的情感评估[11]。

7.4 视觉情感的表示与输出

视觉情感经处理后输出为统一的情感表示[11]：八维离散向量（喜、怒、哀、乐、忧、思、恐、悲各维强度）+ VAD连续值（效价、唤醒、支配）+ 情感强度与置信度[11]。视觉情感输出的消费方[7,9,11]：社交行为——识别用户表情指导得体响应（用户皱眉→询问是否需要帮助）；情感共情——识别场景氛围触发情感子网的状态调制（葬礼场景→降低欢快表达倾向）；行为调制——识别恐惧表情→降低动作突兀度[9,11]。

视觉情感的置信度管理[11,23-24]：表情识别在遮挡、光照不良时置信度低，输出标注低置信度并等待其他线索（语音韵律、体态）补充，不强行输出高置信度情感——避免"读错情绪导致错误社交响应"[11]。视觉情感输出的工程示例：“情感消息：主体=用户A，来源=视觉（表情AU12上扬+体态放松），八维={喜:0.7, 其余<0.2}，VAD={效价:0.6, 唤醒:0.4, 支配:0.5}，置信度=0.85，时间戳=T”——该消息经GWS供社交行为模块决定响应风格（愉悦基调）[7,11]。

7.5 情感对视觉处理的调制

视觉情感处理不是单向的——情感状态反过来调制视觉处理[7,9,11]：注意调制——焦虑状态下对威胁性视觉线索更敏感（负性注意偏向）；记忆调制——高唤醒的视觉事件记忆更深刻（情感增强记忆）；行为调制——情感状态影响视觉引导的行为倾向（愉悦时更主动接近视觉目标）。这一调制机制使视觉与情感形成闭环：视觉产生情感，情感塑造视觉[7,9,11]。

情感调制的工程实现[9,11]：情感状态作为视觉注意路由的调节参数（焦虑→提高威胁检测的优先级）；情感状态作为视觉记忆编码的权重（高唤醒场景→高优先级转存记忆）；情感状态作为视觉处理策略的上下文（用户情绪低落→视觉处理更多关注其需求线索）[9,11]。

需要明确情感子网在联合机制中的消息角色[7,11]：八维情感状态是情感子网的内部状态，视觉情感消息（7.4节示例）是触发状态更新的输入信号；经GWS广播的是情感评估的"结果消息"（如"用户情绪低落，建议放缓语速"的社交行为建议），而非情感状态本身——各子网不得直接读写情感子网的内部状态，只能消费其结果消息，这一约束防止多个子网并发修改情感状态导致的状态分裂[7,11]。

7.6 视觉情感的文化差异与个体适配

表情与场景的情感含义存在文化差异与个体差异[11,23-24]：基本表情（喜怒哀惧）跨文化一致，但表情的强度表达与情境规则因文化而异（东亚文化更倾向抑制负面表情外露）；场景情感（婚丧嫁娶的色彩与氛围）强烈依赖文化习俗；个体差异表现为表情基线不同（有人天生严肃脸）与情感表达习惯不同[11]。视觉情感的适配设计[11,23-24]：文化配置——情感映射模型按文化语境配置（表情-情感映射表与文化校准参数）；个体画像——通过长期交互建立用户的表情基线（“用户平时就是这个表情”），表情解读相对基线进行而非绝对判断；适配学习——用户对情感解读的纠正反馈（“我没有生气”）回流情感子网，校准个体情感映射[11-12]。

8 反思创新子网的视觉处理

8.1 视觉错误类型学

视觉处理系统会犯错，反思创新子网的首要职能是对视觉错误进行分类与归因[12]。视觉错误类型学[12,25-27]：误检（把A识别为B——识别器错误）；漏检（场景中的物体未被发现——显著性/阈值错误）；错觉（视觉系统对稳定场景产生系统性错误解读——如光照导致阴影误判）；幻觉（视觉系统"看到"实际不存在的内容——生成式模型与多模态大模型的常见缺陷[26]）；空间误差（位置/位姿估计偏差——几何错误[13]）。盲视研究表明大脑存在无意识的残余视觉加工[27]——某些视觉错误并非"没看到"，而是"看到了但未进入意识与语义通道"，这提示错误归因须区分感知层与认知层的错误来源[12,27]。

错误归因的流程[12]：错误检出（反思触发——下游行为异常、视觉消息自相矛盾、用户纠正）；错误定位（错误发生在哪一层——传感器/前端识别/语义化/推理假设）；原因分析（光照、遮挡、类别罕见、模型缺陷、上下文缺失）；修正入库（修正措施写入经验库，防止同类错误重犯）[12]。以"把窗帘误检为人"为例的错误归因过程：下游行为异常触发（认知推理规划了"向人问好"但对象是窗帘）→错误定位在感知层识别环节→原因分析为"窗帘褶皱与人体轮廓相似且光照投影强化了轮廓"→修正措施（对静止时间过长的"人"候选降低置信度、结合小脑视觉的运动证据复核[13]）→修正入库后同类误检率显著下降[12-13]。

8.2 视觉幻觉的检测与抑制

视觉幻觉（多模态模型"看到"不存在的物体或属性）是当前视觉智能的突出问题[26]。幻觉的成因：训练数据的统计偏差、解码时的过度生成倾向、视觉证据不足时的"脑补"[26]。Woodpecker等工作提出免训练的幻觉纠正流水线——关键概念提取→提问→视觉知识验证→幻觉声明纠正，在POPE基准上显著降低多模态大模型的视觉幻觉[26]。

反思创新子网的幻觉治理设计[12,26]：幻觉检测——视觉世界状态中的每个实体须有视觉证据锚定（分割掩码或检测框），无锚定的实体标记为"疑似幻觉"；幻觉验证——对疑似幻觉实体进行视觉重检（重新聚焦该区域确认）；幻觉纠正——确认的幻觉实体从视觉世界状态移除并记录错误模式[12,26]。治理的关键是"证据锚定"原则：任何进入视觉世界状态的语义都必须可回溯到视觉证据，这是感知理解子网（4.5实体化）与反思子网（证据审计）共同执行的底线规则[8,12,26]。

8.3 对抗扰动与视觉鲁棒性反思

对抗样本揭示深度视觉模型的脆弱性：对人类不可见的微小扰动可使模型产生完全错误的识别[25]。对抗鲁棒性研究（FGSM等攻击与防御）表明，视觉系统需要超越"训练集精度"的鲁棒性评价[25]。反思创新子网将对抗鲁棒性纳入视觉反思的范畴[12,25]：鲁棒性监测——在运行中检测异常输入（超出训练分布的统计异常、可疑扰动模式）；鲁棒性评估——定期以对抗样本与分布外样本评估视觉模型；鲁棒性改进——检测到脆弱模式时触发模型更新或降级策略（低置信度区域的判断降级为"不确定"而非强行输出）[12,25]。

8.4 视觉经验沉淀与技能创新

反思不只纠错，还沉淀经验、驱动创新[12]：视觉经验库——积累"场景-正确解读"与"错误-修正"的案例（识别成功模式与失败模式）；视觉技能创新——从成功经验中提炼新的视觉处理策略（发现"金属表面高光易误检→对高光区域启用偏振特征"式的创新策略）[12]；跨子网经验共享——反思发现的视觉系统性问题反馈各子网（感知理解子网改进识别阈值、世界模型修正预测偏差、情感子网校准表情误读）[8,10-12]。

8.5 五子网视觉处理的自进化闭环

反思创新子网使五子网视觉处理具备自进化能力[7,12]：感知-反思闭环——感知理解子网的误检触发反思，反思修正感知参数（检测阈值、类别先验）[8,12]；预测-反思闭环——世界模型的预测误差触发反思，反思区分"模型错"与"感知错"，分别校准[10,12]；情感-反思闭环——情感误读（把中性表情读为负面）触发反思，校准情感映射（文化差异、个体差异的适配）[11-12]；推理-反思闭环——认知推理的视觉结论被实际证伪时，反思修正推理规则[9,12]。四个闭环共同构成大脑视觉的"使用中学习"机制——五子网视觉处理随运行持续进化，识别越来越准、预测越来越准、情感越来越懂、推理越来越稳[7-12]。

8.6 视觉能力进化的评测与门控

自进化需要评测与门控，防止"越改越差"的退化更新[12]：回归评测——每次视觉模型更新前，在固定评测集（含历史错误样本）上回归测试，新版本必须不低于旧版本[12]；在线门控——新版本以影子模式并行运行一段时间，行为稳定（无新增错误模式）后才切换为主版本；错误率监控——部署后持续监控各类视觉错误率，超过阈值自动回滚并告警[12]。评测门控使反思驱动的进化"可回退、可审计、可解释"，视觉能力随运行稳步提升而非震荡漂移[12]。

9 五子网联合视觉处理机制、训练、评估与应用

9.1 GWS协作与消息优先级

五子网对视觉信息的联合处理经GWS协调[5,7]。视觉相关消息的优先级遵循GWS总则（生存>安全>任务>社交）[7]：生存级视觉消息（看到危险：火焰、坠落、猛兽）优先广播，任何子网不得延迟处理；安全级视觉消息（看到碰撞风险、看到用户不适）次之；任务级视觉消息（当前任务的视觉反馈）正常处理；社交级视觉消息（看到熟人、表情细节）最低优先，任务紧张时可降级延迟[5,7]。

联合处理的协作模式在第3.6节联合判据（事实层共享、时序一致、结论互验）的基础上进一步落实为三个"单一权威源"[7-12]：感知理解子网是视觉语义的"单一权威源"——它发布的视觉世界状态是其他四个子网的共同输入，避免各子网各自识别导致的语义分裂；若允许各子网各自识别，同一物体可能被不同子网赋予冲突标签，认知推理将无法判断"桌子上的到底是杯子还是花瓶"[8]。世界模型是视觉预测的"单一权威源"——它对未来画面的预测是各子网共同的时间参照；若各子网各自预测，认知推理按"杯子将掉落"规划而执行侧按"杯子静止"准备，行动必然紊乱[10]。反思创新是视觉错误的"单一归因源"——视觉错误统一由其归因并分发修正任务，避免"各子网各自解释错误、互相推诿"[12]。三个"单一权威"避免重复劳动与冲突结论，同时允许各子网在权威源之上进行各自的解读——解读可以多样，事实必须唯一[7-12]。

9.2 典型场景全流程示例

以"看见水杯倒下"事件串联五子网联合视觉处理的完整流程[7-13]：

感知理解子网——小脑视觉检测到杯子运动异常（Object3D位置快速变化）并传递空间事实[13]；感知理解子网将运动物体语义化为事件：“杯子（ID=5）正在倾倒，桌面上有水杯、书本、笔记本电脑”[8]。视觉世界状态经GWS广播[7]。

世界模型子网——接收事件后执行视觉预测：推演杯子倒下的后果——水将洒出、可能溅到笔记本电脑[10]。预测结果（高风险）标记为安全级消息回传GWS[7,10]。

认知推理子网——综合场景语义与预测结果做出决策：优先移开笔记本电脑；规划动作序列（移电脑→扶杯子→擦水）[9]。同时向用户报告：“杯子要倒了，我先把它扶住”[9]。

情感子网——检测到用户表情（惊讶/紧张）与动作（伸手欲扶），估计用户情绪状态，调制交互语气（平稳安抚：“别急，我来处理”）[11]。

反思创新子网——事后审计：杯子为何倾倒（小脑视觉是否提前预警？检测延迟是否过长？），将"高重心窄底容器在桌面边缘的风险"写入经验库，触发感知理解子网对"不稳定容器"的注意偏向[12]。

再以"看见熟人"的社交场景展示另一类协作模式[7-12]：感知理解子网识别出人脸并匹配记忆中的熟人身份（实体ID绑定社会关系），输出社交级视觉消息[8]；情感子网读取对方面部表情与体态，估计其情绪状态（微笑→愉悦），并评估本机应表现的情感基调（友好）[11]；认知推理子网结合场景（对方手里拿着文件）与社会记忆推断来意（可能是来谈工作的），规划社交行为（寒暄、引导入座）[9]；世界模型子网推演社交互动的走向（寒暄→谈正事→可能持续多久），为对话管理提供时间预期[10]；反思创新子网在互动结束后评估本次社交视觉处理的得失（是否误读表情、是否漏看细节），更新熟人档案[12]。该场景展示五子网在社交视觉上的分工：识别身份（感知）、读取情绪（情感）、推断意图（推理）、预演进程（世界模型）、沉淀经验（反思）[7-12]。

两个场景（危险事件与社交事件）的共同点在于：五子网处理同一份视觉事实，但因事件性质不同，主导子网与消息优先级不同——危险事件由世界模型主导且消息升为安全级，社交事件由情感与推理主导且消息保持任务/社交级[5,7,11]。

9.3 训练数据与方案

大脑视觉五子网联合处理的训练数据分五层[7-13,17-24]：感知层——图像识别与分割数据（ImageNet类+SA-1B类掩码数据[15]）；语义层——场景理解数据（Visual Genome场景图[17]、GQA问答[20]）；推理层——视觉推理数据（CLEVR构成式[18]、VQA[19]、GQA[20]）；预测层——视频预测数据（自然视频与机器人操作视频[21-22]）；情感层——表情数据（AffectNet[23]）与体态情感数据。跨层任务（从语义到动作）补充VLA式演示数据[30]。

训练方案分阶段[7-13]：第一阶段——各子网独立预训练（感知理解子网用视觉基础模型初始化[14-16]；世界模型用视频预测数据预训练[21-22]；情感子网用表情数据预训练[23]）；第二阶段——子网内联合微调（感知理解+认知推理在VQA/GQA上联合微调，实现"语义→推理"的衔接[9,19-20]；感知理解+世界模型在视频预测任务上联合微调[10,21-22]）；第三阶段——五子网端到端适配（在具身任务与对话任务上端到端训练，经GWS消息传播梯度或采用强化学习对齐[7,9]）。此外，反思创新子网需要专门的错误数据训练：错误注入样本（人为制造遮挡、光照异常、罕见类别场景）、幻觉标注数据（标注"模型看到但实际不存在"的实体，训练幻觉检测器[26]）、对抗样本库（FGSM等攻击生成，训练鲁棒性评估器[25]）。

训练损失设计[7-12]：感知理解子网采用多任务损失——物体识别交叉熵、关系预测二分类、场景图生成的结构化损失按权重联合[8,17]；认知推理子网采用问答的交叉熵与构成式推理的程序执行监督信号[9,18-20]；世界模型采用预测损失——潜空间预测的均方误差与语义事件预测的交叉熵结合（像素级可选）[10,21-22]；情感子网采用表情分类损失与VAD回归损失结合[11,23]；反思子网采用幻觉检测的对比损失（有锚定实体为正、无锚定为负）[12,26]。五子网联合微调阶段叠加一致性损失：同一实体在各子网间表示的一致性约束（认知推理引用的实体属性须与感知理解发布的一致），使联合训练强化而非稀释各子网的专用能力[7-12]。训练稳定性沿用系列措施：冻结-解冻、课程学习（先静态场景后动态场景、先清晰表情后遮挡表情）、早停与多任务评估集监控[7-8]。

9.4 视觉联合处理质量评估体系

本文提出大脑视觉五子网联合处理的六维质量评估体系[7-13]，在五个子网的单点质量维度之外增加"联合一致性"维度，以评估联合处理本身的质量：

感知语义质量：物体识别准确率、场景图关系准确率、事件检出率[8,17]。测度：Visual Genome/GQA场景理解基准[17,20]。

推理决策质量：视觉问答准确率、构成式推理泛化（CLEVR式）、空间推理正确率[9,18-20]。测度：VQA/CLEVR/GQA基准[18-20]。

预测想象质量：视觉预测的准确度（未来帧/未来事件预测误差）、预测对决策的增益[10,21-22]。测度：视频预测基准与任务预判命中率[21-22]。

视觉情感质量：表情识别准确率、情感映射恰当性[11,23-24]。测度：AffectNet基准[23]与场景情感测试。

反思进化质量：视觉错误检出率、幻觉抑制率（POPE式基准[26]）、错误修正后的性能提升[12,25-26]。测度：幻觉基准与错误注入测试。

联合一致性：五子网视觉结论的互验通过率、跨子网消息冲突率、时序一致性（各子网视觉认知的时间切面偏差）。测度：注入矛盾视觉消息后各子网结论的一致性测试、结论互验基准[7-12]。

表1给出六维评估的指标与测度方法及设计目标参考值，其中各维度数值依据：识别/关系目标参考视觉基准最优水平并留工程余量，表情识别目标参考AffectNet基准报告水平，幻觉抑制目标参考POPE评测中纠正方法的降幅水平——上述数值均为架构设计阶段的目标规格，量化验证留待原型实现后以实测校准[7-13,23,26]。

表1 视觉五子网联合处理六维评估体系

9.5 与既有方案的对比

表2给出大脑视觉五子网联合处理与既有视觉处理范式的对比[7-16,21-22,26]。

表2 与既有视觉处理范式对比

单一大视觉模型（VLM）强于"从像素到语言"的端到端能力但缺乏结构化分工与错误治理[14-16,26]；小脑视觉强于毫秒级空间处理但不做语义[13]；感知层整合解决多模态融合但视觉纵深加工依赖本设计[5]——本文以"五子网分工协作+视觉世界状态为核心"补全大脑视觉综合处理的架构空缺[7-13]。值得强调的是，本设计并非否定端到端大视觉模型的价值，而是为其提供"类脑的组织方式"：VLM可以作为感知理解子网或认知推理子网的实现引擎被组织进五子网分工，其幻觉问题由反思子网的证据锚定机制治理，其推理短板由世界模型的预测校验补足——“用架构驯服模型，而非用模型替代架构”[7-12,26]。

9.6 应用场景

大脑视觉五子网联合处理的应用场景[5-13,30]：服务机器人——"看见用户表情+听懂请求+预判动作结果"的综合服务能力（感知+情感+世界模型协作）；家庭监护——"看到老人摔倒+推理原因+预判风险+情感安抚"的完整响应链[7-12]；自动驾驶的类脑对照——BEV感知（对应感知层）+端到端规控（对应小脑）+认知大模型（对应认知推理）的分工，与五子网架构同构[30]；具身操作——"看见物体+推理抓取策略+预演动作后果+反馈调整"的闭环操作[9-10,30]；教育陪伴——"看到孩子表情+判断学习状态+调整教学策略"的个性化交互[9,11]；安防监控——"看见异常事件+推演风险+触发预警+反思误报"的智能监控[10,12]。

9.7 挑战与展望

挑战1：视觉世界状态的表示标准化[8,17]。缓解：统一实体-关系-事件表示，对齐Visual Genome式场景图与UWS[8,17]。挑战2：开放世界的视觉推理泛化[18-20]。缓解：构成式推理训练（CLEVR式）、推理与识别解耦评估[18-20]。挑战3：视觉预测的长时程漂移[21-22]。缓解：潜空间预测（不渲染像素）+语义事件预测分层[10,21-22]。挑战4：视觉幻觉与对抗攻击[25-26]。缓解：证据锚定+幻觉纠正流水线[26]+鲁棒性评估常态化[25]。挑战5：五子网协作的算力与实时性[7,13]。缓解：GWS消息驱动的按需处理（静止场景不广播冗余消息）、模型分级部署[7-8]。

展望1：视觉世界状态作为统一接口——五个子网乃至多模态整合层都以视觉世界状态为视觉信息的标准载体，视觉能力可插拔升级[8]；展望2：端到端类脑视觉模型——以五子网分工为归纳偏置训练统一的类脑视觉大模型（子网对应模型模块，GWS对应路由机制）[7,14-16]；展望3：视觉自进化的持续学习——反思驱动的视觉能力终身进化（越用越准、越用越懂）[12,25-26]。

9.8 大脑视觉五子网联合处理与LOPD七层的完整映射

大脑视觉处理在LOPD七层中的映射[5-6]：L1物理层——相机、深度传感器（视觉信号源）；L2肢体层——头眼协调（小脑头部模型控制注视[13]）；L3感知门户——视觉通道接入与快环处理（小脑视觉预处理[13]）；L4神经层——大脑五子网的视觉联合处理（本设计主体[7-12]）；L5生存层——危险视觉的快通路响应（看到火焰→生存层直接触发撤离，不等完整语义[5,7]）；L6社会层——社交视觉理解（表情、体态的社会含义[11]）；L7文明层——视觉审美的文化维度与图像伦理（文化差异的视觉语义[5-6]）。七层映射表明：视觉在大脑中不是L4的孤立功能，而是从物理传感器到文明规范的完整谱系加工[5-13]。

10 结论

本文基于面向逻辑思维的程序设计方法（LOPD）双脑架构，提出类脑大模型大脑视觉五个子网联合处理设计。主要结论可归纳为六点：

（1）大脑视觉处理以小脑视觉预处理的空间事实为输入，沿"事实+解释"分工原则展开：小脑视觉提供客观几何（物体在哪），大脑五子网提供各自的语义解释（是什么、意味着什么、将发生什么、感受如何、哪里不可信），"事实层"与"解释层"的分离保证了视觉认知的客观锚定[1,5,13]。

（2）五个子网对视觉信息各司其职又协同递进：感知理解子网把空间事实上升为场景图式的视觉世界状态[8]；认知推理子网以视觉世界状态驱动视觉问答、空间推理与任务规划[9]；世界模型子网将视觉事件纳入世界状态，以预测编码方式预判未来画面与事件[10,21-22]；情感子网从表情、体态与场景中估计八维情感并调制视觉处理[11,23-24]；反思创新子网对误检、错觉与视觉幻觉进行归因、抑制与经验沉淀[12,25-26]。五子网经GWS按优先级协作，形成"看清→看懂→看透→共情→省思"的完整视觉认知链路[5-13]。

（3）视觉信息的传递与协作依赖三项工程机制：语义-空间桥接（语言指代与三维坐标的双向映射[8-9,13]）、快慢双视觉分层（快环毫秒级空间跟踪与慢环语义处理互不阻塞[5,13]）、三个"单一权威源"（感知语义、视觉预测、错误归因各由一个子网权威发布，避免语义分裂[7-12]）。

（4）反思创新子网使大脑视觉具备自进化能力：证据锚定原则抑制视觉幻觉（无视觉证据的语义不得进入世界状态[12,26]），错误归因区分感知错误与模型错误并分别校准，四个反思闭环（感知-预测-情感-推理）使视觉处理随使用持续进化[7-12]。

需要说明的是，本文属架构设计论文，提出大脑视觉五子网联合处理的架构与机制设计，量化参数均为设计目标，验证留待后续原型实现与实测，这一方法论定位与系列论文一致[5-13]。

从方法论看，大脑视觉五个子网联合处理是面向逻辑思维的程序设计方法在视觉领域的收口实践[5-6]：如果说《小脑视觉预处理》回答了"视觉如何服务执行"，本文则回答"视觉如何服务认知"。它将视觉神经科学的分工原理（双通路[1]、层级识别[2]、注意双网络[3-4]、预测编码[22]）映射为五子网的可计算协作结构，将逻辑思维对视觉的要求（事实可靠、解释有据、冲突可裁、错误可溯）落实为可工程化的处理流程[1-13]。

大脑视觉处理的成长路径：从"识别得更准"到"理解得更深"再到"五子网协同进化"——视觉处理随类脑大模型的进化从"感知器官"走向"认知的视觉地基"[5-13]。其终极目标是"所见即所知、所知可决策、决策有预见、交互有温度、错误可自省"，让类脑大模型的视觉不只是"拍下来的图像处理"，而是"嵌于七层认知模型的视觉思维"[5-13]。

后续工作将沿三个方向推进：一是视觉世界状态接口的原型实现与五维评估实测；二是感知理解子网与认知推理子网在VQA/操作任务上的联合验证；三是反思驱动的视觉自进化机制在真实服务场景中的长期评估[7-13,30]。同时，视觉五子网联合处理将与听觉双通道处理、感知层多模态整合逐步贯通：以统一的"世界状态"为接口，最终形成视觉、听觉与体感在类脑大模型中"同源同构、分工协同"的完整感知认知体系——这一目标将随系列论文的原型验证持续推进[5-13]。

参考文献

[1] Goodale M A, Milner A D. Separate visual pathways for perception and action[J]. Trends in Neurosciences, 1992, 15(1): 20-25.
[2] Riesenhuber M, Poggio T. Hierarchical models of object recognition in cortex[J]. Nature Neuroscience, 1999, 2(11): 1019-1025.
[3] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.
[4] Corbetta M, Shulman G L. Control of goal-directed and stimulus-driven attention in the brain[J]. Nature Reviews Neuroscience, 2002, 3(3): 201-215.
[5] 冯胤清. 面向逻辑思维的程序设计方法——脑的设计（双脑架构）[J]. 2026.
[6] 冯胤清. 面向逻辑思维的类人机器人程序设计架构: 七层认知层次模型与社会化测试框架[R]. 2026.
[7] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型大脑部分（依托世界模型的大脑初步设计）[J]. 2026.
[8] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型感知理解子网设计[J]. 2026.
[9] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型认知推理子网设计[J]. 2026.
[10] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型知识想象决策（世界模型）子网设计[J]. 2026.
[11] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型情感子网设计[J]. 2026.
[12] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型反思创新子网设计[J]. 2026.
[13] 冯胤清. 面向逻辑思维的程序设计方法——类脑大模型小脑视觉预处理设计[J]. 2026.
[14] Dosovitskiy A, et al. An image is worth 16×16 words: Transformers for image recognition at scale[C]//ICLR. 2021.
[15] Kirillov A, et al. Segment anything[C]//ICCV. 2023.
[16] Radford A, et al. Learning transferable visual models from natural language supervision[C]//ICML. 2021.
[17] Krishna R, et al. Visual Genome: Connecting language and vision using crowdsourced dense image annotations[J]. International Journal of Computer Vision, 2017, 123(1): 32-73.
[18] Johnson J, et al. CLEVR: A diagnostic dataset for compositional language and elementary visual reasoning[C]//CVPR. 2017.
[19] Antol S, et al. VQA: Visual question answering[C]//ICCV. 2015: 2425-2433.
[20] Hudson D A, Manning C D. GQA: A new dataset for real-world visual reasoning and compositional question answering[C]//CVPR. 2019.
[21] Ha D, Schmidhuber J. World models[J]. arXiv:1803.10122, 2018.
[22] Lotter W, Kreiman G, Cox D. Deep predictive coding networks for video prediction and unsupervised learning[C]//ICLR. 2017.
[23] Mollahosseini A, Hasani B, Mahoor M H. AffectNet: A database for facial expression, valence, and arousal computing in the wild[J]. IEEE Transactions on Affective Computing, 2019, 10(1): 18-31.
[24] Li S, Deng W. Deep facial expression recognition: A survey[J]. IEEE Transactions on Affective Computing, 2022, 13(3): 1195-1215.
[25] Goodfellow I J, Shlens J, Szegedy C. Explaining and harnessing adversarial examples[C]//ICLR. 2015.
[26] Yin S, et al. Woodpecker: Hallucination correction for multimodal large language models[J]. Science China Information Sciences, 2024.
[27] Weiskrantz L. Blindsight: A case study and implications[M]. Oxford: Clarendon Press, 1986.
[28] 田萱, 王亮, 丁琪. 基于深度学习的图像语义分割方法综述[J]. 软件学报, 2019, 30(2): 440-468.
[29] 张顺, 龚怡宏, 王进军. 深度卷积神经网络的发展及其在计算机视觉领域的应用[J]. 计算机学报, 2019, 42(3): 453-482.
[30] 中国信息通信研究院. 具身智能发展报告（2024年）[R]. 2024.