【HCIA- AI（正课）】2.3 CNN和RNN基础

神经网络计算流程

神经网络结构

总结

围绕深度学习核心概念、模型实现逻辑开展教学讲解，明确过拟合判断、归一化方法、主流神经网络原理等内容如下：

• 过拟合的判断标准与核心逻辑

  • 过拟合的基础判断规则
    • 阈值参考标准：训练集准确率达到 97%、98% 及以上区间时，需第一时间核验模型是否存在过拟合风险。
    • 多指标核验要求：判断过拟合不可仅参考单一准确率指标，需结合 Loss 值、F1 值、AUC 值交叉验证。
  • 过拟合的核心判定依据
    • 训练测试差异判定：若训练集准确率极高，但测试集或新输入数据的准确率显著偏低，可直接判定为过拟合。
    • 偏差方差关联逻辑：过拟合对应高方差、低偏差的参数特征，可结合偏差方差理论辅助完成概念理解。
  • 过拟合的通俗参考案例：以枫叶识别为例，模型仅能识别训练过的特定枫叶，对形态微变的同类枫叶无法识别即为典型过拟合。

• 归一化相关核心概念与考点

  • 批归一化（Batch Normalization / BN）
    • 基础定义说明：全称为 Batch Normalization，中文译名为批归一化/批量标准化，通用简写为 BN。
    • 核心考点提示：核心作用为加速模型收敛、防止过拟合，是深度学习考试判断题的高频考点。
    • 实现逻辑说明：将训练数据按批次拆分，以流水线形式稳定输入神经网络，保障训练过程顺畅推进。
  • 层归一化（Layer Normalization / LN）
    • 设计背景说明：为解决批归一化需手动设置批次超参数、无经验易设置不合理的问题而提出。
    • 核心优势说明：不依赖批次参数设置，针对神经网络每一层独立做归一化，样本内自洽性更强。
    • 适用场景说明：适配文本、语音等样本长度不固定的场景，广泛应用于语言模型、翻译模型中。

• 神经网络计算流程与主流模型原理

  • 神经网络基础计算流程

    • 正向传播逻辑：按输入层到输出层的顺序计算权重参数 W，最终输出损失函数 Loss 值，完成前向计算。
    • 反向传播逻辑：基于正向传播得到的 Loss 值，通过链式求导法则逐层计算参数偏导，迭代寻找最优解。

  • 全连接神经网络（DNN）局限性

    • 参数冗余问题：以 28×28 像素手写数字识别为例，多层全连接结构会产生大量冗余参数，计算成本极高。
    • 场景适配缺陷：无法处理时序关联数据，不同时间节点的输出结果无逻辑关联，不适用于自然语言处理。

  • 卷积神经网络（CNN）原理

    • 核心设计逻辑：借鉴生物局部感知特性，通过卷积核遍历提取图像轮廓特征，搭配池化操作实现维度降低。
    • 核心操作规则：卷积核采用参数共享机制，对应位置像素相乘求和提取特征，池化仅保留区域内最大特征。
    • 适用场景说明：为计算机视觉（CV）图像识别领域的基础算法，广泛适配各类图像分类、识别任务。
    • 多通道处理规则：RGB 三通道彩色图像需对应三通道卷积核处理，N 个卷积核最终输出 N 张特征图。

  • 循环神经网络（RNN）原理

    • 核心设计逻辑：新增跨时间节点的横向传递链路，将上一时刻的输出结果传递至下一时刻作为输入。
    • 核心定位说明：为时序数据处理的基础模型，是后续 Transformer、大模型相关技术的核心前置基础。

• 后续学习安排：完成 RNN 相关公式的自主学习，可借助大模型工具辅助理解，为次日大模型相关内容学习做准备。