编解码流程和原理分析

编码流程（Encoder）

H264和265编码流程对比

预处理

• H.264：

  • RGB → YUV4:2:0 转换

  • 色度降采样（U/V 分辨率减半）

• H.265：

  • 同上，但支持更高位深（8/10/12-bit）、YUV4:4:4、广色域（如 BT.2020）

✅ 差异：H.265 更适应高动态范围（HDR）和专业视频。

2. 帧类型与 GOP 结构

• 两者均支持 I/P/B 帧。

• H.265 新增：

  • IBC（Intra Block Copy）：用于屏幕内容编码（如 PPT、游戏 UI）

  • 更灵活的参考帧管理（最多 32 个参考帧 vs H.264 的 16 个）

✅ 差异：H.265 对非自然视频（文本、图形）压缩更优。

3. 块划分与结构

✅ 优势：H.265 能根据图像内容自适应选择最优块结构，提升预测精度。

H.264：固定宏块 → 子块（绑定式）

帧 (Frame)
│
片 (Slice)
│
宏块 (Macroblock, 16×16)
│
├─ 预测模式决定子划分：
│ ├─ 帧内预测：16×16 或 4×4（亮度）
│ └─ 帧间预测：16×16, 16×8, 8×16, 8×8 → 8×8 可再分为 8×4/4×8/4×4
│
变换块 (Transform Block)：
– 通常与预测块一致（4×4 或 8×8）

• 特点：

  • 预测单元（PU）与变换单元（TU）强耦合，无法独立优化。

  • 最小处理单元为 4×4（用于帧内预测和残差变换）。

  • 划分方式有限，难以适应复杂纹理或大平滑区域。

H.265：CTU → CU → PU/TU（分离式）

H.265 采用 三重分离结构，实现高度灵活性：

帧 (Frame)
│
片 (Slice) 或 Tile（并行单元）
│
编码树单元 (CTU, e.g., 64×64)
│
└─ 四叉树划分 → 编码单元 (CU)
│
├─ 预测单元 (PU)：负责预测（帧内/帧间）
│ ├─ 对称划分：2N×2N, N×N, 2N×N, N×2N
│ └─ 不对称划分：2N×nU, 2N×nD, nL×2N, nR×2N（仅帧间）
│
└─ 变换单元 (TU)：负责残差变换
└─ 另一个四叉树（可嵌套于 CU 内）
├─ 32×32
├─ 16×16
├─ 8×8
└─ 4×4

4. 帧内预测（空间冗余去除）

✅ 效果：H.265 帧内预测残差更小，尤其在纹理复杂区域。

5. 帧间预测（时间冗余去除）

可以把帧间预测理解为：在已经编码好的参考帧中，为当前正在编码的每一个图像块寻找一个最匹配的块，然后只记录这个块的位置偏移量（即运动矢量）和与原始块的像素差异（即残差），而不是记录整个块的所有像素信息。

帧间预测的过程通常包含以下几个关键步骤：

目的：进一步压缩运动矢量本身的信息量。

原理：相邻块的运动通常具有很强的相关性。因此，编码器不会直接编码运动矢量的原始值，而是利用已编码的相邻块的运动矢量来预测当前块的运动矢量，计算出运动矢量差值，然后只对差值进行编码。这样可以进一步节省码率。

6. 变换与量化

将空间域残差块（预测误差）转换为频域系数，使能量集中于低频区域，便于后续量化和熵编码。

流程（编码端）：

✅ 效果：H.265 能更高效去除残差中的空间冗余。

4×4 帧内残差具有“边缘奇对称”特性，DST（Discrete Sine Transform） 比 DCT 能量集中度更高，残差系数更小

7. 熵编码

• 消除符号间的统计冗余

• 利用符号出现概率的不均匀性：高频符号用短码，低频符号用长码

• 自适应更新概率模型：随图像内容动态调整

✅ 核心思想：“越可预测的信息，编码越短”

✅ 压缩率：H.265 的 CABAC 比 H.264 高 10–15%。

8. 环路滤波（Loop Filtering）

✅ 画质提升：H.265 重建图像更接近原始，尤其在低码率下。

帧类型判定的核心机制

1. GOP（Group of Pictures）结构预设

编码器通常按照预定义的 GOP 模式安排帧类型。常见模式包括：

2. 固定周期插入 I 帧（关键帧间隔）

• 大多数编码器（如 x264、x265、FFmpeg）允许设置关键帧间隔（keyint / gop_size）。

• 即使没有场景切换，也会定期插入 I 帧，防止错误传播，并支持快进/跳转。

3. 场景切换检测（Scene Change Detection）

编码器会分析连续帧之间的差异，判断是否发生场景突变（如镜头切换、黑屏、画面剧烈变化）：

• 方法：

  • 计算当前帧与前一帧的 像素差、SAD（Sum of Absolute Differences）、直方图距离等。

  • 若差异超过阈值，则强制插入 I 帧（或 IDR 帧）。

• 优点：

  • 避免在场景切换处用 P/B 帧预测（会导致大量残差和失真）。

  • 提升主观质量。

4. 低延迟 vs 高压缩的权衡

• 实时通信（如 Zoom、WebRTC）：

  • 禁用 B 帧（因需未来帧参考，引入延迟）。

  • 使用 IPPP… 结构，甚至全 I 帧（极低延迟）。

• 点播视频（如 YouTube、Netflix）：

  • 使用含 B 帧的复杂 GOP（如 IBBPBBP…），最大化压缩率。

  • 接受一定解码延迟。

5. IDR 帧 vs 普通 I 帧

• 普通 I 帧：可被后续帧参考，但其后的 P/B 帧仍可能参考 GOP 开始之前的帧（在 Open GOP 中）。

• IDR 帧（Instantaneous Decoder Refresh）：

  • 是一种特殊的 I 帧。

  • 解码器在遇到 IDR 帧时会清空 DPB（解码图像缓冲区），之后所有帧都不能参考 IDR 之前的内容。

  • 用于完全独立的随机访问点。

帧内预测基本原理

H.264 帧内预测详解

1. 块尺寸支持

• 亮度（Luma）：

  • 16×16 宏块级预测（用于平滑区域）

  • 4×4 子块级预测（用于纹理细节）

• 色度（Chroma）：8×8 块，仅 4 种模式

2. 亮度预测模式（共 9 种）

3. 参考像素要求

• 4×4 块需 13 个参考像素（上 4 + 左 4 + 左上 1 + 扩展 4）

• 若相邻块未编码（如 slice 边界），则用默认值（如 128）填充

4. 局限性

• 方向数量少，难以拟合复杂边缘

• 无平面（Planar）模型，对渐变区域建模弱

• 色度与亮度预测独立，未利用 Y-UV 相关性

H.265 帧内预测详解

H.265 极大增强了帧内预测能力，核心改进包括：

1. 块尺寸灵活（由 CU/TU 决定）

• 支持 4×4、8×8、16×16、32×32 的帧内预测块

• 大块用于平滑区域，小块用于细节，自适应匹配内容

2. 亮度预测模式（共 35 种角度 + 2 种非方向）

角度模式设计特点：

• 使用分数采样 + 插值实现亚像素方向

• 方向更密集，可精确拟合任意边缘走向

• 引入 MPM（Most Probable Mode） 机制：从邻块继承最可能模式，减少码率

3. Planar 模式（H.265 新增）

• 适用于平滑渐变区域（如天空、皮肤）

• 预测值 = 水平插值 + 垂直插值 − 中心偏移

4. 色度预测增强

• 跨分量预测（Chroma from Luma）：

  • 利用亮度块的重建值线性映射预测色度

  • 公式： Cpred=α⋅Yrecon+βCpred​=α⋅Yrecon​+β

  • 显著提升屏幕内容、文本等场景的色度压缩效率

5. PDPC（Position Dependent Prediction Combination）

• H.265 Main 10 Profile 及以上支持

• 将传统预测与未滤波参考像素加权融合

• 改善块边界连续性，减少失真

熵编码基本原理

H.264 熵编码：双模式设计

H.264 提供两种熵编码方案，供不同场景选择：

1. CAVLC（Context-Adaptive Variable-Length Coding）

• 基于变长码（VLC）

• 无需算术编码器，复杂度低，适合低端设备

• 主要编码对象：残差系数（尤其是 Baseline Profile）

CAVLC 核心机制：

• coeff_token：联合编码非零系数个数（TotalCoeffs）和拖尾系数个数（TrailingOnes）

• Level（幅值）：使用 Exp-Golomb 编码（UE/V）

• Run（零游程）：查表 VLC

• 上下文自适应：

  • 根据前一个已编码块的非零系数数量选择 VLC 表

  • 例如：若前一块有很多非零系数，则当前块更可能也有 → 使用更短的码表

✅ 优点：简单、低延迟、硬件友好
❌ 缺点：压缩效率低于 CABAC（约 10–20% 码率损失）

2. CABAC（Context-Adaptive Binary Arithmetic Coding）

• 基于二进制算术编码

• Main/High Profile 强制使用

• 压缩效率显著高于 CAVLC

CABAC 三大核心步骤：

✅ 优点：高压缩率
❌ 缺点：串行性强，难以并行；计算复杂

H.265 熵编码：仅 CABAC，但全面增强

H.265 弃用 CAVLC，仅支持 CABAC，并在其基础上进行多项优化：

1. 更精细的上下文建模

2. 旁路编码（Bypass Coding）优化

• 对高随机性符号（如 coeff_sign_flag、部分 MVD bits），跳过上下文建模

• 直接以 0.5 概率 进行算术编码（等效于直接输出比特）

• 减少上下文更新开销，提升速度

3. 并行处理支持

H.264 CABAC 是完全串行的，成为性能瓶颈。
H.265 引入两种并行机制：

(1) Wavefront Parallel Processing (WPP)

• 每隔几行 CTU 启动一个新“波前”

• 当前行 CABAC 初始化依赖上一行倒数第二个 CTU 的状态

• 允许多行并行编码/解码

(2) Tiles（图块）

• 将帧划分为矩形 Tile，Tile 间完全独立

• 每个 Tile 可单独 CABAC 编码，天然并行

4. 语法元素重组与编码顺序优化

• H.265 将相关语法元素集中编码，提升上下文相关性

  • 例如：先编码所有 CU 的 split 标志，再编码预测信息

• 减少上下文切换，提高概率估计准确性

解码流程（Decoder）