欢迎光临
我们一直在努力

海思MPP框架介绍

1.海思 MPP 框架-以 Hi3516 为例

前面讲的是 Linux 通用的 V4L2 框架。实际做海思 Hi3516 这类芯片时,还会经常遇到另一个词:MPP。

MPP 全称通常理解为 Media Processing Platform,也就是海思 SDK 里提供的一套媒体处理平台。

可以先这样区分:

V4L2:Linux 通用视频框架,核心是 /dev/videoX、ioctl、buffer。

海思 MPP:海思 SDK 封装好的媒体处理框架,核心是 VI、VPSS、VENC、VO、VB、SYS 等模块。

如果说 V4L2 更像 Linux 的标准接口,那么 MPP 更像海思给自家芯片准备好的“积木式流水线”。应用程序通过 HI_MPI_xxx 接口,把采集、图像处理、编码、显示这些模块串起来。

1.1 Hi3516上的典型视频链路

先看这张总图。它把 Hi3516 MPP 中几个最容易混的概念放到了一起:MIPI RX、VI Dev、VI Pipe、VI Chn、VPSS Group、VPSS Chn、VENC Chn、VO Dev/Layer/Chn、VB 和 SYS_Bind。

Hi3516海思MPP视频链路框架图

读这张图时,可以按三层看:

  • 最上面是数据主链路:Sensor -> MIPI RX -> VI -> VPSS -> VENC/VO/算法。
  • 中间看 Dev / Pipe / Group / Chn:它们不是同一类概念,分别表示硬件入口、处理管线、处理组和输出通道。
  • 下面看 VB 和 SYS:VB 提供视频帧内存,SYS 负责初始化和模块绑定。

这里还要补一个很重要的概念:MPP 里经常会说“在线模式”和“离线模式”。

这里的“在线”不是联网,“离线”也不是断网。它说的是模块之间的数据流转方式。

模式

数据怎么走

应用程序做什么

特点

在线模式

上下游模块绑定后,帧在 MPP 内部自动流转

主要负责初始化、绑定、启动模块

延迟低,应用代码简单

离线模式

上游模块把帧放到内存,应用取出后再送给下游

需要 GetFrame/SendFrame/ReleaseFrame

灵活,适合算法处理或插入自定义流程

在线模式可以这样理解:

VI -> VPSS -> VENC

应用调用 HI_MPI_SYS_Bind 把模块接好。
后面帧会在模块之间自动流动。

比如:

HI_MPI_SYS_Bind(&stViChn, &stVpssChn);
HI_MPI_SYS_Bind(&stVpssChn, &stVencChn);

这种方式适合常规采集、预览、编码场景。应用不用每一帧都手动取出来再送进去。

离线模式可以这样理解:

VPSS
  -> 应用 GetFrame 取出一帧
  -> 应用自己处理
  -> SendFrame 给 VENC/VO/算法模块
  -> ReleaseFrame 归还buffer

比如算法场景常常需要离线取帧:

HI_MPI_VPSS_GetChnFrame(VpssGrp, VpssChn, &stFrame, timeout);

/* 用户算法处理 stFrame */

HI_MPI_VPSS_ReleaseChnFrame(VpssGrp, VpssChn, &stFrame);

一句话记忆:

在线模式:模块绑定,自动传帧。
离线模式:应用取帧,处理后再归还或送给下游。

在线模式更像“搭好管道让水自己流”。
离线模式更像“把水舀出来处理一下,再倒回下一段管道”。

以摄像头采集并编码为例,Hi3516 上常见链路是:

Sensor
  -> MIPI / LVDS / BT.1120
  -> VI
  -> VPSS
  -> VENC
  -> 码流文件 / RTSP / 网络发送

如果还要本地显示,可以再接一路:

VPSS
  -> VO
  -> HDMI / LCD / CVBS

如果要做算法分析,可以接:

VPSS
  -> IVE / NNIE / 用户算法

其中每个模块的职责很清楚:

模块

大致作用

可以怎么记

SYS

系统初始化、模块绑定、时间戳等基础能力

总开关

VB

Video Buffer,统一管理视频帧内存

内存池

VI

Video Input,接收 Sensor/接口输入

采集入口

ISP

图像信号处理,处理 RAW 图像

调画质

VPSS

Video Processing Sub-System,缩放、裁剪、格式转换等

图像加工站

VENC

Video Encoder,H.264/H.265/JPEG 编码

压缩码流

VO

Video Output,显示输出

屏幕显示

RGN

Region,画 OSD、遮挡块等

叠加图层

AI/AO

Audio Input/Output

音频输入输出

AENC/ADEC

音频编码/解码

音频压缩解压

先不要把这些模块看成一堆 API。更好的理解方式是:

VI 负责拿到原始图像。
VPSS 负责把图像变成后续模块想要的样子。
VENC 负责把图像压成码流。
VO 负责把图像送到屏幕。
VB 负责给这些模块提供可流转的内存。
SYS 负责把模块接起来。

1.2 MPP和V4L2的关系

在 Linux 通用框架里,应用层通常通过 /dev/video0 和 ioctl 操作摄像头。

在海思 MPP 里,应用层更多是这样写:

HI_MPI_SYS_Init();
HI_MPI_VB_SetConfig(&stVbConf);
HI_MPI_VI_EnableDev(ViDev);
HI_MPI_VI_EnableChn(ViChn);
HI_MPI_VPSS_StartGrp(VpssGrp);
HI_MPI_VENC_CreateChn(VencChn, &stVencAttr);
HI_MPI_SYS_Bind(&stSrc, &stDst);

也就是说,海思 MPP 把很多底层细节封装成了 SDK API。

可以这样理解:

V4L2思路:
应用直接面对 /dev/videoX,通过 ioctl 控制采集。

MPP思路:
应用面对 VI/VPSS/VENC/VO 等模块,通过 HI_MPI_xxx API 搭建流水线。

它们不是完全对立的两个世界。底层仍然离不开 Linux 驱动、Sensor 驱动、MIPI 接收、ISP、DMA 和内存管理。只是 MPP 在应用层给你提供了更完整的一套封装。

对做项目的人来说,区别主要体现在写法上:

维度

V4L2

海思 MPP

应用入口

/dev/videoX

HI_MPI_xxx API

采集模块

video_device / driver ioctl

VI

图像处理

驱动或其他用户态库

VPSS / ISP

编码

通常接 FFmpeg、硬编驱动等

VENC

buffer 管理

vb2_queue、mmap、QBUF/DQBUF

VB、Video Frame、模块绑定

模块连接

V4L2/media link、应用自己调度

HI_MPI_SYS_Bind

1.3 SYS和VB:MPP链路初始化

海思 MPP 程序通常不会一上来就开 VI 或 VENC,而是先初始化 VB 和 SYS。

典型顺序是:

配置VB公共内存池
  -> HI_MPI_VB_SetConfig
  -> HI_MPI_VB_Init
  -> HI_MPI_SYS_Init

为什么要先配 VB?

因为视频帧很大。比如 1920×1080 的 NV12,一帧大约是:

1920 x 1080 x 1.5 ≈ 3MB

如果是 30fps,每秒就会有大量图像数据在模块之间流动。MPP 不可能每来一帧就临时申请普通内存,这样效率低,也容易碎片化。

所以它会提前准备一批视频 buffer:

VB = 给视频帧准备的公共内存池。

常见配置会关心:

  • buffer 块大小。
  • buffer 块数量。
  • 不同分辨率是否需要不同池。
  • 编码、抓拍、显示是否共用或单独使用 buffer。

可以这样记:

VB管内存。
SYS管全局初始化和模块关系。

1.4 VI:视频输入模块

VI 是 Video Input,也就是视频输入模块。

在 Hi3516 上,VI 负责从 Sensor 或视频输入接口拿到图像。它通常和这些东西有关:

  • Sensor 驱动。
  • MIPI/LVDS/BT.1120 输入接口。
  • ISP。
  • VI Dev、VI Pipe、VI Chn。

不同 Hi3516 型号、不同 MPP 版本命名会有差异。有些版本强调 VI_DEV 和 VI_CHN,有些版本还会看到 VI_PIPE。理解时不用先纠结名字,先抓住层次:

VI Dev:更偏输入设备或硬件接口。
VI Pipe:更偏一条图像处理管线,常和 ISP/RAW 处理相关。
VI Chn:更偏输出通道,把处理后的帧送给后级模块。

一个常见过程是:

配置Sensor和MIPI
  -> 启动ISP
  -> 使能VI设备
  -> 使能VI通道
  -> VI开始产生视频帧

从 V4L2 角度类比:

VI 很像海思 MPP 里的采集入口。

但 VI 不只是 /dev/video0 的简单替代。它通常和海思 ISP、Sensor 配置、MIPI 接收紧密绑定。

1.5 ISP:RAW图像处理模块

Sensor 输出的常常是 RAW 数据。RAW 数据不能直接拿来显示或编码,通常要经过 ISP。

ISP 会做很多图像处理:

  • 黑电平校正。
  • 去坏点。
  • 去噪。
  • 自动曝光 AE。
  • 自动白平衡 AWB。
  • 颜色校正。
  • Gamma。
  • 锐化。
  • RAW 转 YUV。

在海思 MPP 里,ISP 通常不是孤立使用的。它会和 Sensor、VI、3A 库一起工作。

可以这样理解:

Sensor 负责把光变成电信号。
ISP 负责把原始图像调成可用画面。
VI 负责把处理后的帧送入MPP流水线。

如果画面过曝、偏色、噪点多,很多时候不是 VENC 的问题,而是 ISP 或 Sensor 参数的问题。

1.6 VPSS:图像裁剪缩放旋转

VPSS 是 Video Processing Sub-System。

VI 拿到图像后,通常不会直接给 VENC。中间会先进 VPSS。

VPSS 常见作用:

  • 缩放。
  • 裁剪。
  • 格式转换。
  • 旋转或镜像。
  • 降噪。
  • 一路输入,多路输出。

比如主码流要 1080P,子码流要 640×360,就可以这样理解:

VI输出一份原始图像
  -> VPSS处理
  -> VPSS Chn0 输出 1080P 给主码流 VENC
  -> VPSS Chn1 输出 640×360 给子码流 VENC

VPSS 的“组”和“通道”也很好记:

VPSS Group:一组处理上下文,通常接一路输入。
VPSS Channel:这组处理后的不同输出。

所以,VPSS 很适合做“一路输入,多路输出”。

1.7 VENC:编码模块

VENC 是 Video Encoder。

它把一帧帧 YUV 图像压缩成码流,比如:

  • H.264
  • H.265
  • MJPEG
  • JPEG

典型流程:

创建VENC通道
  -> 设置编码类型、分辨率、码率、GOP
  -> 绑定VPSS到VENC
  -> 启动接收图像
  -> 获取编码码流
  -> 写文件或网络发送

常见 API 思路:

HI_MPI_VENC_CreateChn(VencChn, &stVencChnAttr);
HI_MPI_VENC_StartRecvFrame(VencChn, &stRecvParam);
HI_MPI_VENC_GetStream(VencChn, &stStream, HI_TRUE);
HI_MPI_VENC_ReleaseStream(VencChn, &stStream);

需要注意:VENC 输出的不是图像帧,而是压缩后的码流。

VPSS输出:一帧YUV图像。
VENC输出:H.264/H.265/JPEG码流。

如果要推流,通常就是不断从 VENC 取码流,再送给 RTSP、RTP、文件或其他网络模块。

1.8 VO:显示输出模块

VO 是 Video Output。

如果项目需要本地预览,就会用到 VO。

典型链路:

VI
  -> VPSS
  -> VO
  -> HDMI / LCD / CVBS

VO 关心的是显示设备、显示层、显示通道。

可以这样记:

VENC负责压缩给网络或文件。
VO负责显示给屏幕。

很多项目里,编码和预览会同时存在:

VI -> VPSS -> VENC -> 网络推流
          \\
           -> VO -> 本地预览

这就是 MPP 模块化的好处。一个上游模块可以绑定到多个下游模块,或者通过 VPSS 分出不同尺寸的图像。

1.9 HI_MPI_SYS_Bind:把模块接起来

MPP 里的模块不是靠应用自己一帧一帧搬来搬去。更常见的方式是绑定。

比如:

VI -> VPSS
VPSS -> VENC
VPSS -> VO

应用程序会调用类似:

HI_MPI_SYS_Bind(&stSrcChn, &stDstChn);

绑定之后,数据会在 MPP 内部流转。

可以这样理解:

不绑定:应用要自己取帧、送帧。
绑定:模块之间自动传帧。

这和 V4L2 的应用层 DQBUF/QBUF 思路不太一样。

V4L2 常见写法是应用自己从驱动取 buffer,再决定怎么处理。MPP 更倾向于把模块绑好,让数据自动从上游流到下游。

1.10 一路编码的典型初始化顺序

以“摄像头采集并编码 H.264/H.265”为例,主线可以写成:

1. 配置VB
2. 初始化SYS
3. 配置并启动Sensor/MIPI/ISP
4. 启动VI
5. 创建并启动VPSS
6. 创建VENC通道
7. 绑定VI -> VPSS
8. 绑定VPSS -> VENC
9. 启动VENC接收图像
10. 循环获取VENC码流
11. 退出时解绑、停止模块、释放VB和SYS

伪代码如下:

/* 1. 准备公共内存 */
SAMPLE_COMM_SYS_Init(&stVbConf);

/* 2. 启动VI,包含Sensor/MIPI/ISP等准备工作 */
SAMPLE_COMM_VI_StartVi(&stViConfig);

/* 3. 启动VPSS */
SAMPLE_COMM_VPSS_Start(VpssGrp, abChnEnable, &stVpssGrpAttr, astVpssChnAttr);

/* 4. 启动VENC */
SAMPLE_COMM_VENC_Start(VencChn, enPayLoad, enPicSize, enRcMode, u32Profile, bRcnRefShareBuf);

/* 5. 绑定模块 */
SAMPLE_COMM_VI_Bind_VPSS(ViPipe, ViChn, VpssGrp);
SAMPLE_COMM_VPSS_Bind_VENC(VpssGrp, VpssChn, VencChn);

/* 6. 获取码流 */
SAMPLE_COMM_VENC_StartGetStream(&VencChn, 1);

不同 SDK 版本的 sample 函数名可能不同,但主线大体类似。

真正重要的是顺序:

先准备内存和系统。
再启动输入和处理模块。
再启动编码模块。
最后绑定模块并取码流。

退出时顺序通常反过来:

停止取流
  -> 解绑模块
  -> 停止VENC
  -> 停止VPSS
  -> 停止VI/ISP/Sensor
  -> SYS退出
  -> VB退出

1.11 MPP里的buffer怎么理解

前面 V4L2 里讲过 vb2_queue 和 v4l2_buffer。

在 MPP 里,要对应到 VB 和 VIDEO_FRAME_INFO_S。

可以这样类比:

V4L2

海思MPP

vb2_queue

VB公共内存池

v4l2_buffer

VIDEO_FRAME_INFO_S

QBUF/DQBUF

模块内部传帧,或应用 GetFrame/ReleaseFrame

mmap

MPP内部物理/虚拟地址管理

MPP 的帧一般会用结构体描述,比如里面会有:

  • 宽高。
  • 像素格式。
  • stride。
  • 物理地址。
  • 时间戳。
  • 压缩模式。

应用如果直接从 VI 或 VPSS 取帧,常见思路是:

HI_MPI_VPSS_GetChnFrame(VpssGrp, VpssChn, &stFrame, s32MilliSec);

/* 使用图像 */

HI_MPI_VPSS_ReleaseChnFrame(VpssGrp, VpssChn, &stFrame);

这里一定要 release。否则 buffer 还不回去,后面就可能没有空闲帧可用。

这和 V4L2 的 DQBUF 后要重新 QBUF,本质上很像。

取走buffer以后,一定要还。

1.12 MPP和V4L2的记忆对照

最后做一个对照表,方便把两套体系连起来。

学习问题

V4L2视角

Hi3516 MPP视角

应用从哪里开始?

打开 /dev/video0

调用 HI_MPI_xxx

谁负责采集?

video驱动、subdev、vb2

VI

谁负责Sensor控制?

v4l2_subdev_ops、I2C

Sensor驱动、ISP、VI配置

谁负责图像处理?

驱动、ISP、用户库

ISP、VPSS

谁负责内存?

vb2_queue

VB

谁负责编码?

其他编码接口或硬编驱动

VENC

谁负责显示?

DRM/Framebuffer/其他显示框架

VO

模块怎样连接?

media graph、应用调度

HI_MPI_SYS_Bind

应用怎样取数据?

DQBUF

GetStream / GetFrame

海思MPP路线:

VB/SYS
  -> VI
  -> VPSS
  -> VENC/VO
  -> GetStream 或显示输出

V4L2 路线:

video_device
  -> ioctl_ops
  -> v4l2_subdev
  -> Sensor/CSI/ISP
  -> vb2 buffer

两条线合起来看,Hi3516 的视频系统就不再是一个黑盒。

赞(0)
未经允许不得转载:171主机测评 » 海思MPP框架介绍
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址