码流中有时不止图像信息,它可能“夹带私货”,其中可能就有SEI。

SEI是什么

SEI即补充增强信息(Supplemental Enhancement Information)。

SEI的基本特征如下:

1, 并非解码过程的必须选项 2,可能对解码过程(容错、纠错)有帮助 3,集成在视频码流中

视频编码器在输出视频码流的时候,可以不提供SEI信息。在视频的传输过程、解封装、解码这些环节,都可能因为某种原因丢弃SEI内容,同时在视频内容的生成端和传输过程中,也是可以插入SEI信息的。这些插入的信息,和其他视频内容一同经过传输链路到达观看者端。

SEI中可以添加参数信息:

  • 传递编码器参数
  • 传递视频版权信息
  • 传递摄像头参数
  • 传递内容生成过程中的剪辑事件(引发场景切换)

SEI在码流中的存储位置

H.264/AVC

针对NAL unit type,标准一共预留了32种类型值为6时,表示SEI内容。

附常见 H.264/AVC NAL unit type:

H.265/HEVC

H.265/HEVC 的 NAL unit type 标准共有64 种,其中39和40都表示 SEI 内容。

SEI的用法示例

以直播问答模式为例,通过SEI传递较多和答题业务相关的信息,并通过SEI承载的信息,优化题目显示和观众音视频观看的同步性

至此,SEI章节学习完毕,请学习下一章节 PTS和DTS