码流中有时不止图像信息,它可能“夹带私货”,其中可能就有SEI。
SEI是什么
SEI即补充增强信息(Supplemental Enhancement Information)。
SEI的基本特征如下:
1, 并非解码过程的必须选项 2,可能对解码过程(容错、纠错)有帮助 3,集成在视频码流中
视频编码器在输出视频码流的时候,可以不提供SEI信息。在视频的传输过程、解封装、解码这些环节,都可能因为某种原因丢弃SEI内容,同时在视频内容的生成端和传输过程中,也是可以插入SEI信息的。这些插入的信息,和其他视频内容一同经过传输链路到达观看者端。
SEI中可以添加参数信息:
- 传递编码器参数
- 传递视频版权信息
- 传递摄像头参数
- 传递内容生成过程中的剪辑事件(引发场景切换)
- …
SEI在码流中的存储位置
H.264/AVC
针对NAL unit type,标准一共预留了32种类型,值为6时,表示SEI内容。
附常见 H.264/AVC NAL unit type:
H.265/HEVC
H.265/HEVC 的 NAL unit type 标准共有64 种,其中39和40都表示 SEI 内容。
SEI的用法示例
以直播问答模式为例,通过SEI传递较多和答题业务相关的信息,并通过SEI承载的信息,优化题目显示和观众音视频观看的同步性。
至此,SEI章节学习完毕,请学习下一章节 PTS和DTS。