多媒体前端手册

音视频基础

视频

• 基础概念

  • 码率
  • 帧率
  • 压缩率
  • 分辨率

• 容器格式

  • MP4
  • AVI
  • FLV
  • TS, M3U8
  • WebM
  • OGV
  • MOV oclearRect

• 编码格式

  • H.265
  • H.264
  • AV1
  • VP9

• 原始数据

  • YUV
  • RGB

音频

• 基础概念

  • 采样率
  • 采样大小
  • 比特率
  • 音频压缩率

• 容器格式

  • WAV
  • AIFF
  • AMR
  • MP3
  • Ogg

• 编码格式

  • PCM: 原始数据
  • AAC-LC
  • AAC-LD
  • FLAC

直播技术

• 推拉流

• 流媒体协议

  • RTMP
  • RTP&RTCP&RTSP
  • HTTP-FLV
  • HLS
  • DASH

• 流媒体服务

播放器

• 拉流
• 解封装(demux)
• 解码
  • SPS和PPS
  • IBP帧
  • SEI
  • PTS和DTS
• 复用(remux)
• 渲染

多媒体技术

• 流操作基础
• WebRTC
  • Web API
  • Signaling
  • STUN & TURN
  • Security
  • Architectures
• MSE
• WebXR
• WebGL
• WebAssembly

开源产品和框架

• flv.js
• hls.js
• video.js
• mediaElement.js
• 西瓜播放器
• FFmpeg
• OBS
• MLT
• videoconverter.js：浏览器中转换和操作视频，这是通过使用 Emscripten 将流行的 FFmpeg 库转换为 JavaScript 来实现的。
• libde265.js： 纯 JavaScript 的 HEVC/H.265 视频解码器。

扩展阅读

• ALive：助力阿里经济体，开启直播新纪元
• Web端H.265播放器研发解密
• ffmpeg基础使用
• 关于视频你需要知道的基本概念：码率（Bitrate）、帧率（FPS）、分辨率和清晰度
• 视频
  • 【清晰度不如4年前！视频变糊是你的错觉吗？】