爱发呆的鱼

jitter、丢包、乱序与 jitter buffer：弱网下实时音视频到底在对抗什么

前言：为什么很多实时音视频系统，真正难的不是“发出去”，而是“让对方稳稳收到”很多人刚接触实时音视频时，最开始的关注点通常都在这些地方： 编码能不能成功 推流能不能发出去 解码能不能出图 网络通不通 这些当然都重要。 但只要你开始真正碰实时系统，很快就会发现，最折磨人的问题往往不是“完全不通”，而是那种： 能通，但一卡一卡 能看，但声音断断续续 有画面，但延迟越来越大 一开始正常，网络一抖就
音视频
#音视频 #工程实践 #WebRTC #RTP #jitter buffer #弱网优化

WebRTC 为什么难：从采集、编码、传输到抗抖动，实时音视频链路到底难在哪

前言：实时音视频链路，为什么难到劝退很多人只要碰实时音视频，几乎迟早会听说 WebRTC 很复杂。 SDP、ICE、STUN、TURN、RTP、RTCP、NACK、PLI、jitter buffer、AEC、FEC、congestion control……名词多得像一整面墙。但如果你真做过实时系统，慢慢会发现，这些名词多只是表象，真正难的是背后那个几乎有点苛刻的系统目标： 在一个充满不确定性
音视频
#音视频 #工程实践 #WebRTC #RTP #jitter buffer #RTCP #实时音视频

流媒体系统的标准分层架构

前言很多人学流媒体时，最容易出现一种状态：单个名词都认识，但一旦把它们放进同一条系统链路里，就开始混。 比如： H.264 是编码标准 FLV、MP4 是封装格式 RTP 是媒体传输协议 RTCP 是质量控制协议 RTSP 是信令协议 RTMP 和 WebRTC 又像是“整套方案” 如果这些概念不做分层，工程里很容易出现几种典型混乱： 把封装和传输混成一层 把 RTSP 误当成真正发视频的协
音视频
#音视频 #FFmpeg #RTSP #WebRTC #RTP #RTCP #RTMP #流媒体

GStreamer 的 pipeline 思维是什么：它和 FFmpeg 的差别到底在哪

前言：为什么很多人学完 FFmpeg 再看 GStreamer，会有一种“都认识单词，但整句话读不顺”的感觉如果你已经接触过一段时间 FFmpeg，再去看 GStreamer，通常会有一种非常典型的感觉： 里面很多概念并不是完全陌生 但整体思维方式就是不一样 你能看懂它在“处理媒体”，却总觉得脑回路没完全接上 这种感觉非常正常。 因为 FFmpeg 和 GStreamer 虽然都属于主流媒体框
音视频
#音视频 #FFmpeg #工程实践 #GStreamer #pipeline #媒体框架

RTMP 与 WebRTC 的核心区别：为什么它们适合完全不同的场景

前言：为什么很多人把 RTMP 和 WebRTC 放在一起比较，但比较完还是模糊只要开始做直播、推流、拉流、视频会议、实时互动或者弱网优化，几乎迟早会碰到一个很高频的问题： RTMP 和 WebRTC 到底有什么区别？ 表面上看，这两个协议 / 体系都和“实时视频传输”有关，所以很多人会自然把它们放进一个篮子里比较。 这没问题，但真正一聊深入，很多回答就容易开始发散： 一个说 RT
音视频
#音视频 #工程实践 #WebRTC #RTMP #流媒体 #实时通信

RTP、RTCP、RTSP 三者到底是什么关系

前言：为什么这三个协议总被一起讲，但很多人还是分不清谁到底管什么只要开始接触流媒体、监控、RTSP 拉流、播放器、推流服务器，几乎很快就会碰到这三个名字： RTP RTCP RTSP 很多人第一次接触时都会下意识把它们当成“一整套东西”，因为它们总是一起出现。 这也不算错，但真正一问： RTP 在传什么 RTCP 在反馈什么 RTSP 到底是不是在传视频 为什么抓包时你会同时看到 SETUP
音视频
#音视频 #工程实践 #RTSP #RTP #RTCP #流媒体

硬编码、软编码到底怎么选：从 CPU 到 GPU，视频编码方案的工程取舍

前言：为什么很多人知道“硬编更快，软编更灵活”，但真做选型时还是会卡住如果你刚接触视频编码，最容易先记住一句话： 软编码，画质通常更好，调节空间更大 硬编码，速度通常更快，延迟更低，功耗也更友好 这句话不算错。 但问题是，真实项目里的选型从来不是靠这两句口号就能落地。 因为一旦进入工程现场，你马上会面对这些更具体的问题： 摄像头采集上来的是 NV12，编码器到底吃不吃 我想做 1080p30
音视频
#音视频 #FFmpeg #工程实践 #视频编码 #H.264 #H.265 #硬编码 #软编码

FFmpeg filter graph 入门：从 scale、fps、overlay 到完整滤镜链

前言：为什么很多人会用 FFmpeg 命令，但一到滤镜链就开始发虚学 FFmpeg 的过程中，很多人会先学会这些事： 转码 推流 抽帧 改码率 改封装 这时候你会觉得自己已经能“用 FFmpeg 干活了”。 但只要需求再往前走一步，比如想做： 缩放 裁剪 改帧率 加水印 叠字 多路画面拼接 预处理后再编码 你几乎一定会撞上一个核心概念： filter graph。 也是从这里开始，很多人会
音视频
#音视频 #FFmpeg #工程实践 #图像处理 #filter graph #推流

FFmpeg 时间戳体系入门：PTS、DTS、time_base 到底怎么理解

前言：为什么很多人学 FFmpeg，最后都死在时间戳上如果你已经开始做 FFmpeg、播放器、转码器、推流器、直播链路或者音视频同步，几乎很快就会碰到下面这些词： PTS DTS time_base duration 重排序 音画同步 av_rescale_q 很多人第一次看这些概念时都会有一种很强的割裂感。 因为表面上它们都像“时间相关信息”，但一旦放到工程里，问题马上就会变复杂： 为什么
音视频
#音视频 #FFmpeg #工程实践 #时间戳 #编解码

视频从采集到显示：全景链路、面试回答与工程实践

前言：为什么很多人学了很久音视频，脑子里还是一团雾很多人学音视频时都会经历一个阶段：一开始接触到的是各种具体名词——H.264、H.265、AAC、RTP、RTMP、WebRTC、FFmpeg、AVPacket、AVFrame、YUV、NV12、OpenGL；再往后，又会不断碰到各种具体现象——为什么视频这么大、为什么要压缩、为什么会卡顿花屏、为什么会音画不同步、为什么 packet 不等于 fr
音视频
#音视频 #FFmpeg #工程实践 #Camera #视频编码