在远程控制的过程中,最本质的工作就是将远端的电脑画面传输到本地电脑,同时将本地的鼠标、键盘指令发送给到远端电脑。在超低延时的网络传输下,即可实现近乎实时的远程桌面控制体验.
本文介绍远程控制中如何实现将远端电脑画面超低延迟的传输给到本地电脑,涉及到视频截取、视频编解码、网络加速传输等技术,其中视频的编解码技术无疑是最关键的技术之一,也是我们今天要讨论的重点。
什么是屏幕编解码技术?
视频编解码:就是是在可用的计算资源内,追求尽可能高的视频压缩比与尽可能高的视频重建质量。其中包括编码(压缩)和解码(重建)两个过程。
通俗点讲,视频编码(压缩)就是定义好一系列压缩规则,对其视频信息进行重新编码,减少传输数据量,而尽可能的保留原来信息量。而视频解码(重建),就是其逆向操作。
视频编码中压缩技术
我们要了解视频是怎么编解码的,首先我们要先知道在远程控制的时候, 屏幕怎么样显示的, 当显卡给视频输出以后, 视频会怎么将原本庞大的数量压缩成更小的数据量的。其中有两个重要的概念,帧内压缩与帧间压缩。
1. 帧内压缩
帧内压缩也称为空间压缩。当远程桌面的时候, 桌面的屏幕显示完一帧, 会压缩一帧图像,仅考虑本屏幕上的数据帧而不考虑相邻帧之间的冗余信息,这实际上与静态图像压缩类似。帧内一般采用有损压缩算法,由于帧内压缩时各个帧之间没有相互关系,所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。
2. 帧间压缩
帧间压缩也称为时间压缩,是基于许多视频或动画的连续前后两帧具有很大的相关性(即连续的视频其相邻帧之间具有冗余信息)的特点来实现的。当远程桌面控制其它人的电脑, 如果对方的屏幕变化的差异不大时, 可以通过比较时间轴上不同帧之间的数据实施压缩,进一步提高压缩比。一般是无损压缩。
以被控制端的桌面是以 1080P 分辨率,60fps帧率,24位色来显示时, 一分钟原始视频的大小为21357MB。以 20mbps的带宽传输,需要142分钟,经过 H.264 编码压缩以后,假定压缩码率是CBR 3Mbps,大小约22MB。以 20mbps(2.5M/s) 的带宽传输,仅需要 9 秒钟,即9秒钟可以传送长度为1分钟视频,所以原始视频要想通过网络传输,势必要经过压缩编码。
3. 了解IPB帧:I帧、P帧、B帧
I帧:即关键帧,它保留了整张图片画面的全部信息,也叫独立帧。一个视频文件总是以I帧开头,中间间隔一定量的P帧与B帧的一个帧系列。I帧的压缩是独立完成的,属于帧内压缩。
P帧:属于帧间的一种预测,保留这一帧与之前一个I帧(或P帧)的差别信息。也就是差别帧,仅对有差别的信息进行压缩,属于帧间压缩。
B帧:也属于帧间的预测,是双向差别帧,也就是B帧保留这一帧与前后帧的差别信息。一般情况下,I帧压缩效率最低,P帧较高,B帧最高。
如下图所示,运动员的击剑动作。第一帧即为I帧(关键帧),独立压缩。其他画面只有手部动作有变化(包含P帧与B帧),编码时只需传输手部动作即可。这样可以减少大量冗余信息的传递,解码时同样可以还原所有画面细节, 这时远程控制的桌面显示的效果就会非常棒。
如上图所示, 第一排是原始图象, 如果通过编码器后, 会识别出来图象的变化规律, 这时只需要给变化的部分传给远方的其它设备就行了.在远程控制的过程中, 也是同样的原理来实现.
常用的视频编解码器
目前主流的编解码器,包括 VP8、VP9、AV1、H264(AVC)、H265(HEVC)等。他们分别都是什么?有什么特点?
VP8:是google定义并免费开源的视频编解码标准和编解码库。特点就是能以更少的数据提供更高质量的视频,而且只需要较小的处理能力即可。
VP9:VP9是VP8的后继者。由Google开发的开放格式、无使用授权费的视频压缩标准。VP9也是google开源的用与比拼H265(HEVC)的编解码器。VP9在开发初期曾被命名为Next Gen Open Video (NGOV,下一代开放视频)与VP-Next。
AV1:Google 最新推出的针对VP9编码有多项优化后的新的编解码器。在实际测试中,AV1比H265(HEVC)压缩率提升约 27%,可以说是力压 H265。是目前为止,世界上压缩性能最好的视频编解码器,秒点远程控制最新版本即将支持。
H264(AVC):H264视频压缩算法现在无疑是所有视频压缩技术中使用最广泛,最流行的。我们日常使用的视频编码大多由思科(cisco)开源的 openh264 编解码库。但目前性能最好的还是 x264 编解码库,是最好的有损视频编码器之一, 但视频版权保护, 所以没法使用 x264。
H265(HEVC):而H.265是H.264的延伸,它保留了H264的某些技术,同时加以改进,达到最优化设置,进一步提高了压缩效率。在同样的图像质量下,H265编码的视频大小比H264减少了大约40%-50%。
国产软件中支持编码器切换的软件
秒点远控
目前,秒点远程控制软件中,同时支持VP8、VP9、H264三种编码器的切换,可以在远控界面中,自行切换相关编码器, 也是国内最早支持同时在线实时切换这三种编码器的。
为了给大家提供更好的体验,后续也会加入H265和AV1 两种新的编码器技术.
ToDesk
ToDesk在秒点远控发布编码器切换后不久, 在其Windows端4.3.1的迭代中,看到其中增加了编解码设置功能。其中ToDesk提供两种编码器方式的选择:“VP8”和“H264”。
向日葵远程控制
做为国内最老牌的远程控制软件,目前向日葵并不支持编码器选择的功能,根据显示的效果推测,是基于 H264修改后的协议.
不同的编码器, 或编码器再不同的情况下, 有着完全不同的表现, 目前对于中等级别的电脑, 建议大家优先选择 VP8 有着不错的屏幕编码能力. 如果是移动设备, 建议使用 H264 的编码协议, 更好的支持移动端硬解.
