一种基于H264码流的IOS远程真机WEB端实时操控回显方法技术

本发明专利技术公开了一种基于H264码流的IOS远程真机WEB端实时操控回显方法，包括以下步骤：使用IOS系统内置的截图和硬件编码方式将图片实时编译成H264格式的视频流，通过TCP/IP协议传输，H264码流会根据图像变化特征形成I帧(IDR帧即关键帧)、P帧、B帧，其中I帧采用的核心算法为帧内压缩存放一个完整的图像信息，P帧、B帧采用的是帧间压缩，存放相连几帧相关性数据。本发明专利技术巧妙利用H264差异帧的技术，大大降低传输带宽压力(节省2/3以上)，将IOS图片硬编成视频流，巧妙利用H264差异帧的技术，减少传输数据量的同时，让传输速率也得到平稳控制；在WEB端将H264视频流解析成图片流，降低了对服务器集中解码的资源消耗，提升了远程操控的流畅性。性。性。

【技术实现步骤摘要】
一种基于H264码流的IOS远程真机WEB端实时操控回显方法


[0001]本专利技术涉及测试管理领域，特别涉及一种基于H264码流的IOS远程真机WEB端实时操控回显方法。

技术介绍

[0002]IOS远程真机图像显示目前多采用IOS体系自带的截图接口，以不低于60次每秒的频率截图，并将图片流以TCP/IP或者HTTP协议传输WEB终端，实时渲染在Canvas上显示，以便于手势和滑动操作。因为IOS高分辨率的图片以及高性能的截图能力，实时画面的质感能够得到保证，但是这种方案对带宽要求很高，不适合大规模集中使用，特别是在带宽受限的情况下，卡顿情况非常明显；现有方案如图3所示。

技术实现思路

[0003]本专利技术要解决的技术问题是克服现有技术的缺陷，提供一种基于H264码流的IOS远程真机WEB端实时操控回显方法，在低带宽或个人网络受限环境下，解决IOS真机远程WEB端实时操控显示卡顿问题，既要保持流畅性，又要保证一定的画质标准，提供给真机可操作性。
[0004]本专利技术提供了如下的技术方案：
[0005]本专利技术提供一种基于H264码流的IOS远程真机WEB端实时操控回显方法，包括以下步骤：
[0006]1).使用IOS系统内置的截图和硬件编码方式将图片实时编译成H264格式的视频流，通过TCP/IP协议传输，H264码流会根据图像变化特征形成I帧(IDR帧即关键帧)、P帧、B帧，其中I帧采用的核心算法为帧内压缩存放一个完整的图像信息，P帧、B帧采用的是帧间压缩，存放相连几帧相关性数据；
[0007]2).在WEB端将接收到的H264格式的视频流实时解析成图片；
[0008]3).最后将图像信息绘制在WEB上，形成可操作的流畅动态的图片流。
[0009]与现有技术相比，本专利技术的有益效果如下：
[0010]本专利技术巧妙利用H264差异帧的技术，大大降低传输带宽压力(节省2/3以上)，将IOS图片硬编成视频流，巧妙利用H264差异帧的技术，减少传输数据量的同时，让传输速率也得到平稳控制；在WEB端将H264视频流解析成图片流，降低了对服务器集中解码的资源消耗，提升了远程操控的流畅性。
附图说明
[0011]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：
[0012]图1是本专利技术的框架图；
[0013]图2是本专利技术的实施例示意图；
[0014]图3是现有技术的框架图。
具体实施方式
[0015]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。其中附图中相同的标号全部指的是相同的部件。
[0016]实施例1
[0017]如图1
‑
3，本专利技术提供一种基于H264码流的IOS远程真机WEB端实时操控回显方法，包括以下步骤：
[0018]1).使用IOS系统内置的截图和硬件编码方式将图片实时编译成H264格式的视频流，通过TCP/IP协议传输，H264码流会根据图像变化特征形成I帧(IDR帧即关键帧)、P帧、B帧，其中I帧采用的核心算法为帧内压缩存放一个完整的图像信息，P帧、B帧采用的是帧间压缩，存放相连几帧相关性数据；
[0019]2).在WEB端将接收到的H264格式的视频流实时解析成图片；
[0020]3).最后将图像信息绘制在WEB上，形成可操作的流畅动态的图片流。
[0021]进一步的，本方法一改单纯图片流传输的方式，将IOS图片硬编码成视频流，又利用WEB端的解码方案解码还原成图片流，恢复真机的可操作性。
[0022]实施例如下图2所示，实施技术点如下：
[0023]IOS手机截图：通过XCode自带单元测试框架XCTest的私有截图接口_XCT_requestScreenshotOfScreenWithID实施。
[0024]硬件编码H264码流：使用XCode的VideoToolbox框架，可直接访问硬件的编解码器。能够为视频提供压缩和解压缩的服务，同时也提供存储在CoreVideo像素缓冲区的图像进行格式的转换；
[0025]H264帧特性:
[0026]I帧(帧内编码帧，又称intra picture)I帧通常是每个GOP(MPEG所使用的一种视频压缩技术)的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图象。I帧可以看成是一个图像经过压缩后的产物。
[0027]P帧(前向预测编码帧，又称predictive
‑
frame)通过充分将低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像，也叫预测帧。
[0028]B帧(双向预测帧，又称bi
‑
directional interpolated prediction frame)既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像,也叫双向预测帧。
[0029]H264解码：采用broadway框架对视频流解码成图片帧，并形成图片流。
[0030]图片渲染：采用H5的新特性canvas绘制图片，兼容绝大部分WEB浏览器
[0031]本专利技术中。
[0032]最后应说明的是：以上所述仅为本专利技术的优选实施例而已，并不用于限制本专利技术，尽管参照前述实施例对本专利技术进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的
保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于H264码流的IOS远程真机WEB端实时操控回显方法，其特征在于，包括以下步骤：1).使用IOS系统内置的截图和硬件编码方式将图片实时编译成H264格式的视频流，通过TCP/IP协议传输，H264码流会根据图像变化特征形成I帧(IDR帧即关键帧)、...

【专利技术属性】
技术研发人员：陈亮，
申请(专利权)人：上海赛可出行科技服务有限公司，
类型：发明
国别省市：