视频同步显示方法技术

本发明专利技术提供了一种视频同步显示方法，该方法包括：将输入的显示帧划分为块，基于帧序列的相关性进行编码；然后将画面分类为位图区域和文字区域，分别采用不同的编码过程进行压缩处理。本发明专利技术提出了一种视频同步显示方法，考虑多种网络场景的可扩展性，降低了编码复杂度；在画面压缩效率和流畅效果各方面均达到最优。

Video synchronization display method

The present invention provides a method for video synchronous display, the method includes: the input display frame is divided into blocks, encoding a sequence of frames based on correlation; then the screen is classified as bitmap region and text area, using different compression encoding process. The invention provides a video synchronization display method, which considers the scalability of a plurality of network scenes, reduces the coding complexity, and achieves the optimum in the aspects of the picture compression efficiency and the flowing effect.

【技术实现步骤摘要】
视频同步显示方法
本专利技术涉及屏幕显示，特别涉及一种视频同步显示方法。
技术介绍
人们工作生活中的多媒体设备己经从传统的以单个智能设备，转变成桌面电脑、智能手机、平板电脑和电视机以及虚拟现实、增强现实设备共同存在。因此从单独的设备，逐渐转变成同步、综合使用这些设备，能够获得更好的用户体验。传统的计算机同步显示平台通常是为有线局域网环境设计的。但是，在云计算的场景中，用户可能处于各种各样的网络环境，例如蓝牙、3G网络、WiFi。现有的同步显示平台尚未考虑多种网络场景的可扩展性，在带宽，延迟和图像质量上成为瓶颈。例如，有些方法将画面像素划分到不同的位图层之中，通常这会导致较高的编码复杂度；画面流媒体压缩效率不够理想。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种视频同步显示方法，包括：将输入的显示帧划分为块，基于帧序列的相关性进行编码；然后将画面分类为位图区域和文字区域，分别采用不同的编码过程进行压缩处理。优选地，所述将输入的显示帧以固定大小划分为块，基于帧序列的相关性进行压缩编码，进一步包括：首先将输入的画面图像以64×64的大小分块；然后通过在相邻帧之间进行差别检测，找出内容和位置均不变的块即时移块；通过联合熵编码来压缩每一个时移块的类型，在其余的块中执行基于块边界对齐的运动检测来找出内容不变但发生位移的区域；对于每一个运动块，将其类型和运动向量进行编码；所述将画面分类为位图区域和文字区域，进一步包括：在检测出相邻帧之间的不变内容之后，将其余的块分类为位图区域和文字区域，然后分别采用不同的方法进行压缩；在分类时，对于一个块i，令XP(i)和YP(i)分别表示当前梯度系数下将当前区域分类为位图区域进行编码时的失真率以及比特率，XT(i)和YT(i)分别表示当前梯度系数下将当前区域分类为文字区域进行编码时的失真率以及比特率；如果满足以下条件：XT(i)≤XP(i)，并且YT(i)＜YP(i)则当前区域被分类为文字区域；如果满足以下条件：XP(i)＜XT(i)，并且YP(i)≤YT(i)则当前区域被分类为位图区域；否则，当前区域将以拉格朗日失真率优化算法进行分类。优选地，所述分别采用不同的编码过程进行压缩处理，进一步包括：分类完成后，首先进行像素级的量化，将一个块中出现频率最高的四种颜色确定为基础色；采用的量化函数表示如下：其中x是要量化的颜色，BCk是4个基础色，k＝0，...，3，Δ1和Δ2是由两个预设量化增量；如果|x-BCk|≥Δ1，则这个颜色x被称为非基础色；文字内容的三个颜色通道各自独立进行量化；经过量化后，输入的画面图像的每一个块S(i，j)的各个颜色通道都可以用一个灰度矩阵I(i，j)以及基础色、非基础色来描述，0≤i≤w-l，0≤j≤i-1，w和h分别是块的宽度和高度；I(i，j)的定义如下，如果S(i，j)-BCk＜Δ1，则I(i，j)＝k，否则I(i，j)＝4在压缩文字内容时，如果某个块中文字像素占最大比例，则优先将其分类为文字区域进行压缩，利用基础色压缩文字像素，利用非基础色压缩位图像素；然后采用如下的方法将灰度矩阵I(i，j)转换成为二维关联图P(i，j)来表示文字内容的二维相关性：对二维关联图做一维扫描，当P(i，j)＝0时，进一步编码索引值I(i，j)；对于要编码的块中的每一行，首先尝试以整行模式对其匹配编码；如果没有整行模式可以匹配，则将该行分解为若干个像素组，并对每一个像素组进行模式匹配；像素二维关联图数值代表像素域的模式；将每L个像素二维关联图数值组成一个像素组二维符号，然后根据像素组模式的概率分布对其进行联合熵编码；将像素组二维符号进一步转换为简单的符号0和1，如下：其中k＝0,…,w/L-1,j＝0,…,h-1；m取[0,L-1]如果G(i，j)＝0，则进一步对像素组二维符号进行编码；对于位图层，在编码后分别生成个各自独立的JPEG流，对应于位图区域位置的内容以附近编码块颜色的平均值填充；统计一幅图像上的所有位图区域的颜色分布，然后将所有颜色量化为512个颜色；将位图区域量化的质量参数映射为量化增量；令QS1…，QSn表示n个基础色量化中的每个量化增量；以量化增量对图像中的位图区域进行量化时，将使均方差和比特率之和最小化的QSk确定为最优量化增量值。专利技术相比现有技术，具有以下优点：本专利技术提出了一种视频同步显示方法，考虑多种网络场景的可扩展性，降低了编码复杂度；在画面压缩效率和流畅效果各方面均达到最优。附图说明图1是根据本专利技术实施例的一种视频同步显示方法的流程图。具体实施方式下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本专利技术。本专利技术的一方面提供了一种视频同步显示方法。图1是根据本专利技术实施例的一种视频同步显示方法流程图。本专利技术首先在画面压缩过程中，将输入的显示帧以固定大小划分为块，基于帧序列的帧内相关性和帧间相关性压缩编码；基于内容自适应的编码方法，即利用位图区域特征将画面分类为位图区域和文字区域；位图区域和文字区域分别置于位图层和文字层中，位图区域采用图像编码进行处理，对文字区域进行颜色描述和量化以及利用光强度和饱和度的通道相关性编码。在画面同步传输过程中，根据画面内容而划分为多个区块进行独立的编码和传输；根据以上压缩方法的特性，利用改进的延迟降低方法来传输画面。本专利技术利用多AR设备协同画面同步显示平台，基于远程Agent而在AR终端部署同步显示平台。Agent维护了一个虚拟同步显示平台用于解析、排版和绘制显示画面，绘制出来的画面图像在编码后传输到AR终端。AR终端接收并且解码码流，然后将画面图像显示出来。在基于Agent的AR终端同步显示平台的基础上，利用显示画面播放进度同步机制，实现播放进度的无缝衔接。输入的画面图像首先以64×64的大小分块。然后通过在相邻帧之间进行差别检测，找出内容和位置均不变的块，本专利技术称之为时移块。通过联合熵编码来压缩每一个时移块的类型，在其余的块中执行基于块边界对齐的运动检测来找出内容不变但是发生位移的区域。对于每一个运动块，将其类型和运动向量进行编码。在检测出相邻帧之间的不变内容之后，将其余的块分类为位图区域和文字区域，然后分别采用不同的方法进行压缩。本专利技术在分类时，对于一个块i，令XP(i)和YP(i)分别表示当前梯度系数下将当前区域分类为位图区域进行编码时的失真率以及比特率，XT(i)和YT(i)分别表示当前梯度系数下将当前区域分类为文字区域进行编码时的失真率以及比特率。如果满足以下条件：XT(i)≤XP(i)，并且YT(i)＜YP(i)则当前区域被分类为文字区域。如果满足以下条件：XP(i)＜XT(i)，并且YP(i)≤YT(i)则当前区域被分类为位图区域。否则，当前区域将以拉格朗日失真率优化算法进行分类。分类完成后，首先进行像素级的量化，将一个块中出现频率最高的四种颜色确定为基础色。采用的量化函数表示如下：其本文档来自技高网...

【技术保护点】
一种视频同步显示方法，其特征在于，包括：将输入的显示帧划分为块，基于帧序列的相关性进行编码；然后将画面分类为位图区域和文字区域，分别采用不同的编码过程进行压缩处理。

【技术特征摘要】
1.一种视频同步显示方法，其特征在于，包括：将输入的显示帧划分为块，基于帧序列的相关性进行编码；然后将画面分类为位图区域和文字区域，分别采用不同的编码过程进行压缩处理。2.根据权利要求1所述的方法，其特征在于，所述将输入的显示帧以固定大小划分为块，基于帧序列的相关性进行压缩编码，进一步包括：首先将输入的画面图像以64×64的大小分块；然后通过在相邻帧之间进行差别检测，找出内容和位置均不变的块即时移块；通过联合熵编码来压缩每一个时移块的类型，在其余的块中执行基于块边界对齐的运动检测来找出内容不变但发生位移的区域；对于每一个运动块，将其类型和运动向量进行编码；所述将画面分类为位图区域和文字区域，进一步包括：在检测出相邻帧之间的不变内容之后，将其余的块分类为位图区域和文字区域，然后分别采用不同的方法进行压缩；在分类时，对于一个块i，令XP(i)和YP(i)分别表示当前梯度系数下将当前区域分类为位图区域进行编码时的失真率以及比特率，XT(i)和YT(i)分别表示当前梯度系数下将当前区域分类为文字区域进行编码时的失真率以及比特率；如果满足以下条件：XT(i)≤XP(i)，并且YT(i)＜YP(i)则当前区域被分类为文字区域；如果满足以下条件：XP(i)＜XT(i)，并且YP(i)≤YT(i)则当前区域被分类为位图区域；否则，当前区域将以拉格朗日失真率优化算法进行分类。3.根据权利要求2所述的方法，其特征在于，所述分别采用不同的编码过程进行压缩处理，进一步包括：分类完成后，首先进行像素级的量化，将一个块中出现频率最高的四种颜色确定为基础色；采用的量化函数表示如下：其中x是要量化的颜色，BCk是4个基础色，k＝0，...，3，Δ1和Δ2是由两个预设量化增量；如果|x-BCk...

【专利技术属性】
技术研发人员：刘亚博，代波，王强，
申请(专利权)人：成都炫境科技有限公司，
类型：发明
国别省市：四川,51