一种自适应视频编码方法及终端技术

本发明专利技术公开了一种自适应视频编码方法及终端，此方法包括：第一终端获知第二终端用户对所述第二终端屏幕的关注区域，根据所述关注区域确定所述第一终端采集到的视频帧中的感兴趣区域ROI以及非感兴趣区域NROI；所述第一终端根据所述ROI以及所述NROI对采集到的视频帧数据进行视频编码使进行视频编码后的视频流中ROI内的宏块集的码率大于NROI内的宏块集的码率；所述第一终端将进行所述视频编码后的视频流封装并向与所述第一终端具有视频通话连接的包括所述第二终端的至少一个终端发送。本发明专利技术可以在终端进行视频通话的过程中真实的反应出对端使用者真正的感兴趣区域，为用户提供良好的视频通话视觉体验。

【技术实现步骤摘要】

本专利技术涉及一种视频通话技术，特别是基于自动分析第二终端用户的感兴趣区域、对终端视频图像进行自适应编码的技术，可应用于单对单视频通话及多方视频通话领域。
技术介绍
随着互联网、移动互联网基础设施的不断完善，以及蜂窝移动通信网络的升级换代，人们在生活和工作中越来越多地使用视频电话或视频通话作为远距离沟通交流的手段。但是由于诸如网络带宽不足、网络传输负荷过大、视频图像分辨率不断提升等多方面因素的影响，传统的视频编码技术无法保证用户获得高质量的视频图像。视频编码技术经过多年的发展，也逐步接近压缩率的极限，如何在相对稳定的压缩比基础上，进一步获得让观看者主观感知上更高质量的视频图像，是当前视频压缩
的难点之一。感兴趣区域(Range of Interesting简称ROI)视频编码是目前应对以上难题的有效解决方案之一，由于人眼具有视觉感兴趣区的特性，即人眼对一副图像不同区域感兴趣的程度不同，这就意味着人眼对一副图像不同区域的质量损失可察觉度也相应不同，因此，基于感兴趣区域的视频编码方法，可充分利用视频图像接收者的这一主观特性，对图像中不同区域采用不同的编码策略，可以有效地在不增加编码码率的同时显著提升图像等的主观感受质量。为了实现感兴趣区域视频编码这一技术，当前主流的视频编解码算法标准均提供了相应的建议实现方案，例如国际标准化组织/国际电工委员会(International Organization for Standardization/International Electro technical Commission，简称ISO/IEC)运动图像专家组-2(Moving Picture Experts Group-2，简称MPEG-2)标准、ISO/IEC运动图像专家组-4(MPEG-4)第10部分高级视频编码标准(Advanced Video Coding，简称AVC)、国际电信联盟(International Technological University，简称ITU)标准均提供了在图像特定区域获得比其它区域更高质量的机制，允许终端通过分析待编码图像的特性区分出感兴趣区域，通过对感兴趣区域分配更多编码比特以保留更多细节，来获得更高的感知质量。虽然这种感兴趣区域视频编码技术可以让编码器将待编码图像划分出感兴趣区域，但是这种划分全都是基于待编码视频的特性，无法真实反映出接收者真正的感兴趣区域。同时，接收者自身主观上也可能存在关注区域频繁变化的情况，同样也能造成终端划分出的感兴趣区域未必就是接收者真正的感兴趣区域。
技术实现思路
为了解决现有技术中感兴趣区域视频编码技术无法真实反应出使用者真正的感兴趣区域的问题，本专利技术提供了一种自适应视频编码方法及一种终端。本专利技术提供的自适应视频编码方法，包括：第一终端获知第二终端用户对所述第二终端屏幕的关注区域，根据所述关注区域确定所述第一终端采集到的视频帧中的感兴趣区域ROI以及非感兴趣区域NROI；所述第一终端根据所述ROI以及所述NROI对采集到的视频帧数据进行视频编码使进行视频编码后的视频流中ROI内的宏块集的码率大于NROI内的宏块集的码率；所述第一终端将进行所述视频编码后的视频流封装并向与所述第一终端具有视频通话连接的包括所述第二终端的至少一个终端发送。上述自适应视频编码方法还具有以下特点：所述第一终端获知第二终端用户对所述第二终端屏幕的关注区域包括：所述第一终端从与所述第一终端正在建立视频通话连接或已建立视频通话连接的所述第二终端接收所述关注区域的位置信息，根据所述位置信息确定第二终端用户对所述第二终端屏幕的关注区域；或者，所述第一终端根据从所述第二终端接收的视频帧数据检测出第二终端用户对所述第二终端屏幕的关注区域，具体包括：所述第一终端根据从所述第二终端接收的视频帧数据检测人眼运动轨迹和/或瞳孔状态变化轨迹，检测到有效的人眼运动轨迹和/或有效的瞳孔状态变化轨迹后，根据此有效的人眼运动轨迹和/或有效的瞳孔状态变化轨迹计算出第二终端用户对所述第二终端屏幕的关注区域。上述自适应视频编码方法还具有以下特点：所述方法还包括：所述第一终端在与所述第二终端建立起视频通话连接之前的连接初始化过程中，从所述第二终端获知所述第二终端用户对所述第二终端屏幕的关注区域并根据此关注区域确定所述第一终端采集到的视频帧中的初始ROI以及初始NROI，或者，根据预设固定区域确定所述第一终端采集到的视频帧中的初始ROI以及初始NROI；所述第一终端在与所述第二终端建立起视频通话连接后且未从第二终端接收到关注区域的位置信息或未检测到有效的人眼运动轨迹或有效的瞳孔状态变化轨迹时，根据所述初始ROI和所述初始NROI对采集到的视频帧数据进行视频编码。上述自适应视频编码方法还具有以下特点：所述方法还包括：所述第一终端根据所述第一终端采集到的视频帧数据检测人眼运动轨迹和/或瞳孔状态变化轨迹，检测到有效的人眼运动轨迹和/或有效的瞳孔状态变化轨迹后，根据此有效的人眼运动轨迹和/或有效的瞳孔状态变化轨迹计算出第一终端用户对第一终端屏幕的关注区域，并将此关注区域的信息发送至所述第二终端。上述自适应视频编码方法还具有以下特点：所述方法还包括：所述第一终端从所述第二终端获取所述第二终端的屏幕信息，所述屏幕信息包括：屏幕尺寸、屏幕显示分辨率、屏幕方向；所述根据所述关注区域确定所述第一终端采集到的视频帧中的感兴趣区域ROI以及非感兴趣区域NROI包括：所述第一终端根据所述第二终端的屏幕信息以及所述第一终端的屏幕信息计算从所述第二终端接收到的视频帧中坐标位置与所述第一终端采集到的视频帧中坐标位置的映射关系，根据所述映射关系确定所述关注区域对应的所述第一终端采集到的视频帧中的感兴趣区域ROI。上述自适应视频编码方法还具有以下特点：所述第一终端对采集到的视频帧数据进行视频编码方法为以下方法中的一种：方法一，计算ROI和NROI内的宏块集的图像特性，根据所述图像特性计算ROI的比特分配策略和NROI的比特分配策略，根据ROI的比特分配策略对ROI的宏块集进行编码，根据NROI的比特分配策略对NROI的宏块集进行编码；其中，所述ROI的比特分配策略对应于第一码率，所述NROI的比特分配策略对应于第二码率，所述第一码率大于所述第二码率；所述图像特性包括以下特性中的至少一种：亮度分量、色度分量、照射分量、反射分量、灰度直方图、颜色饱和度、离散余弦变换DCT变换系数、小波变换系数、梯度、宏块纹理复杂度；方法二，计算ROI和NROI内的宏块集的图像特性，根据所述图像特性计算ROI的编码策略和NROI的编码策略，根据ROI的编码策略对ROI的宏块集进行编码，根据NROI的编码策略对NROI的宏块集进行编码；其中，所述ROI的编码策略对应的码率大于所述NROI的编码策略所对应的码率；所述ROI的编码策略和NROI的编码策略包括以下策略中的至少一种：宏块的划分策略、运动矢量搜索范围、量化参数、宏块编码比特分配数量；所述图像特性包括以下特性中的至少一种：亮度分量、色度分量、照射分量、反射分量、灰度直方图、颜色饱和度、离散余弦变换DCT变换系数、小波变换系数、梯度、宏块纹理复杂度；方法三，所述第一终端将本文档来自技高网...

【技术保护点】
一种自适应视频编码方法，其特征在于，包括：第一终端获知第二终端用户对所述第二终端屏幕的关注区域，根据所述关注区域确定所述第一终端采集到的视频帧中的感兴趣区域ROI以及非感兴趣区域NROI；所述第一终端根据所述ROI以及所述NROI对采集到的视频帧数据进行视频编码使进行视频编码后的视频流中ROI内的宏块集的码率大于NROI内的宏块集的码率；所述第一终端将进行所述视频编码后的视频流封装并向与所述第一终端具有视频通话连接的包括所述第二终端的至少一个终端发送。

【技术特征摘要】
1.一种自适应视频编码方法，其特征在于，包括：第一终端获知第二终端用户对所述第二终端屏幕的关注区域，根据所述关注区域确定所述第一终端采集到的视频帧中的感兴趣区域ROI以及非感兴趣区域NROI；所述第一终端根据所述ROI以及所述NROI对采集到的视频帧数据进行视频编码使进行视频编码后的视频流中ROI内的宏块集的码率大于NROI内的宏块集的码率；所述第一终端将进行所述视频编码后的视频流封装并向与所述第一终端具有视频通话连接的包括所述第二终端的至少一个终端发送。2.如权利要求1所述的自适应视频编码方法，其特征在于，所述第一终端获知第二终端用户对所述第二终端屏幕的关注区域包括：所述第一终端从与所述第一终端正在建立视频通话连接或已建立视频通话连接的所述第二终端接收所述关注区域的位置信息，根据所述位置信息确定第二终端用户对所述第二终端屏幕的关注区域；或者，所述第一终端根据从所述第二终端接收的视频帧数据检测出第二终端用户对所述第二终端屏幕的关注区域，具体包括：所述第一终端根据从所述第二终端接收的视频帧数据检测人眼运动轨迹和/或瞳孔状态变化轨迹，检测到有效的人眼运动轨迹和/或有效的瞳孔状态变化轨迹后，根据此有效的人眼运动轨迹和/或有效的瞳孔状态变化轨迹计算出第二终端用户对所述第二终端屏幕的关注区域。3.如权利要求2所述的自适应视频编码方法，其特征在于，所述方法还包括：所述第一终端在与所述第二终端建立起视频通话连接之前的连接初始化过程中，从所述第二终端获知所述第二终端用户对所述第二终端屏幕的关注区域并根据此关注区域确定所述第一终端采集到的视频帧中的初始ROI以及初始NROI，或者，根据预设固定区域确定所述第一终端采集到的视频帧中的初始ROI以及初始NROI；所述第一终端在与所述第二终端建立起视频通话连接后且未从第二终端接收到关注区域的位置信息或未检测到有效的人眼运动轨迹或有效的瞳孔状态变化轨迹时，根据所述初始ROI和所述初始NROI对采集到的视频帧数据进行视频编码。4.如权利要求2所述的自适应视频编码方法，其特征在于，所述方法还包括：所述第一终端根据所述第一终端采集到的视频帧数据检测人眼运动轨迹和/或瞳孔状态变化轨迹，检测到有效的人眼运动轨迹和/或有效的瞳孔状态变化轨迹后，根据此有效的人眼运动轨迹和/或有效的瞳孔状态变化轨迹计算出第一终端用户对第一终端屏幕的关注区域，并将此关注区域的信息发送至所述第二终端。5.如权利要求1、2、3或4所述的自适应视频编码方法，其特征在于，所述方法还包括：所述第一终端从所述第二终端获取所述第二终端的屏幕信息，所述屏幕信息包括：屏幕尺寸、屏幕显示分辨率、屏幕方向；所述根据所述关注区域确定所述第一终端采集到的视频帧中的感兴趣区域ROI以及非感兴趣区域NROI包括：所述第一终端根据所述第二终端的屏幕信息以及所述第一终端的屏幕信息计算从所述第二终端接收到的视频帧中坐标位置与所述第一终端采集到的视频帧中坐标位置的映射关系，根据所述映射关系确定所述关注区域对应的所述第一终端采集到的视频帧中的感兴趣区域ROI。6.如权利要求1、2、3或4所述的自适应视频编码方法，其特征在于，所述第一终端对采集到的视频帧数据进行视频编码方法为以下方法中的一种：方法一，计算ROI和NROI内的宏块集的图像特性，根据所述图像特性计算ROI的比特分配策略和NROI的比特分配策略，根据ROI的比特分配策略对ROI的宏块集进行编码，根据NROI的比特分配策略对NROI的宏块集进行编码；其中，所述ROI的比特分配策略对应于第一码率，所述NROI的比特分配策略对应于第二码率，所述第一码率大于所述第二码率；所述图像特性包括以下特性中的至少一种：亮度分量、色度分量、照射分量、反射分量、灰度直方图、颜色饱和度、离散余弦变换DCT变换系数、小波变换系数、梯度、宏块纹理复杂度；方法二，计算ROI和NROI内的宏块集的图像特性，根据所述图像特性计算ROI的编码策略和NROI的编码策略，根据ROI的编码策略对ROI的宏块集进行编码，根据NROI的编码策略对NROI的宏块集进行编码；其中，所述ROI的编码策略对应的码率大于所述NROI的编码策略所对应的码率；所述ROI的编码策略和NROI的编码策略包括以下策略中的至少一种：宏块的划分策略、运动矢量搜索范围、量化参数、宏块编码比特分...

【专利技术属性】
技术研发人员：代金良，江周平，徐家骏，
申请(专利权)人：一块互动北京科技有限公司，
类型：发明
国别省市：北京;11