基于感兴趣度的自适应编解码方法、装置、设备和介质制造方法及图纸

本发明专利技术提出了一种基于感兴趣度的自适应编解码方法和装置，其中方法包括：基于所述注视点信息数据获取每帧图像的帧内标记感兴趣度，基于所述播放状态获取目标视频的每帧图像的整帧标记感兴趣度，若目标视频的帧图像处于快进播放状态时，则基于整帧标记感兴趣度修正编码量化参数；若目标视频的帧图像处于正常播放状态时，则基于帧内标记感兴趣度修正编码量化参数；服务器端根据修正后的编码量化参数对目标视频进行编码，VR终端进行解码。本发明专利技术通过获取帧内标记感兴趣度和整帧的感兴趣度，提出对视频图像编码质量的不同要求，对于感兴趣度高的区域编码质量要求更高，而对于感兴趣度低的区域，可降低编码质量，不影响用户的实际视觉体验。视觉体验。视觉体验。

【技术实现步骤摘要】
基于感兴趣度的自适应编解码方法、装置、设备和介质


[0001]本专利技术属于视频编解码
，具体涉及一种基于感兴趣度的自适应编解码方法、装置、设备和介质。

技术介绍

[0002]对于VR装置的体验过程中，用户注视点的位置，以及对于视频资源的快进和慢放等体现了用户的感兴趣区域，不同程度的感兴趣区域，对于图像编码质量的要求不同，目前在视频编码端算法中没有考虑感兴趣度的影响，使得在不同程度的感兴趣区域使用相同的编码参数，在用户较低感兴趣区域和较高感兴趣区域编码质量相同，使得编码时长较长并且编码码流较大。根据感兴趣度进行编码，对于感兴趣区域高的区域编码质量要求更高，而对于感兴趣区域低的区域，可以适当降低编码质量，从而降低码流。因此需要提出一种基于感兴趣区域的自适应编解码方法。

技术实现思路

[0003]本专利技术所要解决的技术问题在于针对上述现有技术的不足，提供了一种基于感兴趣度的自适应编解码方法、装置、电子设备和可读存储介质，该方法根据感兴趣度进行编码，对于感兴趣区域高的区域编码质量要求更高，而对于感兴趣区域低的区域，可以适当降低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于感兴趣度的自适应编解码方法，其特征在于，该方法包括：获取VR终端上目标视频的每帧图像的注视点信息数据，基于所述注视点信息数据获取每帧图像的帧内标记感兴趣度；获取所述目标视频的每帧图像的播放状态，基于所述播放状态获取目标视频的每帧图像的整帧标记感兴趣度；若目标视频的帧图像处于快进播放状态时，则基于帧图像的整帧标记感兴趣度修正目标视频的帧图像的编码量化参数；若目标视频的帧图像处于正常播放状态时，则基于帧图像的帧内标记感兴趣度修正帧图像的编码量化参数；服务器端根据修正后的编码量化参数对目标视频进行编码，得到目标视频的码流；VR终端获得服务器端通过网络端发送过来的目标视频的码流，根据目标视频的码流进行解码。2.根据权利要求1所述的一种基于感兴趣度的自适应编解码方法，其特征在于，每帧图像的注视点信息数据包括注视点区域、注视点区域的数量、注视点区域的坐标、注视点区域的注视次数、每帧图像的总注视次数、总视频资源ID、帧ID；每帧图像的注视点区域的数量大于等于0，每帧图像的总注视次数等于所有注视点区域的注视次数的总和；注视点区域内包含一个或多个注视点，每个注视点具有对应的注视次数，注视点区域的注视次数指该注视点区域内所有注视点的对应的注视次数。3.根据权利要求2所述的一种基于感兴趣度的自适应编解码方法，其特征在于，所述获取VR终端上目标视频的每帧图像的注视点信息数据，基于所述注视点信息数据获取每帧图像的帧内标记感兴趣度，具体包括：根据目标视频的每帧图像的注视点信息数据，将总注视次数大于等于5000次的帧，作为用户感兴趣帧；按照用户感兴趣帧的所有注视点区域内的注视点的注视次数由高到低对所有注视点的坐标进行排布，然后按照排布顺序，从用户感兴趣帧内具有最高注视次数的注视点所处位置的区域开始识别，识别出用户感兴趣的受关注物，并对该注视点所处位置的区域进行标记，标记为感兴趣区域，并统计出感兴趣区域的注视点和注视次数；标记完成后，进行终止识别判断，若满足终止识别的条件后结束识别和标记；否则，继续在用户感兴趣帧内未标记的区域中获取具有最高注视次数的注视点所处位置的区域进行识别和标记；直至满足终止识别的条件后，结束识别和标记；所述终止识别的条件为用户感兴趣帧内未标记的区域的注视次数小于用户感兴趣帧的总注视次数的10％；以用户感兴趣帧的感兴趣区域为单位标记，按照感兴趣区域内具有最高注视次数的注视点的注视次数由高到低的顺序对用户感兴趣帧的所有感兴趣区域排序，然后依次计算感兴趣区域的帧内标记感兴趣度lns1，集合用户感兴趣帧内图像的所有感兴趣区域的帧内标记感兴趣度lns1，形成用户感兴趣帧的帧内标记感兴趣度集；lns1通过公式(1)计算如下：其中，c表示用户感兴趣帧中待标记的感兴趣区域的最高注视次数；Cmax表示用户感兴
趣帧中最开始被标记为感兴趣区域的最高注视次数；Cmin表示用户感兴趣帧中最后被标记为感兴趣区域的最高注视次数；对目标视频的帧图像的感兴趣区域的帧内标记感兴趣度lns1进行归一化到1～10，即将感兴趣区域的帧内标记感兴趣度lns1分为1～10级；对于目标视频的帧图像中除去已经标注为感兴趣区域外的区域，将其的帧内标记感兴趣度lns1均设定为1。4.根据权利要求3所述的一种基于感兴趣度的自适应编解码方法，其特征在于，计算用户感兴趣帧的感兴趣区域内的注视次数平均值，avg＝sum/num，即注视次数平均值等于感兴趣区域的总注视次数除以感兴趣区域内的总注视点数，比较当前感兴趣区域的注视次数平均值avg与上一感兴趣区域的注视次数平均值avg，若当前感兴趣区域的注视次数平均值avg大于上一感兴趣区域的注视次数平均值avg，则将当前感兴趣区域Ins1赋值为上一感兴趣区域已计算的Ins1。5.根据权利要求1所述的一种基于感兴趣度的自适应编解码方法，其特征在于，所述接收用户终端发送的目标视频的播放状态，基于目标视频的播放状态获取目标视频的整帧标记感兴趣度，包括：根据目标视频的帧图像在播放时视频设置的播放状态，以及目标视频的最大慢放倍数和最大快放倍数，计算目标视频的帧图像的整帧标记感兴趣度lns...

【专利技术属性】
技术研发人员：车俊岭，王慧，高宇航，李勇，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：