System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种视频显示界面上兴趣区域的确定方法、装置及设备制造方法及图纸_技高网

一种视频显示界面上兴趣区域的确定方法、装置及设备制造方法及图纸

技术编号:40541053 阅读:6 留言:0更新日期:2024-03-05 18:56
本发明专利技术提供一种视频显示界面上兴趣区域的确定方法、装置及设备。其中服务器侧的方法包括:获取视频显示界面上显示的视频画面的至少一个视频编码块的码块划分信息;将所述码块划分信息传输到眼球跟踪设备;获取所述眼球跟踪设备根据所述码块划分信息反馈的多个黄斑反光强度;根据所述多个黄斑反光强度,确定用户在所述视频画面上的兴趣区域。本发明专利技术的上述方案可以实现视频显示界面上兴趣区域的精准确定。

【技术实现步骤摘要】

本专利技术涉及视频处理,特别是指一种视频显示界面上兴趣区域的确定方法、装置及设备


技术介绍

1、机器视觉、图像处理中,被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为roi(region of interest,兴趣区域)。在传统的机器视觉软件上常用到各种算子(operator)和函数来求得感兴趣区域roi,并进行图像的下一步处理。roi可以根据客户要求对视频进行智能编码,并在不损失图像质量的前提下,优化视频编码性能,最终降低网络带宽占用率和减少存储空间。

2、普通的视频编码器对整个帧进行视频编码(压缩)并传输,这样就给网络带宽和视频存储带来了压力。roi一般会根据鼠标指针停留的位置或者识别人脸位置而确定。roi区域会使用较高的码率和量化等级进行压缩,而roi之外的区域会使用较低的码率和量化质量,再不过多影响用户体验的同时降低传输带宽。

3、现阶段roi主要是针对监控或者视频会议场景使用,一般采取鼠标指针所在区域或者识别人脸所在位置确定roi的方法,但这种方法在不存在鼠标指针和人脸时不能继续使用,也有一些方法是采用神经网络或ai等方法预测roi的位置,但这类方法不仅复杂度高,处理时延也较大,不适合无线网络和移动设备使用。


技术实现思路

1、本专利技术要解决的技术问题是提供一种视频显示界面上兴趣区域的确定方法、装置及设备。实现视频显示界面上兴趣区域的精准确定。

2、为解决上述技术问题,本专利技术的技术方案如下:

<p>3、一种视频显示界面上兴趣区域的确定方法,应用于服务器,所述方法包括:

4、获取视频显示界面上显示的视频画面的至少一个视频编码块的码块划分信息;

5、将所述码块划分信息传输到眼球跟踪设备;

6、获取所述眼球跟踪设备根据所述码块划分信息反馈的多个黄斑反光强度;

7、根据所述多个黄斑反光强度,确定用户在所述视频画面上的兴趣区域。

8、可选的,所述黄斑反光强度是通过在视频编码块所在位置设置光源,所述光源发出的光线在用户眼球的黄斑反光后得到的。

9、可选的,获取所述眼球跟踪设备根据所述码块划分信息反馈的多个黄斑反光强度,包括:

10、获取所述眼球跟踪设备根据所述至少一个视频编码块中的每一个视频编码块所在位置的光源发出的光线在用户眼球的黄斑反光后,反馈的多个黄斑反光强度;其中,一个视频编码块所在位置设置一个第一光源,一个视频编码块对应一个黄斑反光强度。

11、可选的,获取所述眼球跟踪设备根据所述码块划分信息反馈的多个黄斑反光强度,包括:

12、获取所述眼球跟踪设备在所述至少一个视频编码块中选择一个基准视频编码块,所述基准视频编码块所在位置处设置一个光源,所述光源发出的光线在用户眼球的黄斑反光后,得到基准黄斑反光强度;并在所述基准视频编码块周围预设数量的视频编码块跟踪用户眼球的黄斑反光,得到预设数量的跟踪黄斑反光强度;所述多个黄斑反光强度包括:一个所述基准黄斑反光强度和预设数量的跟踪黄斑反光强度。

13、可选的,根据所述多个黄斑反光强度,确定用户在所述视频画面上的兴趣区域,包括:

14、将所述多个黄斑反光强度中反光强度最强的视频编码块,确定为用户在所述视频画面上的兴趣区域。

15、可选的,视频显示界面上兴趣区域的确定方法,还包括:

16、对所述兴趣区域的视频画面按照第一编码码率进行编码处理,得到第一编码结果;

17、将所述第一编码结果传输至所述视频显示界面进行显示。

18、可选的,视频显示界面上兴趣区域的确定方法,还包括:

19、将所述视频画面上除所述兴趣区域以外的其余视频编码块,按照用户眼球到其余视频编码块的距离,划分为至少一种质量等级的码块区域;

20、对所述至少一种质量等级的码块区域,分别配置相应的第二编码码率;所第二编码码率小于所述第一编码码率;

21、按照每一种质量等级的码块区域对应的第二编码码率,对视频数据进行编码处理,得到第二编码结果;

22、将所述第二编码结果传输至所述视频显示界面进行显示。

23、可选的,视频显示界面上兴趣区域的确定方法,还包括:

24、当不能接收到所述眼球跟踪设备返回的兴趣区域信息时,按照最近一次兴趣区域对应的视频编码块中的运动矢量,确定兴趣区域。

25、可选的,视频显示界面上兴趣区域的确定方法,还包括:

26、当不能获取视频编码块中的运动矢量时,比较当前视频画面和最近一次上报兴趣区域的视频画面,选择变化程度最大的视频编码块作为当前视频画面的兴趣区域。

27、本专利技术的实施例还提供一种视频显示界面上兴趣区域的确定方法,应用于眼球跟踪设备,所述方法包括:

28、接收服务器发送的视频显示界面上显示的视频画面的至少一个视频编码块的码块划分信息;

29、根据所述码块划分信息得到多个黄斑反光强度;

30、将所述多个黄斑反光强度上报服务器,使得所述服务器根据所述多个黄斑反光强度,确定用户在所述视频画面上的兴趣区域。

31、可选的,根据所述码块划分信息得到多个黄斑反光强度,包括:

32、根据所述码块划分信息,在视频编码块所在位置设置光源,并在所述光源发出的光线在用户眼球的黄斑反光后得到多个黄斑反光强度。

33、可选的,根据所述码块划分信息,在视频编码块所在位置设置光源,并在所述光源发出的光线在用户眼球的黄斑反光后得到多个黄斑反光强度,包括:

34、根据所述码块划分信息,在至少一个视频编码块中的每一个视频编码块所在位置设置光源,光源发出的光线在用户眼球的黄斑反光后,得到多个黄斑反光强度;其中,一个视频编码块所在位置设置一个第一光源,一个视频编码块对应一个黄斑反光强度。

35、可选的,根据所述码块划分信息,在视频编码块所在位置设置光源,并在所述光源发出的光线在用户眼球的黄斑反光后得到多个黄斑反光强度,包括:

36、根据所述码块划分信息,在所述至少一个视频编码块中选择一个基准视频编码块,所述基准视频编码块所在位置处设置一个光源,所述光源发出的光线在用户眼球的黄斑反光后,得到基准黄斑反光强度;并在所述基准视频编码块周围预设数量的视频编码块跟踪用户眼球的黄斑反光,得到预设数量的跟踪黄斑反光强度;所述多个黄斑反光强度包括:一个所述基准黄斑反光强度和预设数量的跟踪黄斑反光强度。

37、本专利技术的实施例还提供一种视频显示界面上兴趣区域的确定装置,应用于服务器,所述装置包括:

38、获取模块,用于获取视频显示界面上显示的视频画面的至少一个视频编码块的码块划分信息;

39、传输模块,用于将所述码块划分信息传输到眼球跟踪设备;

40、处理模块,用于获取所述眼球跟踪设备根据所述码块划分信息反馈的多个黄斑反光强度;根据所述多本文档来自技高网...

【技术保护点】

1.一种视频显示界面上兴趣区域的确定方法,其特征在于,应用于服务器,所述方法包括:

2.根据权利要求1所述的视频显示界面上兴趣区域的确定方法,其特征在于,所述黄斑反光强度是通过在视频编码块所在位置设置光源,所述光源发出的光线在用户眼球的黄斑反光后得到的。

3.根据权利要求2所述的视频显示界面上兴趣区域的确定方法,其特征在于,获取所述眼球跟踪设备根据所述码块划分信息反馈的多个黄斑反光强度,包括:

4.根据权利要求2所述的视频显示界面上兴趣区域的确定方法,其特征在于,获取所述眼球跟踪设备根据所述码块划分信息反馈的多个黄斑反光强度,包括:

5.根据权利要求1所述的视频显示界面上兴趣区域的确定方法,其特征在于,根据所述多个黄斑反光强度,确定用户在所述视频画面上的兴趣区域,包括:

6.根据权利要求1所述的视频显示界面上兴趣区域的确定方法,其特征在于,还包括:

7.根据权利要求6所述的视频显示界面上兴趣区域的确定方法,其特征在于,还包括:

8.根据权利要求1所述的视频显示界面上兴趣区域的确定方法,其特征在于,还包括:

9.根据权利要求8所述的视频显示界面上兴趣区域的确定方法,其特征在于,还包括:

10.一种视频显示界面上兴趣区域的确定方法,其特征在于,应用于眼球跟踪设备,所述方法包括:

11.根据权利要求10所述的视频显示界面上兴趣区域的确定方法,其特征在于,根据所述码块划分信息得到多个黄斑反光强度,包括:

12.根据权利要求11所述的视频显示界面上兴趣区域的确定方法,其特征在于,根据所述码块划分信息,在视频编码块所在位置设置光源,并在所述光源发出的光线在用户眼球的黄斑反光后得到多个黄斑反光强度,包括:

13.根据权利要求11所述的视频显示界面上兴趣区域的确定方法,其特征在于,根据所述码块划分信息,在视频编码块所在位置设置光源,并在所述光源发出的光线在用户眼球的黄斑反光后得到多个黄斑反光强度,包括:

14.一种视频显示界面上兴趣区域的确定装置,其特征在于,应用于服务器,所述装置包括:

15.一种视频显示界面上兴趣区域的确定装置,其特征在于,应用于眼球跟踪设备,所述装置包括:

16.一种计算设备,其特征在于,包括:处理器、存储有计算机程序的存储器,所述计算机程序被处理器运行时,执行如权利要求1至9任一项所述的方法或者如权利要求10至13任一项所述的方法。

17.一种计算机可读存储介质,其特征在于,存储指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1至9任一项所述的方法或者如权利要求10至13任一项所述的方法。

...

【技术特征摘要】

1.一种视频显示界面上兴趣区域的确定方法,其特征在于,应用于服务器,所述方法包括:

2.根据权利要求1所述的视频显示界面上兴趣区域的确定方法,其特征在于,所述黄斑反光强度是通过在视频编码块所在位置设置光源,所述光源发出的光线在用户眼球的黄斑反光后得到的。

3.根据权利要求2所述的视频显示界面上兴趣区域的确定方法,其特征在于,获取所述眼球跟踪设备根据所述码块划分信息反馈的多个黄斑反光强度,包括:

4.根据权利要求2所述的视频显示界面上兴趣区域的确定方法,其特征在于,获取所述眼球跟踪设备根据所述码块划分信息反馈的多个黄斑反光强度,包括:

5.根据权利要求1所述的视频显示界面上兴趣区域的确定方法,其特征在于,根据所述多个黄斑反光强度,确定用户在所述视频画面上的兴趣区域,包括:

6.根据权利要求1所述的视频显示界面上兴趣区域的确定方法,其特征在于,还包括:

7.根据权利要求6所述的视频显示界面上兴趣区域的确定方法,其特征在于,还包括:

8.根据权利要求1所述的视频显示界面上兴趣区域的确定方法,其特征在于,还包括:

9.根据权利要求8所述的视频显示界面上兴趣区域的确定方法,其特征在于,还包括:

10.一种视频显示界面上兴趣区域的确定方法,其特征在于,应用...

【专利技术属性】
技术研发人员:刘康怡刘亮陈宁宇温金辉
申请(专利权)人:中国移动通信有限公司研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1