注视热图制造技术

本发明专利技术涉及注视热图。公开了一种方法和视频管理系统。该方法可以包括从摄像机接收视频流并且在显示器上显示视频流。该方法可以包括经由眼睛追踪传感器获得观看显示器的操作员的注视信息。该方法可以包括基于获得的注视信息生成一时间段内的视频流的历史注视热图，并且基于生成的历史注视热图来确定视频流的低关注区域。该方法可以包括指示摄像机降低低关注区域中的视频流的比特率。

Gaze heat map

The invention relates to a gaze heat map. A method and video management system are disclosed. The method can include receiving video stream from a camera and displaying video stream on the display. The method can include gaze information obtained by the eye tracking sensor for the operator of the viewing display. The method may include a historical fixation heat map generating a video stream within a period of time based on the obtained gaze information, and the low focus area of the video stream is determined based on the generated historical gaze heat map. The method can include instructing the camera to reduce the bit rate of the video stream in the low attention area.

【技术实现步骤摘要】
注视热图
技术介绍
可以安装诸如摄像机的监视设备来捕捉关注区域的图像或视频。操作员或一组操作员可以在远离摄像机的显示器上监视来自摄像机的图像或视频。摄像机捕获的数据可以被处理并通过网络连接发送到显示器。例如，可以压缩图像或视频以减少必须通过网络传输的数据量。系统可以包括大量的通过网络传输大量数据的摄像机。大量的数据可能耗费网络资源。
技术实现思路
根据一个方面，由计算机设备执行的方法可以包括：从摄像机接收视频流；在显示器上显示视频流；经由眼睛追踪传感器获得观看显示器的操作员的注视信息；基于获得的注视信息，生成一时间段内的视频流的历史注视热图；基于生成的历史注视热图，确定视频流的低关注区域；和指示摄像机降低低关注区域中的视频流的比特率。这一方法可以导致节省网络资源并降低摄像机和监视站的监视系统的处理器和内存负荷的技术效果。此外，该方法可以包括：基于所生成的历史注视热图来确定视频流的高关注区域；和指示摄像机增加高关注区域中的视频流的比特率。指示摄像机增加高关注区域中的视频流的比特率可以提供在视频流的高关注的部分中提供更多信息，而不必增加整个视频流的比特率的优点。另外，时间段可以比一天更长。使用比一天更长的时间段可以提供基于长期模式的低关注区域的优点。另外，时间段可以对应于一天中的特定时间或一星期中的特定一天，并且基于所生成的历史注视热图来确定视频流的低关注区域可以包括：基于一天中的第一时间或一星期中的第一天的多个实例中生成的一天中的第一时间或一星期中的第一天的历史注视热图，来确定一天中的第一时间或一星期中的第一天的第一低关注区域；和，基于一天中的第二时间或一星期中的第二天的多个实例中生成的一天中的第二时间或一星期中的第二天的历史注视热图，来确定一天中的第二时间或一星期中的第二天的第二低关注区域，其中第二低关注区域不同于第一低关注区域。确定一天中的不同时间或一星期中的不同日子的不同的低关注区域可以提供使得低关注区域适应于一天中的不同时间或一星期中的不同日子的优点。另外，基于所生成的历史注视热图来确定视频流的低关注区域可以包括：识别摄像机的摇摄、缩放、倾斜、旋转或图像类型设置；选择与所识别的摄像机的摇摄、缩放、倾斜、旋转或图像类型设置相关联的所生成的历史注视热图的子集；和基于选择的生成的历史注视热图的子集来确定视频流的低关注区域。确定不同的摄像机的摇摄、缩放、倾斜、旋转或图像类型设置的不同的低关注区域可以提供使得低关注区域适应不同摄像机设置的优点。另外，视频流可以包括多个视频流，并且其中显示器包括多个显示器。确定多个显示器的多个视频流的低关注区域可以提供节省网络资源并减少包括多个视频流和多个显示器的系统的处理器和存储器负荷的优点。另外，该方法可以包括：将事件类型与历史注视热图中的特定变化相关联；检测相关事件类型的事件；和响应于检测到事件，基于历史注视热图中的特定变化来改变低关注区域。基于历史注视热图中的特定变化来改变低关注区域可以提供使得低关注区域适应变化条件的优点。另外，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机降低与低关注区域相关联的传感器的采样率。降低与低关注区域相关联的传感器的采样率可以提供节省网络资源并减少传感器的处理器和存储器负荷的优点。另外，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机在编码视频流之前增加针对低关注区域的降噪过程。针对低关注区域增加降噪过程可以提供节省网络资源并减少图像处理器的处理和存储器负荷的优点。另外，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机调整与低关注区域相关联的编码处理单元的编码参数。指示摄像机调整与低关注摄像机相关联的编码处理单元的编码参数可以提供节省网络资源并减少编码处理单元的处理和存储器负荷的优点。根据另一方面，一种计算机系统可以包括：用于存储指令的存储器；和用于从摄像机接收视频流的接收器；用于显示视频流的显示器；处理器，被配置为执行所述指令以：经由眼睛追踪传感器获得观看显示器的操作员的注视信息；基于获得的注视信息，生成一时间段内的视频流的历史注视热图；基于生成的历史注视热图，确定视频流的低关注区域；并且确定要指示摄像机降低低关注区域中的视频流的比特率；以及发送器，用于向摄像机发送指令以降低低关注区域中的视频流的比特率。这一计算机系统可以提供节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的技术效果。此外，处理器可以被进一步配置为基于所生成的历史注视热图来确定视频流的高关注区域；并且处理器可以被配置为确定要指示摄像机增加高关注区域中的视频流的比特率；并且发送器可以被配置为向摄像机发送指令以增加高关注区域中的视频流的比特率。指示摄像机增加高关注区域中的视频流的比特率可以提供在高关注的视频流的部分中提供更多信息，而不必增加整个视频流的比特率的优点。另外，时间段可以比一天更长。使用比一天更长的时间段可以提供基于长期模式的低关注区域的优点。另外，时间段可以对应于一天中的特定时间或一星期中的特定一天，并且处理器可以被进一步配置为：基于一天中的第一时间或一星期中的第一天的多个实例中生成的一天中的第一时间或一星期中的第一天的历史注视热图，来确定一天中的第一时间或一星期中的第一天的第一低关注区域；并且基于一天中的第二时间或一星期中的第二天的多个实例中生成的一天中的第二时间或一星期中的第二天的历史注视热图，来确定一天中的第二时间或一星期中的第二天的第二低关注区域，其中第二低关注区域不同于第一低关注区域。确定一天中的不同时间或一星期中的不同日子的不同的低关注区域可以提供使得低关注区域适应于一天中的不同时间或一星期中的不同日子的优点。另外，处理器可以被进一步配置为：识别摄像机的摇摄、缩放、倾斜、旋转或图像类型设置；选择与所识别的摄像机的摇摄、缩放、倾斜、旋转或图像类型设置相关联的所生成的历史注视热图的子集；并且基于选择的生成的历史注视热图的子集来确定视频流的低关注区域。确定不同的摄像机的摇摄、缩放、倾斜、旋转或图像类型设置的不同的低关注区域可以提供使得低关注区域适应不同摄像机设置的优点。另外，视频流可以包括多个视频流，并且显示器可以包括多个显示器。确定多个显示器的多个视频流的低关注区域可以提供节省网络资源并减少包括多个视频流和多个显示器的系统的处理器和存储器负荷的优点。另外，处理器可以被进一步配置为：将事件类型与历史注视热图中的特定变化相关联；检测相关事件类型的事件；并且响应于检测到事件，基于历史注视热图中的特定变化来改变低关注区域。基于历史注视热图中的特定变化来改变低关注区域可以提供使得低关注区域适应变化条件的优点。另外，处理器可以被进一步配置为确定要指示摄像机降低与低关注区域相关联的传感器的采样率；并且用于降低低关注区域中的视频流的比特率的指令可以包括用于降低与低关注区域相关联的传感器的采样率的对摄像机的指令。降低与低关注区域相关联的传感器的采样率可以提供节省网络资源并减少传感器的处理器和存储器负荷的优点。另外，处理器可以被进一步配置为：在编码视频流之前，确定要指示摄像机增加低关注区域的降噪过程；并且，用于降低低关注区域中的视频流的比特率的指令可以包括用于在编码视频流之前增加针对低关注区域的降噪过程的指令。针对低本文档来自技高网...

【技术保护点】
1.一种由计算机设备执行的方法，所述方法包括：从摄像机接收视频流；在显示器上显示所述视频流；经由眼睛追踪传感器获得观看所述显示器的操作员的注视信息；基于获得的注视信息，生成一时间段内的所述视频流的历史注视热图；基于生成的历史注视热图，确定所述视频流的低关注区域；和指示所述摄像机降低所述低关注区域中的所述视频流的比特率。

【技术特征摘要】
2017.02.03 EP 17154581.7;2016.12.30 US 15/395,8931.一种由计算机设备执行的方法，所述方法包括：从摄像机接收视频流；在显示器上显示所述视频流；经由眼睛追踪传感器获得观看所述显示器的操作员的注视信息；基于获得的注视信息，生成一时间段内的所述视频流的历史注视热图；基于生成的历史注视热图，确定所述视频流的低关注区域；和指示所述摄像机降低所述低关注区域中的所述视频流的比特率。2.根据权利要求1所述的方法，进一步包括：基于所述生成的历史注视热图，确定所述视频流的高关注区域；和指示所述摄像机增加所述高关注区域中的所述视频流的比特率。3.根据权利要求1所述的方法，其中所述时间段对应于一天中的特定时间或一星期中的特定一天，并且其中基于所述生成的历史注视热图，确定所述视频流的所述低关注区域包括：基于一天中的第一时间或一星期中的第一天的多个实例中生成的所述一天中的第一时间或所述一星期中的第一天的历史注视热图，来确定所述一天中的第一时间或所述一星期中的第一天的第一低关注区域；和基于一天中的第二时间或一星期中的第二天的多个实例中生成的所述一天中的第二时间或所述一星期中的第二天的历史注视热图，来确定所述一天中的第二时间或所述一星期中的第二天的第二低关注区域，其中所述第二低关注区域不同于所述第一低关注区域。4.根据权利要求1所述的方法，其中基于所述生成的历史注视热图，确定所述视频流的低关注区域包括：识别所述摄像机的摇摄、缩放、倾斜、旋转或图像类型设置；选择与识别的所述摄像机的摇摄、缩放、倾斜、旋转或图像类型设置相关联的生成的历史注视热图的子集；和基于选择的所述生成的历史注视热图的子集来确定所述视频流的所述低关注区域。5.根据权利要求1所述的方法，其中所述视频流包括多个视频流，并且其中所述显示器包括多个显示器。6.根据权利要求1所述的方法，其中指示所述摄像机降低所述低关注区域中的所述视频流的所述比特率包括：指示所述摄像机降低与所述低关注区域相关联的传感器的采样率。7.根据权利要求1所述的方法，其中指示所述摄像机降低所述低关注区域中的所述视频流的所述比特率包括：指示所述摄像机在编码所述视频流之前，增加对所述低关注区域的降噪过程。8.根据权利要求1所述的方法，其中指示所述摄像机降低所述低关注区域中的所述视频流的所述比特率包括：指示所述摄像机调整与所述低关注区域相关联的编码处理单元的编码参数。9.一种计算机系统，包括：用于存储指令的存储器；和用于从摄像机接收视频流的接收器；用于显示所述视频流的显示器；处理器，被配置为执行...

【专利技术属性】
技术研发人员：比约恩·阿多，伏莱德瑞克·皮尔，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：瑞典,SE