数据处理系统技术方案

本发明专利技术揭示与视频摄像机所记录的视频及传感器数据的处理有关的方法及系统。举例来说，第一实施例针对于将传感器数据存储在数字媒体文件的元数据部分中，第二实施例针对于将突出显示数据存储在数字媒体文件的元数据部分中，且第三实施例针对于基于传感器数据而创建突出显示数据。

data processing system

The present invention discloses a method and system related to the processing of video and sensor data recorded by a video camera. For example, the first example for the sensor data storage metadata component in digital media files, second examples for the highlighted part of metadata in the digital media data storage file, and third for example based on sensor data and create highlight data.

【技术实现步骤摘要】
【国外来华专利技术】数据处理系统
本专利技术涉及数据处理，且明确地说涉及视频摄像机所记录的视频及传感器数据的处理。
技术介绍
数字视频摄像机及此类摄像机所记录的数字媒体数据的处理近年来已变得屡见不鲜。此类摄像机所记录的视频数据及通常音频数据通常写入到数字媒体容器，例如AVI容器格式或MP4容器格式。这些容器格式允许将视频及音频数据及在许多情形中例如字幕及静态图像等其它数据存储在数字媒体文件中，而且还允许现场直播所述数据，即，经由因特网而流式传输。数字媒体容器用于识别及交错不同数据类型，且包括多个部分，包含有效负载(或数据)部分及一或多个元数据部分。有效负载(或数据)部分包含媒体数据，通常容器中的数据类型(例如视频、音频等)中的每一者被交错(或被多路复用)。一或多个元数据部分含有关于容器及其中所含有的媒体数据(或内容)的数据。举例来说，一或多个元数据部分可包含数据，例如：流(或轨道)的数目，例如视频、音频等；每一流的格式，例如用于编码每一流的压缩类型(如果有的话)；及媒体数据的持续时间；所有这些数据均需要读取容器中的数据且随后提供内容。一或多个元数据部分还可包含关于容器中的内容的信息，例如标题、艺术家名等本文档来自技高网...

【技术保护点】
一种存储由数字视频摄像机所收集的数据的方法，所述数字视频摄像机具有与其相关联的一或多个传感器装置，所述方法包括：接收用以致使所述摄像机开始进行记录的第一输入；基于接收到所述第一输入而打开第一存储器上的数字媒体容器；将基于从所述摄像机的图像传感器所接收的数据的视频图像数据写入到所述数字媒体容器的有效负载部分；将基于从所述一或多个传感器装置所接收的数据的传感器数据存储在第二存储器中；接收用以致使所述摄像机停止进行记录的第二输入；基于接收到所述第二输入而将存储在所述第二存储器中的所述传感器数据添加到所述数字媒体容器的元数据部分；及关闭所述数字媒体容器以创建存储在所述第一存储器中的数字媒体文件。

【技术特征摘要】
【国外来华专利技术】2015.04.29 US 62/154,697;2016.01.15 US 62/279,6381.一种存储由数字视频摄像机所收集的数据的方法，所述数字视频摄像机具有与其相关联的一或多个传感器装置，所述方法包括：接收用以致使所述摄像机开始进行记录的第一输入；基于接收到所述第一输入而打开第一存储器上的数字媒体容器；将基于从所述摄像机的图像传感器所接收的数据的视频图像数据写入到所述数字媒体容器的有效负载部分；将基于从所述一或多个传感器装置所接收的数据的传感器数据存储在第二存储器中；接收用以致使所述摄像机停止进行记录的第二输入；基于接收到所述第二输入而将存储在所述第二存储器中的所述传感器数据添加到所述数字媒体容器的元数据部分；及关闭所述数字媒体容器以创建存储在所述第一存储器中的数字媒体文件。2.根据权利要求1所述的方法，其中所述第一输入及/或所述第二输入是用户做出的手动输入，例如所述用户致动所述摄像机或操作地连接到所述摄像机的远程控制装置的用户输入。3.根据权利要求1或2所述的方法，其中所述第一输入及/或所述第二输入是基于来自所述传感器装置中的一或多者的数据而自动产生。4.根据前述权利要求中任一权利要求所述的方法，其中所述摄像机包括视频处理装置，且所述视频图像数据包括使用所述视频处理装置的编码器依据从所述图像传感器所接收的所述数据而产生的经编码视频流。5.根据前述权利要求中任一权利要求所述的方法，其中所述第一存储器不同于所述第二存储器，所述第一存储器是可从所述摄像机移除的存储器，且所述第二存储器是所述摄像机内的不可移除存储器。6.根据前述权利要求中任一权利要求所述的方法，其中所述一或多个传感器装置测量以下各项中的至少一者：(i)所述摄像机、所述摄像机的用户及/或所述摄像机安装到的运动装备及/或运载工具物项的移动或其它物理参数；(ii)所述用户及/或所述摄像机周围的环境条件；及(iii)所述用户的生理特性。7.根据前述权利要求中任一权利要求所述的方法，其中从所述一或多个传感器装置所接收的所述传感器数据与指示通过所述传感器数据而确定所述数据的时间的数据相关联地存储在所述第二存储器中。8.根据前述权利要求中任一权利要求所述的方法，其中所述传感器数据与所述视频图像数据是同时的，使得所述传感器数据包括在记录所述视频图像数据的时间期间从所述一或多个传感器装置收集的数据。9.根据前述权利要求中任一权利要求所述的方法，其包括：在打开所述第一存储器上的所述数字媒体容器时，保留在所述容器的所述有效负载部分前面的预定量的存储器，在关闭所述容器时所述容器的所述元数据部分被添加到所述预定量的存储器中以创建所述媒体文件。10.根据前述权利要求中任一权利要求所述的方法，其进一步包括：将识别所述视频图像数据中的一或多个感兴趣时间的突出显示数据存储在所述第二存储器中；及基于接收到所述第二输入而将存储在所述第二存储器中的所述突出显示数据添加到所述数字媒体容器的所述元数据部分。11.一种存储识别由数字视频摄像机所收集的视频图像数据中的一或多个感兴趣时间的数据的方法，所述方法包括：接收用以致使所述摄像机开始进行记录的第一输入；基于接收到所述第一输入而打开第一存储器上的数字媒体容器；将基于从所述摄像机的图像传感器所接收的数据的视频图像数据写入到所述数字媒体容器的有效负载部分；将识别所述视频图像数据中的一或多个感兴趣时间的突出显示数据存储在第二存储器中；基于接收到用以致使所述摄像机停止进行记录的第二输入而将存储在所述第二存储器中的所述突出显示数据添加到所述数字媒体容器的元数据部分；及关闭所述数字媒体容器以创建存储在所述第一存储器中的数字媒体文件。12.根据权利要求10或11所述的方法，其中所述突出显示数据包括一或多个突出显示，每一突出显示是所述视频图像数据中的时间周期。13.根据权利要求12所述的方法，其中突出显示的所述时间周期包括基于标签的时间的时窗，所述标签是所述视频图像数据中的单一时间。14.根据权利要求13所述的方法，其中用于突出显示的所述标签的所述时间是基于指示用户做出的手动输入的所接收数据而确定，所述手动输入例如是：所述用户致动所述摄像机或操作地连接到所述摄像机的远程控制装置的用户输入。15.根据权利要求13或14所述的方法，其中用于突出显示的所述标签的所述时间是基于对从所述一或多个传感器装置所接收的所述传感器装置的分析而自动确定。16.根据权利要求15所述的方法，其中在接收到用以致使所述摄像机停止进行记录的所述第二输入之后执行对所述传感器数据的所述分析，以产生所述突出显示数据，且将所述传感器数据及所述突出显示数据添加到所述数字媒体容器的所述元数据部分。17.根据权利要求15或16所述的方法，其中所述摄像机与多个传感器装置相关联，且其中对所述传感器数据的所述分析包括分析来自所述多个传感器装置的多个数据集，所述数据集中的每一者包括在收集所述视频图像数据的时间周期期间的多个时间的多个数据值。18.根据权利要求17所述的方法，其中对所述数据集的所述分析包括：识别所述多个数据集中的每一者中的极值；针对所述所识别极值中的每一者而确定极值的时间是否在所述极值中的另一者的时间的预定时间内；及基于所述确定而产生多个群集，每一群集包括多个极值，其中所述群集中的每一极值的时间在所述群集中的另一极值的时间的预定时间内。19.一种识别在时间周期期间由数字视频摄像机所收集的视频图像数据中的一或多个感兴趣时间的方法，所述数字视频摄像机具有与其相关联的多个传感器装置，所述方法包括：识别从所述多个传感器装置获得的多个数据集中的每一者中的极值，每一数据集包括在所述时间周期期间的多个时间的多个数据值；针对所述所识别极值中的每一者而确定极值的时间是否在所述极值中的另一者的时间的预定时间内；基于所述确定而产生多个群集，每一群集包括多个极值，其中所述群集中的每一极值的时间在所述群集中的另一极值的时间的预定时间内；使用所述群集中的至少一者来创建识别所述视频图像数据中的一或多个感兴趣时间的突出显示数据，所述突出显示数据包括具有一时窗的至少一个突出显示，所述时窗是基于用于创建所述突出显示的所述群集中的所述极值的所述时间中的最早时间及最晚时间；及与包括所述视频图像数据的数字媒体文件相关联地存储所述突出显示数据。20.根据权利要求18或19所述的方法，其中每一群集具有一起界定所述群集的持续时间的开始时间及结束时间，且其中依据群集创建的突出显示的所述时窗是基于所述群集的所述持续时间。21.一种存储由具有图像传感器及视频处理装置的数字视频摄像机所收集的数据的方法，所述方法包括：接收用以致使所述摄像机开始进行记录的第一输入；基于接收到所述第一输入而打开存储器上的数字媒体容器；使用所述视频处理装置的第一编码器来使用帧间压缩技术依据从所述图像传感器所接收的数据而产生第一经编码视频流；使用所述视频处理装置的第二编码器来使用帧内压缩技术依据从所述图像传感器所接收的所述数据而产生第二经编码视频流；将所述第一经编码视频流及所述第二经编码视频流写入到所述数字媒体容器的有效负载部分；接收用以致使所述摄像机停止进行记录的第二输入；及基于接收到所述第二输入而关闭所述数字媒体容器以创建存储在所述存储器中的数字媒体文件。22.根据权利要求21所述的方法，其中将所述第一经编码流写入到所述容器的所述有效负载部分的视频轨道，且其中将数据添加到所述容器的元数据部分，使得所述第一经编码视频流被识别为所述数字媒体文件中的视频图像数据。23.根据权利要求21或22所述的方法，其中将所述第二经编码流写入到所述容器的所述有效负载部分的文本轨道，例如字幕轨道，使得所述第二经编码视频流不被识别为所述数字媒体文件中的视频图像数据。24.一种存储由具有图像传感器及视频处理装置的数字视频摄像机所收集的数据的方法，所述方法包括：接收用以致使所述摄像机开始进行记录的第一输入；基于接收到所述第一输入而打开存储器上的数字媒体容器，所述数字媒体容器至少包括视频轨道及文本轨道；使用所述视频处理装置依据从所述图像传感器所接收的数据而产生第一经编码视频流及第二经编码视频流；将所述第一经编码视频流写入到所述数字媒体容器的所述视频轨道且将所述第二经编码视频流写入到所述数字媒体容器的所述文本轨道；接收用以致使所述摄像机停止进行记录的第二输入；及基于接收到所述第二输入而关闭所述数字媒体容器以创建存储在所述存储器中的数字媒体文件。25.一种识别在时间周期期间由数字视频摄像机所收集的视频图像数据中的一或多个感兴趣时间的方法，所述数字视频摄像机具有与其相关联的位置确定装置，所述方法包括：存取包括所述视频图像数据及第一位置数据的数字媒体文件，所述第一位置数据表示所述数字视频摄像机的位置在所述时间周期期间的改变；将所述第一位置数据发射到服务器；从所述服务器接收第二位置数据，所述第二位置数据识别所述第一位置数据中的一或多个感兴趣位置；及将突出显示数据添加到所述数字媒体文件，所述突出显示数据识别所述视频图像数据中与所述第二位置数据中的所述一或多个感兴趣位置中的至少一些感兴趣位置对应的一或多个感兴趣时间。26.一种将数据从数字视频摄像机发射到远程计算装置的方法，所述视频摄像机具有：第一无线通信装置，其能够使用第一通信协议与远程计算装置进行通信；及第二无线通信装置，其能够使用第二通信协议与所述远程计算装置进行通信，所述方法包括：在所述第一无线通信装置处从所述计算装置接收来自所述计算装置的用以激活所述第二无线通信装置的第一命令；基于接收到所述第一命令而激活所述第二无线通信装置并使用所述第二无线通信装置在所述摄像机与所述计算装置之间建立连接；在所述第二无线通信装置处经由所述所建立连接从所述计算装置接收对以下各项中的至少一者的请求：从所述摄像机的图像传感器所接收的视频图像数据；及来自存储在所述视频摄像机的存储器中的一或多个媒体文件的数据；使用所述第二无线通信装置经由所述所建立连接将所述所请求数据从所述视频摄像机传送到所述计算装置；在所述第一无线通信装置处从所述计算装置接收来自所述计算装置的用以撤销激活所述第二无线通信装置的第二命令；及基于接收到所述第二命令而撤销激活所述第二无线通信装置。27.一种使用计算装置来查看在时间周期期间由数字视频摄像机所收集的视频图像数据的方法，所述数字视频摄像机具有与其相关联的一或多个传感器装置，所述方法包括：存取包括所述视频图像数据及传感器数据的数字媒体文件，所述传感器数据是基于在所述时间周期期间从所述一或多个传感器装置所接收的数据；在所述计算装置的显示装置上的第一显示窗口中显示所述视频图像数据；及同时在所述显示装置上的第二显示窗口中显示时间线以及相对于所述时间线具有用以展示所述第一显示窗口中当前正显示的所述视频图像数据的位置的图标，且其中所述时间线包括所述传感器数据的表示；在所述计算装置的输入装置上从用户接收用以改变所述图标相对于所述时间线的所述位置的输入；及改变所述第一显示窗口中正显示的所述视频图像数据以对应于所述图标相对于所述时间线的所述经改变位置。28.一种使用计算装置来查看由数字视频摄像机所收集的视频图像数据的方法，所述方法包括：存取包括所述视频图像数据及突出显示数据的数字媒体文件，所述突出显示数据识别所述视频图像数据中的一或多个感兴趣时间，所述突出显示数据包括具有关于所述视频图像数据的一起界定时窗的开始时间及结束时间的至少一个突出显示；在所述计算装置的显示装置上的第一显示窗口中显示所述视频图像数据；同时在所述显示装置上的第二显示窗口中显示时间线以及一或多个可选择标记，每一可选择标记与突出显示相关联且相对于所述时间线具有与所述突出显示的所述时窗内的时间对应的位置；在所述计算装置的输入装置上从用户接收对标记的选择；及将所述第一显示窗口中正显示的所述视频图像数据改变成对应于在基于所述突出显示的所述时窗的与所述所选择标记相关联的时间的所述视频图像数据。29.一种创建第一媒体文件的方法，其包括：存取一或多个第二媒体文件，每一第二媒体文件包括视频图像数据及识别所述视频图像数据中的一或多个感兴趣时间的突出显示数据，所述突出显示数据包括各自具有关于所述视频图像数据的开始时间及结束时间的一或多个突出显示；从所述一或多个第二媒体文件选择多个突出显示；将所述所选择突出显示放置成有序序列；获得针对所述有序序列中的每一突出显示的第三媒体文件，每一第三媒体文件包括基于所述相关联突出显示的开始时间及结束时间从第二媒体文件获...

【专利技术属性】
技术研发人员：弗兰克·德容，伊夫琳·安娜·克莱因简，彼得弗兰斯·保韦尔斯，S·斯塔尼希奇，D·赫瑟林顿，G·斯彭斯，W·赫尔姆森，D·齐利奥，E·亨佩尔，N·奥布拉多维奇，
申请(专利权)人：通腾科技股份有限公司，
类型：发明
国别省市：荷兰,NL