集成传感器和视频运动分析方法技术

一种集成传感器数据和视频分析以分析对象运动的方法。运动捕获元件为感兴趣对象生成运动传感器数据，以及摄像机生成这些对象的视频。传感器数据和视频数据在时间上同步并且在通用坐标系的空间上对齐。传感器融合用于从组合和集成的传感器数据和视频数据生成运动度量。传感器数据和视频数据的整合支持稳健的事件检测、视频高光时刻或非常失败时刻的生成增加了显示感兴趣活动的度量以及超出单独传感器或视频分析各自功能的度量的计算。

Integrated sensor and video motion analysis method

A method of integrating sensor data and video analysis to analyze object movement. Motion capture elements generate motion sensor data for interested objects and video generated by cameras. Sensor data and video data are synchronized in time and aligned in the space of the general coordinate system. Sensor fusion is used to generate motion metrics from composite and integrated sensor data and video data. The integration of sensor data and video data supports robust event detection, video high light time, or the generation of very unsuccessful times, which increases the measurement of the activity of the display of interest and the calculation of the measures that exceed the respective functions of the individual sensor or video analysis.

【技术实现步骤摘要】
【国外来华专利技术】集成传感器和视频运动分析方法
本专利技术的一个或更多实施例涉及使用传感器数据或视频信息或者传感器和视频数据两者的运动捕获数据分析的领域。更具体来说(但是并非限制)，本专利技术的一个或更多实施例实现了一种将来自运动传感器和摄像机的数据进行组合以分析运动的集成传感器和视频运动分析方法，其允许与来自动作捕获传感器的运动数据同步地智能同步并且传送一般简明事件的视频，其中动作捕获传感器与用户或设备耦合。通过丢弃非事件视频或上传事件视频以及避免上传大视频的非相关部分或者丢弃非事件视频和传输事件视频，大量节省存储并提高上传速度。可以把运动事件与(多幅)图像或视频进行相关以及/或者通过其他方式与之同步，这可以在事件发生时或者在后来的某一时间基于事件的位置和/或时间或者全部二者例如在移动设备或远程服务器上进行，并且是捕获自(多台)内部/外部摄影机或保姆摄像头，以便例如允许保存事件的视频，比如儿童的第一次行走，剧烈抖动事件，体育、军事或者包括脑震荡在内的其他运动事件，或者与老年人相关联的摔倒事件，并且例如丢弃非事件相关的视频数据，从而大大减少针对事件视频的存储需求。传感器融合可以用来组合传感器数据和本文档来自技高网...

【技术保护点】
一种集成传感器和视频运动分析方法，包括：获得从摄像机捕获的视频；使用计算机获得一个或多个感兴趣对象和为所述一个或多个感兴趣对象中的每一个获得一个或多个区别视觉特征；从所述视频中选择多个帧用于分析；在所述多个帧中搜索所述一个或多个感兴趣对象，产生一个或多个识别的对象；以及，所述多个帧内的一个或多个区域，其中，所述一个或多个区域中的每一个与所述一个或多个识别的对象中的一个相关联；以及，所述一个或多个区域中的每一个的像素匹配与所述一个或多个区域相关联的所述一个或多个识别的对象中的所述一个的所述一个或多个区别视觉特征；针对所述多个帧中的每个估计所述摄像机的摄像机姿态；根据所述一个或多个区域的位置和像素...

【技术特征摘要】
【国外来华专利技术】2015.07.16 US 14/801,5681.一种集成传感器和视频运动分析方法，包括：获得从摄像机捕获的视频；使用计算机获得一个或多个感兴趣对象和为所述一个或多个感兴趣对象中的每一个获得一个或多个区别视觉特征；从所述视频中选择多个帧用于分析；在所述多个帧中搜索所述一个或多个感兴趣对象，产生一个或多个识别的对象；以及，所述多个帧内的一个或多个区域，其中，所述一个或多个区域中的每一个与所述一个或多个识别的对象中的一个相关联；以及，所述一个或多个区域中的每一个的像素匹配与所述一个或多个区域相关联的所述一个或多个识别的对象中的所述一个的所述一个或多个区别视觉特征；针对所述多个帧中的每个估计所述摄像机的摄像机姿态；根据所述一个或多个区域的位置和像素内容，针对所述多个帧中的一个或多个的所述一个或多个识别的对象中的一个或多个相对于所述摄像机姿态估计对象姿态；使用针对所述多个帧中的每个帧的所述摄像机姿态将所述多个帧中的每个帧中的所述对象姿态转换为通用坐标系；从一个或多个运动捕获元件获得所述一个或多个感兴趣对象中的一个或多个的运动捕获数据；使所述运动捕获数据与所述多个帧同步；使用传感器融合为所述一个或多个识别的对象生成一个或多个运动度量，以将所述多个帧中的所述对象姿势中的变化与所述运动捕获数据进行组合；其中，所述运动捕获数据和所述一个或多个运动度量包括线性位置、线速度、线性加速度、轨迹、方向、角速度、角加速度、运动时间、位置之间的经过时间、运动开始和到达某个位置之间所经过的时间以及撞击时间；所述一个或多个区别视觉特征包括形状、曲率、尺寸、颜色、亮度、色调、饱和度、纹理和像素图案中的一个或多个；以及，所述一个或多个感兴趣对象包括设备和人员中的一个或多个。2.根据权利要求1所述的集成传感器和视频运动分析方法，其中所述使所述运动捕获数据与所述多个帧同步包括：获得一个或多个事件签名，每个事件签名包括：事件类型；与所述事件类型关联的传感器数据签名；以及，与所述事件类型关联的视频签名；定位与所述运动捕捉数据中和所述多个帧中的所述一个或多个事件签名中的一个匹配的事件；和，将对应于所述事件的所述传感器数据签名的运动捕获数据时间戳与在所述视频中出现所述事件的所述视频签名的所述多个帧的帧对齐。3.根据权利要求2所述的集成传感器和视频运动分析方法，其中所述运动捕获数据包括传感器时钟；所述视频包括帧时钟；所述传感器时钟和所述帧时钟在最大时钟差内宽松地同步；以及，所述定位事件，包括：将所述一个或多个事件签名的所述传感器数据签名定位在所述运动捕获数据中，产生定位的所述传感器数据签名的运动捕获数据时间戳和检测到的事件类型；以及，用所述帧时钟搜索具有所述运动捕获数据时间戳减去所述最大时钟差值和所述运动捕获数据时间戳加上对应于所述检测到的事件类型的所述视频签名的所述最大时钟差值之间的值的所述多个帧。4.根据权利要求1所述的集成传感器和视频运动分析方法，其中所述使所述运动捕获数据与所述多个帧同步包括：从所述一个或多个识别的对象中选择参考对象；从所述多个帧计算所述参考对象的视频运动度量；从用于所述参考对象的所述运动捕获数据计算所述参考对象的对应传感器运动度量；以及，将所述运动捕获数据与所述多个帧对齐以最小化所述视频运动度量和所述传感器运动度量之间的差异。5.根据权利要求4所述的集成传感器和视频运动分析方法，其中所述运动捕获数据包括传感器时钟；所述视频包括帧时钟；所述传感器时钟和所述帧时钟在最大时钟差内宽松地同步；以及，所述运动捕获数据与所述多个帧对齐搜索所述最大时钟差内的正或负时钟偏移，使所述视频运动度量与所述传感器运动度量之间的差异最小化。6.根据权利要求1所述的集成传感器和视频运动分析方法，还包括：获得一个或多个事件签名，每个事件签名包括事件类型；与所述事件类型相关联的传感器数据签名；与所述事件类型相关联的视频签名；定位与所述运动捕获数据中的所述一个或多个事件签名的所述传感器数据签名中的一个或在所述多个帧中的所述一个或多个事件签名中的所述视频签名中一个的匹配的预期事件；将预期事件类型分配给所述预期事件；以及，如果所述预期事件不匹配所述预期事件类型的所述传感器数据签名和所述预期事件类型的所述视频签名两者，则将所述预期事件作为假阳性消除。7.根据权利要求1所述的集成传感器和视频运动分析方法，其中所述一个或多个感兴趣对象中的至少一个包括视觉标记；所述视觉标记包括不具有旋转对称性的图案；以及，所述一个或多个感兴趣对象中的所述至少一个的所述一个或多个区别视觉特征包括所述视觉标记的所述图案。8.根据权利要求1所述的集成传感器和视频运动分析方法，还包括：预处理所述多个帧以促进针对所述一个或多个感兴趣对象搜索所述多个帧，其中所述预处理所述多个帧包括噪声去除、闪烁去除、平滑、颜色空间转换、颜色或亮度平衡和阴影去除中的一个或多个。9.根据权利要求1所述的集成传感器和视频运动分析方法，其中所述估计所述摄像机对于所述多个帧中的每个帧的摄像机姿态使用传感器，所述传感器测量所述摄像机的位置或方向或所述位置和方向两者的一个或多个方面。10.根据权利要求1所述的集成传感器和视频运动分析方法，其中所述估计相对于所述摄像机姿态的对象姿态包括：从所述多个帧中的所述一个或多个区域的位置针对所述一个或多个识别的对象的位置估计所述一个或多个识别的对象位于其上的光线；针对所述一个或多个识别的对象，从在所述多个帧中的所述一个或多个区域的相对大小估计所述一个或多个识别的对象距所述摄像机的相对距离；通过计算使所述一个或多个识别的对象的参考像素图案与所针对一个或多个识别的对象的所述一个或多个区域的所述像素内容之间的差异最小化的旋转来估计所述一个或多个识别的对象相对于所述摄像机的方向；以及，其中所述参考像素图案对应于所述一个或多个识别的对象的所述一个或多个区别视觉特征中的一个，或者所述参考像素图案是从用于指定参考帧的所述一个或多个区域的所述像素内容获得的。11.根据权利要求1所述的集成传感器和视频运动分析方法，还包括：创建或获得所述一个或多个识别的对象中的一个或多个的可能轨迹的物理模型；使用所述物理模型估计所述多个帧的每个帧内针对所述一个或多个识别出的对象的位置的高概率区域；以及，其中所述搜索所述一个或多个感兴趣对象的所述多个帧包括在所述高概率区域内进行搜索。12.根据权利要求1所述的集成传感器和视频运动分析方法，还包括：将除了所述多个帧中的第一帧之外的所述多个帧中的每一个变换为对齐帧，从所述摄像机姿态针对除了所述第一帧之外的所述多个帧中的前一帧，估计除所述第一帧之外的所述多个帧的视图；计算每个所述对齐帧和前一帧之间的帧差异；根据所述帧差异计算高运动区域；以及，其中所述搜索所述一个或多个感兴趣对象的所述多个帧包括在所述高运动区域内进行搜索。13.根据权利要求12所述的集成传感器和视频运动分析方法，其中所述将除所述第一帧之外的所述多个帧中的每一个变换为对齐帧包括：计算在应用所述帧平移之后使所述多个帧的帧的中心区域与所述前一帧的中心区域之间的像素差异最小化的帧平移；将所述多个帧中的每一个分成多个图块；以及，在应用所述帧平移和所述局部图块平移之后，针对所述图块中的每一个计算局部图块平移，所述图块平移最小化图块与所述图块的前一帧的对应图块之间的像素差异。14.根据权利要求1所述的集成传感器和视频运动分析方法，其中所述一个或多个运动度量包括所述一个或多个感兴趣对象之一的撞击时间；以及，所述撞击时间通过检测连续帧之间的运动度量的不连续性来计算。15.根据权利要求14所述的集成传感器和视频运动分析方法，其中所述撞击时间是在所述多个帧之间计算，通过在撞击之前从所述多个帧的帧向前推断所述一个或多个感兴趣对象中的所述一个的轨迹，产生前向轨迹；以及，在撞击之后从所述帧向后推断所述所述感兴趣对象中的一个或多个中的所述一个的轨迹，产生后向轨迹；以及，计算所述前向轨迹与所述后向轨迹的交点时间。16.根据权利要求1所述的集成传感器和视频运动分析方法，还包括：将所述一个或多个感兴趣对象之一的观测到的轨迹与期望的轨迹进行比较；以及，计算将导致所述期望轨迹的所述观察轨迹的初始条件的变化作为所述一个或多个运动度量中的一个。17.根据权利要求16所述的集成传感器和视频运动分析方法，其中所述初始条件包括初始速度和初始方向中的一个或多个。18.根据权利要求17所述的集成传感器和视频运动分析方法，其中所述一个或多个感兴趣对象包括球，并且所述初始条件包括在与所述球撞击时一件设备的速度和目标中的一个或多个。19.根据权利要求1所述的集成传感器和视频运动分析方法，还包括：获得感兴趣活动的一...

【专利技术属性】
技术研发人员：M·本特利，B·博斯，R·卡普斯，P·古普塔，J·哈斯，B·埃斯特雷姆，
申请(专利权)人：博拉斯特运动有限公司，
类型：发明
国别省市：美国,US