基于多个图像获取设备确定特征点的方法及系统技术方案

本发明专利技术提供一种基于多个图像获取设备确定特征点的方法及系统，其中方法包括：根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，进而获得包括主体对象的三维信息；以及对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。个特征点。个特征点。

【技术实现步骤摘要】
基于多个图像获取设备确定特征点的方法及系统


[0001]本专利技术涉及图像识别
，并且更具体地涉及一种基于多个图像获取设备确定特征点的方法及系统、计算机可读存储介质以及电子设备。

技术介绍

[0002]目前，计算机视觉领域中的姿态评估技术已经在，诸如在体育运动赛事、临床外科模拟教学、脑功能开发以及康复训练等领域，取得了广泛的应用。然而，由于人体自身结构的对称性，以及开放场景的复杂性，导致现有的姿态评估方法在局部视野、人体特殊体位、人与人交互以及人与物交互等情况下会产生关键点或特征点识别失败的问题。
[0003]以康复训练为例，康复训练会进行局部关节的主动或被动锻炼，诸如肘关节屈伸、前臂旋前旋后等。视频采集往往采用近景局部视角。此时由于视野中采集的人体信息不完整而无法识别关键点或特征点。康复训练会进行不同体位的锻炼，诸如仰卧位、侧位站或坐等。比如在侧位站或坐时，由于人体自身的对称性结构，会产生自遮挡问题，使得靠近镜头的一侧会对远离侧产生遮挡，导致远离侧关键点或特征点识别失败。
[0004]此外，康复训练往往需要治疗师配合进行被动训练，此时因治疗师与患者紧密接触会产生互遮挡，从而导致关键点或特征点识别失败问题。比如治疗师协助康复患者进行前臂旋前旋后被动训练时，患者采取仰面平躺位，治疗师采用患者盘坐位。此时由于两者身体紧密接触，会导致上臂腕部关键点或特征点，以及部分下肢关键点或特征点识别失败。
[0005]康复训练往往会需要配合相关辅助器具来完成，诸如拉力绳、弹力球等。在使用过程中由于辅助器具对身体某些部位的遮挡也会导致关键点或特征点识别失败。
[0006]目前，现有技术中缺少对关键点或特征点识别失败问题的有效解决方案。本专利技术通过设计一种精准的分类框架，将康复医学、运动控制理论与计算机视觉、人工智能融合，解决姿态估计中人体自遮挡以及人与人、人与物互遮挡而导致的关键点估计失败的问题。

技术实现思路

[0007]为了解决现有技术中的问题，本专利技术提供了一种基于多个图像获取设备确定特征点的方法，所述方法包括：
[0008]每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；
[0009]根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；
[0010]对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及
[0011]对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。
[0012]在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：
[0013]获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。
[0014]所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。
[0015]所述方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。
[0016]所述获取主体对象的位置属性和方向属性包括：
[0017]接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者
[0018]利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。
[0019]所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：
[0020]基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；
[0021]从多个候选位置中为每个图像获取设备确定基准位置；
[0022]其中每个图像获取设备的基准位置均不相同。
[0023]每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：
[0024]每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者
[0025]每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。
[0026]根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：
[0027]根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；
[0028]利用动态图像数据流生成每个图像获取设备各自的动态图像文件。
[0029]所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。
[0030]所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：
[0031]根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；
[0032]根据神经网络的参数信息对所要使用的神经网络进行参数配置；
[0033]将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；
[0034]其中每个动态图像文件的神经网络是相同的神经网络。
[0035]利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：
[0036]利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。
[0037]所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：
[0038]将多个热图集中的每个热图集依次选择作为当前热图集以进行：
[0039]将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；
[0040]基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经
过数据融合的当前热图集。
[0041]所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：
[0042]基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；
[0043]根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。
[0044]所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：
[0045]利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。
[0046]所述对象信息包括：客体对象的数量和客体对象的类型。
[0047]基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多个图像获取设备确定特征点的方法，所述方法包括：每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。2.根据权利要求1所述所述的方法，在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。3.根据权利要求2所述的方法，所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。4.根据权利要求2所述的方法，所述方向属性包括：主体对象的单个朝向信息或主题对象的多个朝向信息。5.根据权利要求2所述的方法，所述获取主体对象的位置属性和方向属性包括：接收输入数据并对输入数据进行解析以确定主体对象的位置属性和方向属性；或者利用定位设备获取主体对象的定位信息，根据定位信息确定主体对象的位置属性和方向属性。6.根据权利要求2所述的方法，所述基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置包括：基于位置属性和方向属性确定获取目标对象的动态图像的多个候选位置；从多个候选位置中为每个图像获取设备确定基准位置；其中每个图像获取设备的基准位置均不相同。7.根据权利要求1所述的方法，每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像包括：每个图像获取设备在各自的基准位置处，以各自的预定拍摄角度分别获取主体对象的动态图像；或者每个图像获取设备基于各自的基准位置形成移动路径，通过在各自的移动路径选择拍摄位置，并在拍摄位置处以所选择的拍摄角度分别获取主体对象的动态图像。8.根据权利要求1所述的方法，根据所获取的动态图像生成每个图像获取设备各自的动态图像文件包括：根据每个图像获取设备各自所获取的动态图像，得到动态图像数据流；利用动态图像数据流生成每个图像获取设备各自的动态图像文件。9.根据权利要求1所述的方法，所述预先设置的配置文件中包括神经网络的名称和神经网络的参数信息。
10.根据权利要求9所述的方法，所述根据预先设置的配置文件为每个动态图像文件确定各自的神经网络包括：根据预先设置的配置文件中的神经网络的名称确定所要使用的神经网络；根据神经网络的参数信息对所要使用的神经网络进行参数配置；将经过参数配置的神经网络确定为每个动态图像文件各自的神经网络；其中每个动态图像文件的神经网络是相同的神经网络。11.根据权利要求1所述的方法，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集包括：利用每个动态图像文件各自的神经网络对每个图像获取设备所获取的动态图像文件进行数据处理，以获取与每个图像获取设备相关联的热图集。12.根据权利要求1所述的方法，所述对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集包括：将多个热图集中的每个热图集依次选择作为当前热图集以进行：将多个热图集中除了当前热图集之外的每个热图集确定为融合热图集；基于多个融合热图集对当前热图集进行数据融合，以获得每个图像获取设备的经过数据融合的当前热图集。13.根据权利要求1所述的方法，所述基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息包括：基于每个图像获取设备的经过数据融合的热图集进行主体对象的特征点的识别，得到多幅同一时刻的二维特征点；根据每个图像获取设备的世界坐标系的坐标和图像坐标对二维特征点标定内外参数，基于内外参数获取包括主体对象的三维信息。14.根据权利要求1所述的方法，所述对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息包括：利用图像识别设备对对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息。15.根据权利要求1或14所述的方法，所述对象信息包括：客体对象的数量和客体对象的类型。16.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量为零时，确定特征点修复类型为不进行修复；当特征点修复类型为不进行修复时，不根据特征点修复类型对所述三维信息进行特征点的修复，直接根据主题对象的三维信息确定与主体对象相关联的多个特征点。17.根据权利要求1所述的方法，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：对客体对象的对象信息进行解析以确定客体对象的数量不为零并且客体对象的类型
为辅助物体时，确定特征点修复类型为辅助物体修复；利用主客体识别网络在三维信息中对主体对象进行整体标记，基于整体标记提取特征点，以及主体对象的空间特征和时间特征；对客体对象进行特征点识别并进行特征点跟踪，所述特征点追踪包括对每一帧标记物理形状和位置信息，提取客体对象的空间特征和时间特征；根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。18.根据权利要求17所述的方法，当辅助物体为跟随型辅助物体时，主体对象和客体对象在每一帧图像中的空间特征以及连续帧中的时间特征都进行变化；当辅助物体为固定型辅助物体时，主体对象在每一帧图像中的空间特征以及连续帧的时间特征进行变化，而客体对象在每一帧图像中具有稳定的空间特征，且连续帧中的时间特征保持一致；主题对象和客体对象的交互部分的空间特征存在波动。19.根据权利要求18所述的方法，根据辅助物体修复对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点包括：利用主客体识别网络对经过数据融合的三维信息进行处理，其中主客体识别网络为融合自上而下的姿态识别网路与基于深度卷积的物体识别网络的识别网络；对主体对象和客体对象进行标记，获得主体对象范围B
s
和客体对象范围B
o
；在主体对象范围B
s
内，通过自下而上的姿态识别网络对主体对象的多个部分进行初始识别,以获得多个初始特征点S
parts
；在客体对象范围B
o
内，将客体对象标记为O；提取每一帧的空间特征F
space
，以及连续帧的时间特征F
time
；对空间特征F
space
与时间特征F
time
进行融合以确定客体对象的对象类别，分别进行跟随型辅助物体和固定型辅助物体的子场景标记s
i
，其中i＝1,2；其中s1为跟随型辅助物体并且s2为固定型辅助物体；其中空间特征F
space
包括：形状、体积、角度、纹理、颜色、梯度和位置...

【专利技术属性】
技术研发人员：张硕，张惠斌，
申请(专利权)人：北京复数健康科技有限公司，
类型：发明
国别省市：