【技术实现步骤摘要】
本公开的各实施例涉及计算机视觉图像处理，尤其涉及一种用于确定脚部触地状态的技术。
技术介绍
1、当前对人体脚部触地状态的检测主要分为两类：
2、一类是基于传感器来进行检测。这种方式需要被检测的目标人物佩戴有传感器，例如各种穿戴式设备，由传感器来直接检测人体脚部的触地状态。
3、一类是基于计算机视觉的图像检测，主要基于神经网络来进行姿态估计。例如，通过神经网络来对人物图像直接计算其脚部触地状态。这种方式只考虑图像特征，而未将脚部关键点的位置检测纳入计算，从而计算量较大且预测结果不够准确。或者，通过检测一段连续图像帧中人物脚部关键点的位置，并根据其位置变化来确定触地状态。这种方式仅检测脚部关键点的点位，而忽略了图像中的其他特征。
技术实现思路
1、本公开的各实施例的目的是提供一种用于确定脚部触地状态的方法、装置和计算机设备。
2、根据本公开的一个方面，提供了一种用于确定脚部触地状态的方法，其中，该方法包括以下步骤：
3、获取待检测图像，所述待检测图像中包括用于脚部触地状态估计的骨骼关键点；
4、获取所述待检测图像的图像特征序列和所述待检测图像中各骨骼关键点的定位信息；
5、通过特征提取网络对所述图像特征序列进行处理，得到所述待检测图像的深层图像特征；
6、通过特征融合网络，将所述深层图像特征和所述各骨骼关键点的定位信息进行融合，得到各所述各骨骼关键点对应的脚部触地状态特征；
7、对所述脚部触
8、可选的，获取所述待检测图像中各骨骼关键点的定位信息的步骤包括：
9、利用关键点检测算法从所述待检测图像中提取各骨骼关键点的定位信息。
10、可选的，所述通过特征融合网络，将所述深层图像特征和所述各骨骼关键点的定位信息进行融合的步骤包括：
11、通过所述特征融合网络中的交叉注意力机制将所述各骨骼关键点的定位信息与所述深层图像特征融合。
12、可选的，对所述脚部触地状态特征进行分类，得到各所述骨骼关键点的触地状态的步骤包括：
13、通过分类器确定所述各骨骼关键点中每个骨骼关键点的触地概率；
14、根据所述每个骨骼关键点的触地概率得到各所述骨骼关键点的触地状态。
15、可选的，所述脚部触地状态特征为高维矩阵，所述通过分类器确定所述各骨骼关键点中每个骨骼关键点的触地概率包括：
16、将所述高维矩阵的高维特征输入所述分类器，经所述分类器映射为一维向量，每个一维向量对应一个骨骼关键点的触地概率。
17、可选的，所述特征融合网络预先得到训练，其训练样本集中每个样本图像标注有各骨骼关键点的触地状态。
18、可选的，所述骨骼关键点包括6个脚部关键点，包括左脚的大脚趾、小脚趾和脚跟，以及右脚的大脚趾、小脚趾和脚跟。
19、根据本公开的一个方面，还提供了一种用于确定脚部触地状态的装置，其中，该装置包括：
20、用于获取待检测图像的装置，所述待检测图像中包括用于脚部触地状态估计的骨骼关键点；
21、用于获取所述待检测图像的图像特征序列和所述待检测图像中各骨骼关键点的定位信息的装置；
22、用于通过特征提取网络对所述图像特征序列进行处理，得到所述待检测图像的深层图像特征的装置；
23、用于通过特征融合网络，将所述深层图像特征和所述各骨骼关键点的定位信息进行融合，得到各所述各骨骼关键点对应的脚部触地状态特征的装置；
24、用于对所述脚部触地状态特征进行分类，得到各所述骨骼关键点的触地状态的装置。
25、可选的，所述特征融合网络预先得到训练，其训练样本集中每个样本图像标注有各骨骼关键点的触地状态。
26、根据本公开的一个方面，还提供了一种电子设备，其中，该电子设备包括：
27、至少一个处理器；以及
28、与所述至少一个处理器通信连接的存储器；其中，
29、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上文任一项所述的方法。
30、本公开的各实施例通过将脚部图像的图像特征序列输入特征提取网络来提取待检测图像的深层图像特征，同时将从该脚部图像提取的各骨骼关键点的定位信息输入特征融合网络来深层图像特征融合，从而获得各所述各骨骼关键点对应的脚部触地状态特征，再对所述脚部触地状态特征进行分类，从而得到各所述骨骼关键点的触地状态。由于在估计脚部触地状态时，本公开同时考虑了各骨骼关键点的点位以及脚部图像中的深层图像特征，使得对脚部触地状态的估计更为准确。
本文档来自技高网...【技术保护点】
1.一种用于确定脚部触地状态的方法，其中，该方法包括以下步骤：
2.根据权利要求1所述的方法，其中，获取所述待检测图像中各骨骼关键点的定位信息的步骤包括：
3.根据权利要求1或2所述的方法，其中，所述通过特征融合网络，将所述深层图像特征和所述各骨骼关键点的定位信息进行融合的步骤包括：
4.根据权利要求1所述的方法，其中，对所述脚部触地状态特征进行分类，得到各所述骨骼关键点的触地状态的步骤包括：
5.根据权利要求4所述的方法，其中，所述脚部触地状态特征为高维矩阵，所述通过分类器确定所述各骨骼关键点中每个骨骼关键点的触地概率包括：
6.根据权利要求1所述的方法，其中，所述特征融合网络预先得到训练，其训练样本集中每个样本图像标注有各骨骼关键点的触地状态。
7.根据权利要求1所述的方法，其中，所述骨骼关键点包括6个脚部关键点，包括左脚的大脚趾、小脚趾和脚跟，以及右脚的大脚趾、小脚趾和脚跟。
8.一种用于确定脚部触地状态的装置，其中，该装置包括：
9.根据权利要求8所述的装置，其中，所述特征融合
10.一种电子设备，其中，该电子设备包括：
...【技术特征摘要】
1.一种用于确定脚部触地状态的方法，其中，该方法包括以下步骤：
2.根据权利要求1所述的方法，其中，获取所述待检测图像中各骨骼关键点的定位信息的步骤包括：
3.根据权利要求1或2所述的方法，其中，所述通过特征融合网络，将所述深层图像特征和所述各骨骼关键点的定位信息进行融合的步骤包括：
4.根据权利要求1所述的方法，其中，对所述脚部触地状态特征进行分类，得到各所述骨骼关键点的触地状态的步骤包括：
5.根据权利要求4所述的方法，其中，所述脚部触地状态特征为高维矩阵，所述通过分类器确定所述各骨骼关键点中每个骨骼关键...
【专利技术属性】
技术研发人员：徐霁轩，陈保友，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。