基于本体库的撕纸行为识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于本体库的撕纸行为识别方法、装置、设备及存储介质，包括：构建撕纸行为的本体库；其中，在本体库中对撕纸行为进行层级化描述，按照时间先后顺序将撕纸行为拆分成三个基元，用关键帧代表基元，设立每一关键帧的关键帧规则；获取待识别的撕纸行为视频，对撕纸行为视频中的每一帧图像进行目标检测，得到每一帧图像的目标候选框；当判断到存在有三帧图像按照时间先后顺序依次满足对应的关键帧规则时，依次激活对应的关键帧和关键帧对应的基元；当所有基元被激活时，判定撕纸行为视频中的撕纸行为成功发生。采用本发明专利技术实施例能够有效解决由于目标检测结果不理想导致的判断错误，实现对撕纸行为的有效识别，准确度高。确度高。确度高。

【技术实现步骤摘要】
基于本体库的撕纸行为识别方法、装置、设备及存储介质


[0001]本专利技术涉及行为识别
，尤其涉及一种基于本体库的撕纸行为识别方法、装置、设备及存储介质。

技术介绍

[0002]散热片压接的工业操作工序包括四个步骤：放置罩板、撕掉散热片贴纸、放置散热片和散热片压接，其中，撕掉散热片贴纸这一行为是否成功影响着散热片的压接质量。目前通过在撕掉散热片贴纸这一行为完成后，采用目标检测算法检测散热片上是否存在贴纸，判断撕掉散热片贴纸是否成功，实现对撕纸行为的监督，然而，由于摄像头机位有限、手部遮挡等问题，无法实现对操作过程中的撕掉散热片贴纸进行较为准确的识别。

技术实现思路

[0003]本专利技术实施例的目的是提供一种基于本体库的撕纸行为识别方法、装置、设备及存储介质，通过对撕纸行为进行本质探究，利用构建的专属本体库弥补了实际场景中目标检测以及手部检测的缺陷，将目标检测、手部检测以及行为模式结合，能够有效解决由于目标检测结果不理想导致的判断错误，实现对撕纸行为的有效识别，准确度高。
[0004]为实现上述目的，本专利技术实施例提供了一种基于本体库的撕纸行为识别方法，包括：
[0005]构建撕纸行为的本体库；其中，在所述本体库中对所述撕纸行为进行层级化描述，按照时间先后顺序将所述撕纸行为拆分成三个基元，用关键帧代表基元，设立每一所述关键帧的关键帧规则；
[0006]获取待识别的撕纸行为视频，对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框；其中，所述目标候选框包括：左手候选框、右手候选框和散热片候选框；
[0007]利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元；
[0008]当所有所述基元被激活时，判定所述撕纸行为视频中的撕纸行为成功发生。
[0009]作为上述方案的改进，所述本体库包括：行为级别、基元级别、关键帧级别和实体级别；其中，
[0010]所述行为级别包括：撕纸行为；
[0011]所述基元级别包括：手拿散热片基元、双手交互基元和双手分离基元；
[0012]所述关键帧级别包括：手拿散热片关键帧、双手交互关键帧和双手分离关键帧；其中，每一所述关键帧具有对应的关键帧规则；
[0013]所述实体级别包括：左手、右手、散热片和贴纸。
[0014]作为上述方案的改进，所述手拿散热片关键帧的关键帧规则包括以下中的其中一
种：
[0015]所述散热片候选框和所述左手候选框存在交集；
[0016]所述散热片候选框和所述右手候选框存在交集；
[0017]所述双手交互关键帧的关键帧规则包括以下中的其中一种：
[0018]所述左手候选框的中心点与所述右手候选框的中心点之间的距离小于预设的第一距离阈值；
[0019]所述左手候选框与所述右手候选框存在交集；
[0020]所述左手候选框和所述右手候选框分别与所述散热片候选框存在交集，且所述左手候选框与所述右手候选框在纵轴上的重叠率大于预设的重叠率；
[0021]所述双手分离关键帧的关键帧规则包括以下中的其中一种：
[0022]所述左手候选框的中心点与所述右手候选框的中心点之间的距离大于预设的第二距离阈值；其中，所述第二距离阈值大于所述第一距离阈值；
[0023]所述左手候选框与所述右手候选框不存在交集。
[0024]作为上述方案的改进，所述利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元，包括：
[0025]判断每一帧图像的目标候选框是否满足所述手拿散热片关键帧的关键帧规则，当判断到存在第一当前帧图像的所述目标候选框满足所述手拿散热片关键帧的关键帧规则时，将所述第一当前帧图像作为所述手拿散热片关键帧，并激活所述手拿散热片关键帧；
[0026]当所述手拿散热片关键帧被激活时，激活所述手拿散热片基元；
[0027]当所述手拿散热片基元被激活时，继续判断在所述手拿散热片关键帧之后的每一帧图像的目标候选框是否满足所述双手交互关键帧的关键帧规则，当判断到存在第二当前帧图像的所述目标候选框满足所述双手交互关键帧的关键帧规则时，将所述第二当前帧图像作为所述双手交互关键帧，并激活所述双手交互关键帧；
[0028]当所述双手交互关键帧被激活时，激活所述双手交互基元；
[0029]当所述双手交互基元被激活时，继续判断在所述双手分离关键帧之后的每一帧图像的目标候选框是否满足所述双手分离关键帧的关键帧规则，当判断到存在第三当前帧图像的所述目标候选框满足所述双手分离关键帧的关键帧规则时，将所述第三当前帧图像作为所述双手分离关键帧，并激活所述双手分离关键帧；
[0030]当所述双手分离关键帧被激活时，激活所述双手分离基元。
[0031]作为上述方案的改进，所述目标候选框还包括贴纸候选框，则当所有所述基元被激活时，所述基于本体库的撕纸行为识别方法还包括：
[0032]对于所述三帧图像之后的任一帧图像，当判断到所述散热片候选框与所述贴纸候选框存在第一交集，且所述第一交集的相对大小大于预设的相对大小阈值时，判定所述撕纸行为视频中的撕纸行为失败。
[0033]作为上述方案的改进，所述对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框，包括：
[0034]对所述撕纸行为视频中的每一帧图像进行目标检测；
[0035]当检测到任一帧图像内存在多只左手时，计算每一只左手的候选框的中心点与预设的双手工作区域候选框的中心点之间的距离，将距离最短的左手的候选框作为检测得到的目标候选框；
[0036]当检测到任一帧图像内存在多只右手时，计算每一只右手的候选框的中心点与所述双手工作区域候选框的中心点之间的距离，将距离最短的右手的候选框作为检测得到的目标候选框。
[0037]为实现上述目的，本专利技术实施例还提供了一种基于本体库的撕纸行为识别装置，包括：
[0038]本体库构建模块，用于构建撕纸行为的本体库；其中，在所述本体库中对所述撕纸行为进行层级化描述，按照时间先后顺序将所述撕纸行为拆分成三个基元，用关键帧代表基元，设立每一所述关键帧的关键帧规则；
[0039]目标检测模块，用于获取待识别的撕纸行为视频，对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框；其中，所述目标候选框包括：左手候选框、右手候选框和散热片候选框；
[0040]激活模块，用于利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于本体库的撕纸行为识别方法，其特征在于，包括：构建撕纸行为的本体库；其中，在所述本体库中对所述撕纸行为进行层级化描述，按照时间先后顺序将所述撕纸行为拆分成三个基元，用关键帧代表基元，设立每一所述关键帧的关键帧规则；获取待识别的撕纸行为视频，对所述撕纸行为视频中的每一帧图像进行目标检测，得到所述每一帧图像的目标候选框；其中，所述目标候选框包括：左手候选框、右手候选框和散热片候选框；利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元；当所有所述基元被激活时，判定所述撕纸行为视频中的撕纸行为成功发生。2.如权利要求1所述的基于本体库的撕纸行为识别方法，其特征在于，所述本体库包括：行为级别、基元级别、关键帧级别和实体级别；其中，所述行为级别包括：撕纸行为；所述基元级别包括：手拿散热片基元、双手交互基元和双手分离基元；所述关键帧级别包括：手拿散热片关键帧、双手交互关键帧和双手分离关键帧；其中，每一所述关键帧具有对应的关键帧规则；所述实体级别包括：左手、右手、散热片和贴纸。3.如权利要求2所述的基于本体库的撕纸行为识别方法，其特征在于，所述手拿散热片关键帧的关键帧规则包括以下中的其中一种：所述散热片候选框和所述左手候选框存在交集；所述散热片候选框和所述右手候选框存在交集；所述双手交互关键帧的关键帧规则包括以下中的其中一种：所述左手候选框的中心点与所述右手候选框的中心点之间的距离小于预设的第一距离阈值；所述左手候选框与所述右手候选框存在交集；所述左手候选框和所述右手候选框分别与所述散热片候选框存在交集，且所述左手候选框与所述右手候选框在纵轴上的重叠率大于预设的重叠率；所述双手分离关键帧的关键帧规则包括以下中的其中一种：所述左手候选框的中心点与所述右手候选框的中心点之间的距离大于预设的第二距离阈值；其中，所述第二距离阈值大于所述第一距离阈值；所述左手候选框与所述右手候选框不存在交集。4.如权利要求2所述的基于本体库的撕纸行为识别方法，其特征在于，所述利用所述目标候选框判断所述目标候选框所在的图像是否按照时间先后顺序依次满足对应的所述关键帧规则，当判断到存在有三帧图像按照时间先后顺序依次满足对应的所述关键帧规则时，依次激活对应的关键帧和所述关键帧对应的基元，包括：判断每一帧图像的目标候选框是否满足所述手拿散热片关键帧的关键帧规则，当判断到存在第一当前帧图像的所述目标候选框满足所述手拿散热片关键帧的关键帧规则时，将所述第一当前帧图像作为所述手拿散热片关键帧，并激活所述手拿散热片关键帧；
当所述手拿散热片关键帧被激活时，激活所述手拿散热片基元；当所述手拿散热片基元被激活时，继续判断在所述手拿散热片关键帧之后的每一帧图像的目标候选框是否满足所述双手交互关键帧的关键帧规则，当判断到存在第二当前帧图像的所述目标候选框满足所述双手交互关键帧的关键帧规则时，将所述第二当前帧图像作为所述双手交互关键帧，并激活所述双手交互关键帧；当所述双手交互关键帧被激活时，激活所述双手交互基元；当所述双手交互基元被激活时，继续判断在所述...

【专利技术属性】
技术研发人员：谢雪梅，彭盛斌，刘艺，钟微，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：