【技术实现步骤摘要】
所属的技术人员知道，本专利技术可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本专利技术还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本专利技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管上面已经示出和描述了本专利技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本专利技术的限制，本领域的普通技术人员在本专利技术的范围内可以对上述实施例进行变化、修改、替换和变型。
技术介绍
1、动作交互的动作检测是技术人工智能领域飞速发展的一个分支。常规动作交互动作检测的任务就是找出图像中所有感兴趣的目标及交互动作，确定它们的交互动作类别，
2、在实际工业场景中，所识别人、工具与物体交互时，需要进行查证和学习。结合到人工智能领域的方法，对工业场景中人操作工具来执行对物体的动作标记人、工具与物体的目标检测，并标记人、工具与物体之间交互动作类别，即可完成这些目标及交互动作的查证和学习。如果人、工具和物体进行标记，目前的动作交互动作检测方法均是基于深度学习网络来分别在同一图像上对人与物体进行交互动作检测，实际场景中的检测完整性不强，只能检测出当前图像场景中人与物体的交互动作，无法检测出人、工具与物体之间的三元交互动作。
技术实现思路
1、为了克服目前的动作交互动作检测方法只能检测出当前图像场景中人与物体的交互动作，无法检测出人、工具与物体之间的三元交互动作的问题，本专利技术提供了一种交互动作检测方法、系统、设备及介质。
2、第一方面，为了解决上述技术问题，本专利技术提供了一种交互动作检测方法，包括：
3、获取待测三元交互动作图像；其中，待测三元交互动作图像中包含有人、工具和物体的三元交互动作；
4、对待测三元交互动作图像进行特征提取，获得至少一个第一人物框、至少一个第一工具框和至少一个第一物体框；
5、若任意一个第一人物框、任意一个第一工具框和任意一个第一物体框三个框具有第一重合区域，则将每个第一重合区域对应的三个框组合而成的区域作为一个交互动作检测候选框；
6、对每个交互动作检测候选框进行识别，确定每个交互动作检测候选框对应的交互动作类别。
7、第二方面，本专利技术还提供了一种交互动作检测系统，包括：
8、获取模块，用于获取待测三元交互动作图像；其中，待测三元交互动作图像中包含有人、工具和物体的三元交互动作；
9、提取模块，用于对待测三元交互动作图像进行特征提取，获得至少一个第一人物框、至少一个第一工具框和至少一个第一物体框；
10、组合模块，用于若任意一个第一人物框、任意一个第一工具框和任意一个第一物体框三个框具有第一重合区域，则将每个第一重合区域对应的三个框组合而成的区域作为一个交互动作检测候选框；
11、识别模块，用于对每个交互动作检测候选框进行识别，确定每个交互动作检测候选框对应的交互动作类别。
12、第三方面，本专利技术还提供了一种计算设备，包括存储器、处理器及存储在存储器上并在处理器上运行的程序，处理器执行程序时实现如上述的一种交互动作检测方法的步骤。
13、第四方面，本专利技术还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行一种交互动作检测方法的步骤。
14、本专利技术的有益效果是：通过将待测三元交互动作图像中人、工具和物体分别提取出来，获得至少一个第一人物框、至少一个第一工具框和至少一个第一物体框。由于人、工具和物体三者之间具有交互动作时，三者在图像上会存在重合的区域，因此具有重合区域的三者之间存在交互动作的概率较大。从所有框中查找出具有重合区域的三个框，该三个框包括一个第一人物框、一个第一工具框和一个第一物体框，并将该三个框组合而成的区域作为一个交互动作检测候选框，使得该交互动作检测候选框中存在人、工具和物体的交互动作的概率较大，从而能够提高确定出的每个交互动作检测候选框的准确性。对每个交互动作检测候选框进行识别，确定出对应的交互动作类别。这样，能够检测出待测三元交互动作图像中人、工具与物体之间的三元交互动作。
本文档来自技高网...【技术保护点】
1.一种交互动作检测方法，其特征在于，包括：
2.根据权利要求书1所述的方法，其特征在于，所述对每个所述交互动作检测候选框进行识别，确定每个所述交互动作检测候选框对应的交互动作类别，包括：
3.根据权利要求书1所述的方法，其特征在于，根据待测三元交互动作图像获得对应的交互动作类别通过目标检测模型完成；所述目标检测模型的训练过程如下：
4.根据权利要求3所述的方法，其特征在于，所述获取多个三元交互动作样本图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述对所述动作交互图像进行数据增强，获得多个三元交互动作样本图像，包括：
6.一种交互动作检测系统，其特征在于，包括：
7.根据权利要求6所述的系统，其特征在于，所述识别模块，具体用于：
8.根据权利要求6所述的系统，其特征在于，还包括训练模块，所述训练模块包括获取单元、提取单元、组合单元、识别单元和调整单元：
9.一种计算设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1至5任一项所述的一种交互动作检测方法的步骤。
...【技术特征摘要】
1.一种交互动作检测方法，其特征在于，包括：
2.根据权利要求书1所述的方法，其特征在于，所述对每个所述交互动作检测候选框进行识别，确定每个所述交互动作检测候选框对应的交互动作类别，包括：
3.根据权利要求书1所述的方法，其特征在于，根据待测三元交互动作图像获得对应的交互动作类别通过目标检测模型完成；所述目标检测模型的训练过程如下：
4.根据权利要求3所述的方法，其特征在于，所述获取多个三元交互动作样本图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述对所述动作交互图像进行数据增强，获得多个三元交互动作样本图像，包括：
6.一种交互动作检测系统，其特...
【专利技术属性】
技术研发人员：高芳裙，吴云韬，张彦铎，卢涛，符世长，吴梓毅，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。