基于图像融合的婴幼儿看护行为识别方法、装置及系统制造方法及图纸

本发明专利技术涉及智能看护领域，解决了现有技术中，提供了一种基于图像融合的婴幼儿看护行为识别方法、装置及系统。该方法包括：同时获取第一视角下的第一视频图像和不同于所述第一视角的第二视角下的第二视频图像；识别所述第一视频图像中行为人的人形信息和人脸信息，标注出行为人关键点信息；识别所述第二视频图像中婴幼儿关键点信息；将婴幼儿关键点信息投影到第一视频图像所构建的三维坐标系中，融合所述婴幼儿关键点信息和所述行为人关键点信息，通过预设的神经网络模型训练，识别行为人对婴幼儿的行为。本发明专利技术提高了针对行为人对婴幼儿的行为的识别准确度，给用户更智能有效的看护提醒。醒。醒。

【技术实现步骤摘要】
基于图像融合的婴幼儿看护行为识别方法、装置及系统


[0001]本专利技术涉及智能看护领域，尤其涉及一种基于图像融合的婴幼儿看护行为识别方法、装置及系统。

技术介绍

[0002]随着各种智能终端的发展与普及，智能看护设备的应用也越来越广泛，逐渐成为人们生活的一部分。
[0003]现有技术中，当涉及到婴幼儿的看护领域时，目前常见的方式是使用目标检测算法对婴幼儿的人形、脸部状态进行检测，简单地根据“婴幼儿是否出现在视频画面中”来判断婴幼儿此时的状态，从而实现看护，无法有效地识别出行为人对婴幼儿做出的具有高级语义概念的行为，例如“婴幼儿被抱入或抱离”，因此，当所述“婴幼儿被抱入或抱离”等具有高级语义概念的行为发生时，用户无法得到有效的提醒。
[0004]为此，在涉及到婴幼儿的看护领域时，如何较为准确地识别出行为人对婴幼儿的具有高级语义概念的行为，实现更智能化的看护提醒是亟待解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供了基于图像融合的婴幼儿看护行为识别方法、装置及系统，用以解决现有技术中无法较为准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像融合的婴幼儿看护行为识别方法，其特征在于，所述方法包括：同时获取第一视角下的第一视频图像和不同于所述第一视角的第二视角下的第二视频图像；根据所述第一视频图像，识别所述第一视频图像中行为人的人形信息和人脸信息，依据所述行为人的人形信息标注出行为人的头部、躯干部以及下半身的关键点位置信息，记为行为人关键点信息；根据所述第二视频图像，识别所述第二视频图像中婴幼儿的头部位置信息，记为婴幼儿关键点信息；将婴幼儿关键点信息投影到第一视角下的第一视频图像所构建的三维坐标系中，融合所述婴幼儿关键点信息和所述行为人关键点信息，通过预设的神经网络模型训练，识别行为人对婴幼儿的行为。2.根据权利要求1所述的基于图像融合的婴幼儿看护行为识别方法，其特征在于，所述行为人关键点信息至少包括以下之一：脖子、左肩膀、右肩膀、左胳膊肘、右胳膊肘、左手腕、右手腕、右臀部、左臀部、右膝盖、左膝盖、右脚踝、左脚踝、鼻子、左耳、右耳、左眼、右眼。3.根据权利要求2所述的基于图像融合的婴幼儿看护行为识别方法，其特征在于，所述将婴幼儿关键点信息投影到第一视角采集图像所构建的三维坐标系中，融合所述婴幼儿关键点信息和所述行为人关键点信息，通过预设的神经网络模型训练，识别行为人对婴幼儿的行为包括：将婴幼儿关键点信息与行为人关键点信息中的左手腕、右手腕在所述三维坐标系中连线；连线后，将婴幼儿关键点信息与行为人关键点信息构建具有所有关键点的图网络模型；依据所述图网络模型，构造无向时空图序列。4.根据权利要求3所述的基于图像融合的婴幼儿看护行为识别方法，其特征在于，所述构造无向时空图序列包括：确定婴幼儿关键点与行为人关键点构成的节点特征；确定婴幼儿关键点与行为人关键点连接后形成边的信息；依据所述节点特征和所述边的信息，得出所述无向时空图序列。5.根据权利要求4所述的基于图像融合的婴幼儿看护行为识别方法，其特征在于，所述节点特征包括：节点的平面坐标和置信度；所述边的信息包括：节点的空间连接关系和时间连接关系。6.根据权利要求5所述的基于图像融合的婴幼儿看护行为识别方法，其特征在于，在所述将婴幼儿关键点信息投影到第一视角下的第一视频图像所构建的三维坐标系中，融合所述婴幼儿关键点信息...

【专利技术属性】
技术研发人员：陈辉，张智，熊章，杜沛力，张青军，
申请(专利权)人：武汉星巡智能科技有限公司，
类型：发明
国别省市：