【技术实现步骤摘要】
本申请涉及清洁，更具体而言，涉及一种清洁方法、清洁展示方法、清洁设备及非易失性计算机可读存储介质。
技术介绍
1、目前，清洁设备在执行清洁工作时，大都是基于对清洁场景的全局建图后形成预定路径进行工作的，此时清洁设备可通过视觉传感器获取清洁场景的信息来设计出清扫路线进行工作。然而，清洁设备只能够按照预定轨迹前进当用户需要对特定的区域进行清洁时，清洁设备无法根据用户的需求进行清扫，只能在按照预设路径移动到特定的区域时，才能对其进行清洁，从而导致清洁设备无法准确地满足用户需求。
技术实现思路
1、本申请实施方式提供一种清洁方法、清洁展示方法、清洁设备和非易失性计算机可读存储介质。
2、本申请实施方式的清洁方法应用于清洁设备，所述清洁设备包括视觉传感器，所述视觉传感器配置成采集场景图像，所述方法包括：基于预设的关键点识别模型，识别所述场景图像中的目标对象的二维关键点；基于预设的关键点映射模型，将所述二维关键点映射为三维关键点，所述三维关键点为所述视觉传感器的相机坐标系下的第一三维坐标；基于所述相机坐标系和所述清洁设备的世界坐标系的标定参数，将所述第一三维坐标转换成第二三维坐标；根据所述第二三维坐标，确定所述目标对象的指向位置，并移动到所述指向位置，以对所述指向位置对应的待清洁区域进行清洁。
3、在某些实施方式中，所述二维关键点至少包括2个，所述指向位置为2个所述二维关键点的连线在地面的交点，2个所述二维关键点位于所述目标对象的目标部位。
4、在某些实施方
5、在某些实施方式中，所述根据所述训练集训练预设的神经网络模型，以得到训练至收敛的所述关键点映射模型，包括：根据所述第一训练图像的所述标签信息，及所述神经网络模型根据所述第一训练图像的二维关键点生成的第一训练三维关键点，计算第一损失值；获取所述神经网络模型根据所述第二训练图像的二维关键点生成的第二训练三维关键点，并根据所述摄像头视觉传感器的内参将所述第二训练三维关键点映射为训练二维关键点；根据所述训练二维关键点和所述第二训练图像的二维关键点，计算第二损失值；根据所述第一损失值、所述第二损失值，调整所述神经网络模型的模型参数，直至所述神经网络模型收敛，以得到训练至收敛的所述关键点映射模型。
6、在某些实施方式中，所述清洁方法还包括：根据第一训练三维关键点确定第一预测身高及身体各个部位的第一预测尺寸，并根据所述第一预测尺寸和所述第一预测身高对应的第一预设尺寸，计算第三损失值；根据第二训练三维关键点确定第二预测身高及身体各个部位的第二预测尺寸，并根据所述第二预测尺寸和所述第二预测身高对应的第二预设尺寸，计算第四损失值；所述根据所述第一损失值、所述第二损失值，调整所述神经网络模型的模型参数，直至所述神经网络模型收敛，以得到训练至收敛的所述关键点映射模型，包括：根据所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值，调整所述神经网络模型的模型参数，直至所述神经网络模型收敛，以得到训练至收敛的所述关键点映射模型。
7、在某些实施方式中，所述获取训练集，包括获取预设的开源数据集，所述开源数据集包括多个不同视角的样本图像的二维关键点、采集所述样本图像的视觉传感器的外参、及所述样本图像的二维关键点对应的世界坐标；对所述样本图像对应的外参进行处理，以生成与所述清洁设备适配的外参；根据与所述清洁设备适配的外参对所述样本图像的世界坐标系坐标进行转换，以得到所述清洁设备视角下，所述样本图像的二维关键点对应的三维关键点；根据所述样本图像的二维关键点对应的三维关键点和所述清洁设备的内参，生成所述清洁设备视角下所述样本图像的二维关键点；根据所述清洁设备视角下，所述样本图像的二维关键点对应的三维关键点和所述清洁设备视角下所述样本图像的二维关键点，生成所述第一训练样本。
8、在某些实施方式中，所述清洁方法还包括在所述指向位置和所述目标对象的位置之间的距离大于预设阈值的情况下，发出提示信息，以提示所述目标对象向待清洁位置移动，并重新指向所述待清洁位置；在所述目标对象移动完成后，重新进入所述基于预设的关键点识别模型，识别所述场景图像中的目标对象的二维关键点的步骤。
9、本申请实施方式的清洁展示方法包括获取目标对象在清洁设备的世界坐标系中的三维坐标及所述清洁设备的位置信息；在场景图像对应的三维地图中，根据所述三维坐标显示所述目标对象的当前位置信息及所述目标对象的指向位置，并根据所述位置信息显示所述清洁设备的当前位置信息。
10、本申请实施方式的清洁设备包括处理器、存储器及计算机程序，其中，所述计算机程序被存储在所述存储器中，并且被所述处理器执行，所述计算机程序包括用于执行上述任一实施方式所述的清洁方法的指令。
11、本申请实施方式的非易失性计算机可读存储介质包括计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一实施方式所述的清洁方法和清洁展示方法。
12、本申请实施方式的清洁方法、清洁展示方法、清洁设备和计算机可读存储介质，在目标对象需要指向待清洁区域的情况下，清洁设备可利用视觉传感器采集包含目标对象的场景图像，并基于预设的关键点识别模型，来识别场景图像中的目标对象的二维关键点，以便于确定目标对象在场景图像中的位置和姿态。然后，再基于预设的关键点映射模型，将二维关键点转化为视觉传感器的相机坐标系下的第一三维坐标，从而获取二维关键点对应的深度信息，完成二维关键点和三维坐标之间的转换。紧接着，基于相机坐标系和清洁设备的世界坐标系的标定参数，将第一三维坐标转化为清洁设备的世界坐标系下的第二三维坐标，可以理解第二三维坐标能够反应二维关键点在真实场景下对应的三维位置。然后根据第二三维坐标，能够确定目标用户的位置和姿态，从而确定指向位置(如指向位置为经过任意两个不同的第二三维坐标的直线在地面的交点)，指向位置即为目标对象指定需要清洁的待清洁位置。最后，控制清洁设备移动到指向位置对应的待清洁区域进行清洁。如此，在拍摄到目标对象指向待清洁位置的场景图像后，清洁设备可利用关键点识别模型和对应的坐标转化，准确地识别出指向位置在世界坐标系下的三维坐标，并准确地移动到指向位置进行打扫，从而使得清洁设备实现指哪扫哪功能，准确地满足用户需求。
13、本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
本文档来自技高网...【技术保护点】
1.一种清洁方法，其特征在于，应用于清洁设备，所述清洁设备包括视觉传感器，所述视觉传感器配置成采集场景图像，所述方法包括：
2.根据权利要求1所述的清洁方法，其特征在于，所述二维关键点至少包括2个，所述指向位置为2个所述二维关键点的连线在地面的交点，2个所述二维关键点位于所述目标对象的目标部位。
3.根据权利要求1所述的清洁方法，其特征在于，所述关键点映射模型的生成方法包括：
4.根据权利要求3所述的清洁方法，其特征在于，所述根据所述训练集训练预设的神经网络模型，以得到训练至收敛的所述关键点映射模型，包括：
5.根据权利要求4所述的清洁方法，其特征在于，还包括：
6.根据权利要求3所述的清洁方法，其特征在于，所述获取训练集，包括：
7.根据权利要求1所述的清洁方法，其特征在于，还包括：
8.一种清洁展示方法，其特征在于，包括：
9.一种清洁设备，其特征在于，包括：
10.一种包含计算机程序的非易失性计算机可读存储介质，所述计算机程序被处理器执行时，使得所述处理器执行权利要求
...【技术特征摘要】
1.一种清洁方法，其特征在于，应用于清洁设备，所述清洁设备包括视觉传感器，所述视觉传感器配置成采集场景图像，所述方法包括：
2.根据权利要求1所述的清洁方法，其特征在于，所述二维关键点至少包括2个，所述指向位置为2个所述二维关键点的连线在地面的交点，2个所述二维关键点位于所述目标对象的目标部位。
3.根据权利要求1所述的清洁方法，其特征在于，所述关键点映射模型的生成方法包括：
4.根据权利要求3所述的清洁方法，其特征在于，所述根据所述训练集训练预设的神经网络模型，以得到训练至收敛的所述关...
【专利技术属性】
技术研发人员：张天亮，高跃超，朱文轩，竺浩，宋昱慧，
申请(专利权)人：深圳市杉川机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。