【技术实现步骤摘要】
本申请属于机器人，尤其涉及一种机器人打扫方法、装置、电子设备及可读存储介质。
技术介绍
1、目前，酒店的房间在客户退房后需进行打扫，因此每天都产生大量的打扫工作，尤其在繁忙时段，打扫工作量更大。但酒店人员有限，导致打扫时间过长，客人需要等待较长时间才能入住，降低用户体验。
技术实现思路
1、本申请实施例提供了一种机器人打扫方法、装置、电子设备、可读存储介质及计算机程序产品，可以解决酒店房间打扫时间过长的问题。
2、第一方面，本申请实施例提供了一种机器人打扫方法，包括：
3、接收来自机器人的第一环境信息后，将所述第一环境信息和演示视频信息输入至已训练的大语言模型，通过所述已训练的大语言模型基于所述演示视频信息根据所述第一环境信息确定动作信息，并向机器人发送所述动作信息，所述动作信息用于指示所述机器人根据所述动作信息打扫目标区域；
4、其中，所述第一环境信息是通过所述机器人对所述目标区域的当前环境进行采集获得的，所述第一环境信息包括各物体及对应的第一位置，所述演示视频信息包括表征演示动作和对应所述演示动作的物体的信息。
5、在一个实施例中，所述向机器人发送所述动作信息之后，还包括：
6、在所述机器人打扫完成后，接收来自所述机器人的反馈信息，所述反馈信息包括打扫完成信息、环境变化信息，所述环境变化信息是根据所述第一环境信息和第二环境信息确定的，所述第二环境信息是所述机器人在打扫完成后对所述目标区域的环境进行采集获得的，所述第二环
7、向用户展示所述反馈信息及所述动作信息。
8、在一个实施例中，所述接收来自机器人的第一环境信息后，将所述第一环境信息和演示视频信息输入至已训练的大语言模型，通过所述已训练的大语言模型基于所述演示视频信息根据所述第一环境信息确定动作信息，并向机器人发送所述动作信息，包括：
9、接收来自所述机器人的第一环境信息；
10、将所述第一环境信息、所述演示视频信息和打扫指令输入至所述已训练的大语言模型，通过所述已训练的大语言模型基于所述演示视频信息根据所述第一环境信息和所述打扫指令确定当前动作信息，所述打扫指令包括打扫任务；
11、向机器人发送所述当前动作信息；
12、在所述机器人根据所述当前动作信息执行动作后，返回执行步骤：接收来自所述机器人的第一环境信息，直至所述机器人完成所述打扫任务。
13、在一个实施例中，所述将所述第一环境信息和演示视频信息输入至已训练的大语言模型之前，还包括：
14、获取演示视频，所述演示视频用于演示打扫流程；
15、对所述演示视频中每个视频帧提取特征，获得所述视频帧的视觉特征；
16、将所述演示视频的所述视觉特征输入至已训练的视频字幕模型，获得所述已训练的视频字幕输出的所述演示视频信息。
17、在一个实施例中，所述接收来自所述机器人的反馈信息之后，还包括：
18、获取优化数据，所述优化数据包括所述演示视频和优化后标签，所述优化后标签为根据所述机器人的所述反馈信息和所述动作信息重新标注所述演示视频获得的标签；
19、利用所述优化数据，训练所述已训练的视频字幕模型，直至模型损失函数的损失值小于预设损失值，获得优化后视频字幕模型。
20、第二方面，本申请实施例提供了一种机器人打扫方法，包括：
21、进入目标区域后，对所述目标区域的当前环境进行采集，获得第一环境信息，所述第一环境信息包括各物体及对应的第一位置；
22、向服务器发送所述第一环境信息；
23、接收来自所述服务器的动作信息，所述动作信息是所述服务器利用已训练的大语言模型根据演示视频信息和所述第一环境信息确定的，所述演示视频信息包括表征演示动作和对应所述演示动作的物体的信息；
24、根据所述动作信息对所述目标区域进行打扫。
25、在一个实施例中，所述根据所述动作信息对所述目标区域进行打扫之后，还包括：
26、在打扫完成后，对所述目标区域的环境进行采集，获得第二环境信息，所述第二环境信息包括各所述物体和对应的第二位置；
27、根据所述第一环境信息和所述第二环境信息确定环境变化信息；
28、向所述服务器发送反馈信息，所述反馈信息包括打扫完成信息、所述环境变化信息。
29、第三方面，本申请实施例提供了一种机器人打扫装置，包括：
30、接收模块，用于接收来自机器人的第一环境信息；
31、预测模块，用于将所述第一环境信息和演示视频信息输入至已训练的大语言模型，通过所述已训练的大语言模型基于所述演示视频信息根据所述第一环境信息确定动作信息；
32、发送模块，用于向机器人发送所述动作信息，所述动作信息用于指示所述机器人根据所述动作信息打扫目标区域；
33、其中，所述第一环境信息为所述机器人对所述目标区域的当前环境进行采集获得的，所述第一环境信息包括各物体及对应的第一位置，所述演示视频信息包括表征演示动作和对应所述演示动作的信息。
34、第四方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面和第二方面中任一项所述的方法。
35、第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面和第二方面中任一项所述的方法。
36、第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面和第二方面中任一项所述的方法。
37、本申请实施例与现有技术相比存在的有益效果是：
38、本申请实施例通过将第一环境信息和演示视频信息输入至已训练的大语言模型，通过已训练的大语言模型基于演示视频信息根据第一环境信息确定动作信息，并向机器人发送动作信息；其中，第一环境信息是通过机器人对目标区域的当前环境进行采集获得的，第一环境信息包括各物体及对应的第一位置，演示视频信息包括表征演示动作和操作物体的信息，动作信息用于指示机器人根据动作信息打扫目标区域，使得已训练的大语言模型能够根据第一环境信息和演示视频信息确定针对打扫房间的动作信息，以使机器人能够执行打扫任务，提高房间打扫效率，减少客人等待时间，以及减轻服务人员的负担。
39、可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本文档来自技高网...【技术保护点】
1.一种机器人打扫方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述向机器人发送所述动作信息之后，还包括：
3.根据权利要求1所述的方法，其特征在于，所述接收来自机器人的第一环境信息后，将所述第一环境信息和演示视频信息输入至已训练的大语言模型，通过所述已训练的大语言模型基于所述演示视频信息根据所述第一环境信息确定动作信息，并向机器人发送所述动作信息，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述第一环境信息和演示视频信息输入至已训练的大语言模型之前，还包括：
5.根据权利要求4所述的方法，其特征在于，所述接收来自所述机器人的反馈信息之后，还包括：
6.一种机器人打扫方法，其特征在于，包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述动作信息对所述目标区域进行打扫之后，还包括：
8.一种机器人打扫装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5或权利要求6至7任一项所述的方法。
...【技术特征摘要】
1.一种机器人打扫方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述向机器人发送所述动作信息之后，还包括：
3.根据权利要求1所述的方法，其特征在于，所述接收来自机器人的第一环境信息后，将所述第一环境信息和演示视频信息输入至已训练的大语言模型，通过所述已训练的大语言模型基于所述演示视频信息根据所述第一环境信息确定动作信息，并向机器人发送所述动作信息，包括：
4.根据权利要求2所述的方法，其特征在于，所述将所述第一环境信息和演示视频信息输入至已训练的大语言模型之前，还包括：
5.根据权利要求4所述的方法，其特征在于，所述接收来自所述机器人的反馈信息...
【专利技术属性】
技术研发人员：孙喜龙，于非，贺颖，施斯，田甄，
申请(专利权)人：人工智能与数字经济广东省实验室深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。