【技术实现步骤摘要】
本专利技术属于智能机器人，具体涉及一种具身智能机器人的通用系统、构建方法及使用方法。
技术介绍
1、近年来，随着人工智能技术的不断发展，各种先进的算法与传感器逐步被集成到机器人上，机器人也因此更加智能化。越来越多的行业和领域，都将机器人应用于生产生活中，比如服务领域的医疗、酒店送餐、物流运输，工业领域如装配、焊接、码垛，特种作业领域的电力、消防、安防、救援、极地和空间探索等。这也导致了人们对机器人提出了更高的要求，如要求机器人不断的理解现实世界的场景，甚至根据人类的自然语言指令完成复杂指令任务，具身智能概念也因此而生。
2、具身智能的出现提升当前机器人认知能力、走向通用智能提供了重要技术和理论基础，通过与环境和人类的交互，机器人可从真实物理或虚拟数字空间中获取人类和环境反馈，从而更好的完成任务。然而人类的自然语言包含着不确定性，现实场景往往也是复杂多变的，单一模态的数据只能使机器人完成特定简单的任务，对于不同的目标的操作任务，就需要特定的传感器收集更多信息应对不同的任务场景和操作需求。
3、现有的非具身智能的机器人存在以下问题：
4、1.人机交互能力弱。现阶段的先进对话模型主要应用于对话服务机器人中，如商超导购机器人的问答系统，通过建立具体数据库问答对，包含标注好的图像和自然语言问题，利用先验知识构建认知模型，该种方法只能针对特定少数问题进行问答。现阶段工业机器人、特种机器人领域机器人由于具体工作环境约束，通常采用示教器或者远程控制交互方式，这种往往需要操作者具备很多专业基础的知识，而导致机器
5、2.环境泛化能力差。在现实物理环境中，环境往往复杂多变，当机器人面对多个场景的相同目标时，图像中信息中往往隐含潜在的多个目标的相对关系；人类的自然语言中包含着高级语义信息，而传统自然语言机器人只能实现简单的语言信息处理和反馈，无法准确理解复杂的语义任务执行。因此仅依靠单一模态信息不足以完成所有任务。
6、3.安全支持不足。目前的具身智能机器人系统主要在仿真环境中应用。这些系统通过使用理想化设备进行模拟实验，降低了数据收集成本和提高了实验的稳定性。然而，在真实世界中，机器人面临着巨大的物理限制，并且很少有研究在实体机器人上应用多模态信息，仿真数据习得的信息能否用于现实世界仍然存疑。
7、因此，一个可交互的、自适应、安全的具身智能机器人系统是当下以及未来社会迫切需要的。
技术实现思路
1、技术目的：为了解决上述问题，本专利技术公开了一种具身智能机器人的通用系统、构建方法及使用方法，其融合不同特点的模型，能够充分感知用户数据和环境中的目标物、障碍物等信息，制定控制机器人运动和操作策略，并基于仿真环境与现实环境感知反馈信息实时训练学习调整，提高了机器人在现实环境中人机交互体验和环境自适应能力，可以适用于不同类型的自主移动机器人和操作机器人，具备较强的通用性。
2、技术方案：为实现上述技术目的，本专利技术采用了如下技术方案：
3、一种具身智能机器人的通用系统，包括配置在机器人上的信息自组织核心神经网络和本体设备，其中，所述信息自组织核心神经网络包括大语言模型、记忆模型、多模态感知模型和运动控制模型，本体设备包括驱动系统、机械系统和传感器系统；
4、所述大语言模型用于接收用户通过自然语言对话下达的交互任务、向用户发送反馈确认信息；用于根据交互任务向多模态感知模型发送感知信息请求，请求返回包括任务环境数据和人类数据的感知信息；用于向记忆模型发送知识信息请求，请求返回与交互任务相关联的知识信息，所述知识信息中包括经验信息；用于根据所述知识信息、经验信息和感知信息，生成相应的运动规划数据即规划信息，然后将规划信息输入运动控制模型和记忆模型；该模块对高级任务信息自组织加工。
5、所述多模态感知模型用于接收大语言模型发送的感知信息请求，并向大语言模型返回所述感知信息；用于将所述感知信息与大语言模型请求的对象进行认识绑定，构成认知信息并送入记忆模块；该模块对环境信息自组织加工。
6、所述记忆模型用于接收大语言模型发送的知识信息请求，并向大语言模型返回所述知识信息，所述知识信息请求中包括大语言模型构建的任务数据；用于接收多模态感知模型发送的认知信息；用于将所述任务数据和认知数据通过键值绑定，生成任务知识条目存储于记忆模型的本地任务知识库中，并定期进行排序和筛选出，构建经验知识库；用于为运动控制模型提供经验信息的查询接口，该模型主要对信息进行自组织存储；
7、所述运动控制模型用于接收大语言模型输出的规划信息；用于根据规划信息从记忆模型中获取经验信息；用于接收多模态感知模型反馈的感知信息；用于根据感知信息对规划信息进行调整，生成调节智能机器人实时行为的控制指令，并将控制指令发送给本体设备中的驱动系统；
8、所述驱动系统用于接收运动控制模块发送的控制指令，根据控制指令生成控制信号并发送给机械系统；
9、所述机械系统根据控制信号驱动机器人执行对应的操作；
10、所述传感器系统用于实时采集所述感知信息并发送给多模态感知模型，感知信息中的任务环境数据包括环境中的目标对象和障碍对象，人类数据包括用户的情绪状态。
11、优选地，所述大语言模型采用包括gpt系列、llama系列、glm系列、bert系列在内的基于transformer自回归编解码器的神经网络模型，或者基于所述神经网络模型微调的模型；
12、所述多模态感知模型采用包括vit系列、plam e系列模型在内的视觉双向多注意力transformer模型，或者基于视觉双向多注意力transformer模型微调的模型；
13、所述运动控制模型采用robot transformer系列在内的模型、传统pid算法模型或者pcm算法模型中的任一种；
14、所述记忆模型采用lstm模型、基于llm大语言模型微调过的数据操作模型，或者基于任务知识库规则匹配算法的数据操作模型。
15、优选地，所述核心神经网络中的大语言模型、记忆模型、多模态感知模型和运动控制模型采用混合专家方法moe相结合，核心神经网络的输出e(x)g(x)是多个专家模型的输出和门控网络模型的加权平均组合，表示为式(1)：
16、
17、ei(x)表示第i个专家模型的输出，gi(x)表示第i个门控网络模型的输出。
18、优选地，所述门控网络模型采用基于双向长短时记忆网络lstm、基于transformer模型的前馈网络、基于知识库的基于规则的匹配网络中的任一种或一种以上的组合。
19、一种具身智能机器人的通用系统的构建方法，用于所述通用系统，包括步骤：
20、s1、构建信息自组织核心神经网络：根据信息自组织核心神经网络中的各个模型的性能需求，筛选或构建对应的神经网络模型，并进一步构建对应的混合专家模型，构成所述信息自组织核心神经网络；
本文档来自技高网...
【技术保护点】
1.一种具身智能机器人的通用系统，其特征在于：包括配置在机器人上的信息自组织核心神经网络和本体设备，其中，所述信息自组织核心神经网络包括大语言模型、记忆模型、多模态感知模型和运动控制模型，本体设备包括驱动系统、机械系统和传感器系统；
2.根据权利要求1所述的一种具身智能机器人的通用系统，其特征在于：所述大语言模型采用包括GPT系列、LLaMA系列、GLM系列、Bert系列在内的基于Transformer自回归编解码器的神经网络模型，或者基于所述神经网络模型微调的模型；
3.根据权利要求1-2任一所述的一种具身智能机器人的通用系统，其特征在于：所述核心神经网络中的大语言模型、记忆模型、多模态感知模型和运动控制模型采用混合专家方法MOE相结合，核心神经网络的输出E(x)G(x)是多个专家模型的输出和门控网络模型的加权平均组合，表示为式(1)：
4.根据权利要求3所述的一种具身智能机器人的通用系统，其特征在于：所述门控网络模型采用基于双向长短时记忆网络LSTM、基于Transformer模型的前馈网络、基于知识库的基于规则的匹配网络中的任一种或一种以
5.一种具身智能机器人的通用系统的构建方法，用于构建权利要求1-4任一所述通用系统，其特征在于，包括步骤：
6.根据权利要求5所述的一种具身智能机器人的通用系统的构建方法，其特征在于：所述步骤S1包括以下步骤：
7.根据权利要求6所述的一种具身智能机器人的通用系统的构建方法，其特征在于：所述步骤S2包括以下步骤：
8.根据权利要求7所述的一种具身智能机器人的通用系统的构建方法，其特征在于：所述步骤S4包括以下步骤：
9.一种具身智能机器人的通用系统的应用方法，应用于权利要求1-4任一所述通用系统，其特征在于，包括步骤：
10.一种具身智能机器人，其特征在于：所述具身智能机器人配置如权利要求1-4任一所述的具身智能机器人的通用系统。
...【技术特征摘要】
1.一种具身智能机器人的通用系统，其特征在于：包括配置在机器人上的信息自组织核心神经网络和本体设备，其中，所述信息自组织核心神经网络包括大语言模型、记忆模型、多模态感知模型和运动控制模型，本体设备包括驱动系统、机械系统和传感器系统；
2.根据权利要求1所述的一种具身智能机器人的通用系统，其特征在于：所述大语言模型采用包括gpt系列、llama系列、glm系列、bert系列在内的基于transformer自回归编解码器的神经网络模型，或者基于所述神经网络模型微调的模型；
3.根据权利要求1-2任一所述的一种具身智能机器人的通用系统，其特征在于：所述核心神经网络中的大语言模型、记忆模型、多模态感知模型和运动控制模型采用混合专家方法moe相结合，核心神经网络的输出e(x)g(x)是多个专家模型的输出和门控网络模型的加权平均组合，表示为式(1)：
4.根据权利要求3所述的一种具身智能机器人的通用系统，其特征在于：所述门...
【专利技术属性】
技术研发人员：陈张，张禹，薄康虎，杨顺，范伟飞，张晋博，林欢，程敏，
申请(专利权)人：亿嘉和科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。