基于机器人视觉和触觉融合的数字孪生交互控制系统技术方案

本发明专利技术公开了一种基于机器人视觉和触觉融合的数字孪生交互控制系统，包括：数据采集模块，用于采集视觉图像数据与触觉传感数据；预处理模块，用于进行预处理；多模态感知建模模块，用于执行空间感知建模和触觉状态建模；融合状态向量构建模块，用于生成融合状态向量；数字孪生映射模块，用于构建数字孪生体；仿真交互控制模块，用于执行交互式动作控制，生成控制指令参数组；动作执行与反馈模块，用于控制机器人执行实际动作，并更新融合状态向量；动态评估与自适应调整模块，用于对融合状态向量进行动态优化调整。本发明专利技术融合机器人视觉与触觉信息，构建数字孪生同步控制机制，实现操作响应快、执行精度高与控制过程稳定的交互优化方法。

【技术实现步骤摘要】

本专利技术涉及机器人感知与控制领域，尤其涉及一种基于机器人视觉和触觉融合的数字孪生交互控制系统。

技术介绍

1、本在现有机器人控制技术中，视觉识别与触觉反馈作为两类关键的感知手段，已被广泛应用于复杂操作任务中，传统方法多采用单一模态进行任务驱动，例如通过摄像头获取图像信息识别物体位置，再结合预设路径完成抓取或交互操作，然而，单纯依赖视觉的方式易受遮挡、光照变化等因素干扰，导致识别精度下降，而触觉感知虽然能够补充环境接触信息，但其数据维度复杂、响应局部，难以单独支撑稳定决策，尤其在非结构化环境或细粒度操作中表现出响应滞后和控制精度不足的问题。

2、针对上述问题，部分研究开始尝试将视觉与触觉数据进行融合处理，但多局限于数据层级的简单拼接或决策层的静态融合，未能实现两类感知数据在时间域和语义层的深度协同，此外现有的交互控制方法普遍缺乏与真实机器人状态实时映射的数字孪生机制，使得在用户交互控制过程中无法直观感知仿真反馈与实际响应之间的动态对应关系，难以形成稳定有效的控制闭环。

3、因此，当前缺乏一种融合视觉与触觉多模态感知能力，并结合数字孪本文档来自技高网...

【技术保护点】

1.一种基于机器人视觉和触觉融合的数字孪生交互控制系统，其特征在于，包括：

2.根据权利要求1所述的一种基于机器人视觉和触觉融合的数字孪生交互控制系统，其特征在于，模块之间通过如下方法实现：

3.根据权利要求2所述的一种基于机器人视觉和触觉融合的数字孪生交互控制系统，其特征在于，所述视觉图像数据的格式化预处理包括图像去噪、颜色归一化与空间分辨率统一处理，所述触觉传感数据的格式化预处理包括滤波、幅值归一化和时间戳对齐操作。

4.根据权利要求2所述的一种基于机器人视觉和触觉融合的数字孪生交互控制系统，其特征在于，所述S3包括以下具体步骤：

5....

【技术特征摘要】

1.一种基于机器人视觉和触觉融合的数字孪生交互控制系统，其特征在于，包括：

2.根据权利要求1所述的一种基于机器人视觉和触觉融合的数字孪生交互控制系统，其特征在于，模块之间通过如下方法实现：

3.根据权利要求2所述的一种基于机器人视觉和触觉融合的数字孪生交互控制系统，其特征在于，所述视觉图像数据的格式化预处理包括图像去噪、颜色归一化与空间分辨率统一处理，所述触觉传感数据的格式化预处理包括滤波、幅值归一化和时间戳对齐操作。

4.根据权利要求2所述的一种基于机器人视觉和触觉融合的数字孪生交互控制系统，其特征...

【专利技术属性】
技术研发人员：李文生，
申请(专利权)人：江门源讯文化创意有限公司，
类型：发明
国别省市：