基于视觉与触觉融合的精准抓取机器人系统技术方案

本发明专利技术公开了基于视觉与触觉融合的精准抓取机器人系统，涉及机器人技术领域，所述系统包括：传感器信息采集部分，包括：视觉传感器和触觉传感器；机器人状态估计部分，配置用于基于机器人的初始状态向量，对机器人在每个时间步的状态进行估计，得到机器人在每个时间步的状态估计；融合部分，配置用于基于每个时间步的视觉观测矩阵与状态估计进行融合；机器人状态更新部分，配置用于基于视觉预测和触觉预测，更新机器人在每个时间步的状态估计；抓取指令生成部分，配置用于基于每个时间步的更新状态估计，生成抓取指令

【技术实现步骤摘要】
基于视觉与触觉融合的精准抓取机器人系统


[0001]本专利技术涉及机器人
，特别涉及基于视觉与触觉融合的精准抓取机器人系统
。

技术介绍

[0002]在现代工业和自动化应用中，精准抓取机器人系统的研究和开发变得愈发重要
。
这些机器人系统被广泛应用于物流
、
制造业
、
医疗
、
仓储和农业等领域，以实现高效的自动化操作
。
然而，在复杂多变的环境中，机器人要实现精准抓取任务仍然具有挑战性，因为它们需要结合多种感知信息和控制策略，以确保抓取的准确性和鲁棒性
。
在传统的机器人系统中，通常使用单一的传感器或单一的感知模式来执行抓取任务
。
例如，常见的机器视觉系统使用摄像头来感知目标物体的位置和姿态，然后执行抓取操作
。
虽然这些系统在某些应用中表现出色，但它们也存在一些局限性：
[0003]传统机器视觉系统在光照不足
、
物体表面反射性差或物体形状复杂的情况下可能失效
。
它们对环境条件的依赖性较高，因此在复杂的工作环境中表现不佳
。
传统系统通常难以实现高精度抓取，特别是在涉及微小物体
、
脆弱物体或高度精确的任务中
。
抓取位置和力度的控制不足可能导致抓取失败
。
某些抓取任务可能需要多种感知模式的融合，例如视觉
、
触觉和力学信息的联合使用
。<br/>传统系统通常难以有效地融合多模态感知
。
在工业生产线或仓储环境中，机器人需要适应不断变化的物体和工作场景
。
现有技术难以快速适应这些变化，从而限制了机器人的灵活性和效率
。
[0004]因此如何有效地融合视觉
、
触觉和其他感知模式的信息，以提高抓取任务的成功率和稳定性，如何在保持高精度的前提下，实现机器人系统对不同物体和环境的适应性，都是重要问题
。

技术实现思路

[0005]本专利技术的目的是提供基于视觉与触觉融合的精准抓取机器人系统，通过整合多模态感知信息和自适应控制策略，提高了抓取精度
、
稳定性，增强了系统的适应性
、
鲁棒性和智能性
。
[0006]为解决上述技术问题，本专利技术提供基于视觉与触觉融合的精准抓取机器人系统，所述系统包括：传感器信息采集部分，包括：视觉传感器和触觉传感器；所述视觉传感器配置用于采集每个时间步的视觉观测矩阵；所述触觉传感器配置用于采集每个时间步的触觉观测矩阵；机器人状态估计部分，配置用于基于机器人的初始状态向量，对机器人在每个时间步的状态进行估计，得到机器人在每个时间步的状态估计；融合部分，配置用于基于每个时间步的视觉观测矩阵与状态估计进行融合，基于每个时间步的触觉观测矩阵与状态估计进行融合，分别得到视觉预测和触觉预测；机器人状态更新部分，配置用于基于视觉预测和触觉预测，更新机器人在每个时间步的状态估计，得到机器人在每个时间步的更新状态估计；抓取指令生成部分，配置用于基于每个时间步的更新状态估计，生成抓取指令，以控制
机器人完成抓取动作
。
[0007]进一步的，设
t
为时间步；机器人的初始状态向量为
x0；获取初始状态转移矩阵
A0、
初始控制输入矩阵
B0和初始噪声
w0；根据初始状态转移矩阵
A0、
初始控制输入矩阵
B0初始噪声
w0分别对应生成状态转移矩阵
A
t
、
控制输入矩阵
B
t
和过程噪声
w
t
；获取在
t
时间步的控制输入
u
t
；机器人状态估计和预测部分，基于机器人的初始状态向量，对机器人在每个时间步的状态进行估计，得到机器人在每个时间步的状态估计的过程包括：使用状态转移矩阵
A
t
、
控制输入矩阵
B
t
和控制输入
u
t
，以及过程噪声
w
t
对机器人在每个时间步的状态进行估计，得到机器人在每个时间步的状态估计为
x
t+1
：
[0008]x
t+1
＝
A
t
x
t
+B
t
u
t
+w
t
；
[0009]其中，每个时间步的状态估计
x
t
为一个向量，包括每个时间步的位置
P
t
、
速度
V
t
和方向
θ
t
。
[0010]进一步的，设每个时间步的视觉观测矩阵为触觉观测矩阵为融合部分，使用如下公式，基于每个时间步的视觉观测矩阵与状态估计进行融合，得到视觉预测：
[0011][0012]其中，为视觉预测；为视觉噪声；
[0013]融合部分，使用如下公式，基于每个时间步的触觉观测矩阵与状态估计进行融合，得到触觉预测：
[0014][0015]其中，为触觉预测；为触觉噪声
。
[0016]进一步的，机器人状态更新部分，使用如下公式基于视觉预测和触觉预测，更新机器人在每个时间步的状态估计，得到机器人在每个时间步的更新状态估计：
[0017][0018]其中，
x
t∣new
为机器人在每个时间步的更新状态估计；
A
t∣bew
为机器人在每个时间步的更新的状态转移矩阵；
K
t
为增益矩阵
。
[0019]进一步的，所述增益矩阵使用如下公式计算得到：
[0020][0021]其中，为视觉观测矩阵的噪声矩阵；为触觉观测矩阵的噪声矩阵
。
[0022]进一步的，所述机器人在每个时间步的更新的状态转移矩阵使用如下公式计算得到：
[0023][0024]其中，
I
为单位矩阵
。
[0025]进一步的，抓取指令生成部分，基于每个时间步的更新状态估计，生成抓取指令，以控制机器人完成抓取动作的方法包括：初始化一组粒子
每个粒子代表更新状态估计
x
t∣new
对应的每一种抓取指令，计算每一种抓取指令的概率，选择概率最大的抓取指令，控制机器人完成抓取动作；其中
N
是粒子的数量，也对应抓取指令的类别数量
。
[0026]进一步的，计算每一种抓取指令的概率的方法包括：
[0027][0028]其中，为更新状态估计
x
t∣new
对应的抓取指令为的概率...

【技术保护点】

【技术特征摘要】
1.
基于视觉与触觉融合的精准抓取机器人系统，其特征在于，所述系统包括：传感器信息采集部分，包括：视觉传感器和触觉传感器；所述视觉传感器配置用于采集每个时间步的视觉观测矩阵；所述触觉传感器配置用于采集每个时间步的触觉观测矩阵；机器人状态估计部分，配置用于基于机器人的初始状态向量，对机器人在每个时间步的状态进行估计，得到机器人在每个时间步的状态估计；融合部分，配置用于基于每个时间步的视觉观测矩阵与状态估计进行融合，基于每个时间步的触觉观测矩阵与状态估计进行融合，分别得到视觉预测和触觉预测；机器人状态更新部分，配置用于基于视觉预测和触觉预测，更新机器人在每个时间步的状态估计，得到机器人在每个时间步的更新状态估计；抓取指令生成部分，配置用于基于每个时间步的更新状态估计，生成抓取指令，以控制机器人完成抓取动作
。2.
如权利要求1所述的基于视觉与触觉融合的精准抓取机器人系统，其特征在于，设
t
为时间步；机器人的初始状态向量为
x0；获取初始状态转移矩阵
A0、
初始控制输入矩阵
B0和初始噪声
w0；根据初始状态转移矩阵
A0、
初始控制输入矩阵
B0初始噪声
w0分别对应生成状态转移矩阵
At、
控制输入矩阵
B
t
和过程噪声
w
t
；获取在
t
时间步的控制输入
u
t
；机器人状态估计和预测部分，基于机器人的初始状态向量，对机器人在每个时间步的状态进行估计，得到机器人在每个时间步的状态估计的过程包括：使用状态转移矩阵
A
t
、
控制输入矩阵
B
t
和控制输入
u
t
，以及过程噪声
w
t
对机器人在每个时间步的状态进行估计，得到机器人在每个时间步的状态估计为
x
t+1
：
x
t+1
＝
A
t
x
t
+B
t
u
t
+w
t
；其中，每个时间步的状态估计
x
t
为一个向量，包括每个时间步的位置
P
t
、
速度
V
t
和方向
θ
t
。3.
如权利要求2所述的基于视觉与触觉融合的精准抓取机器人系统，其特征在于，设每个时间步的视觉观测矩阵为触觉观测矩阵为融合部分，使用如下公式，基于每个时间步的视觉...

【专利技术属性】
技术研发人员：龚宇瑶，邹应全，谢晓龙，张鹏，
申请(专利权)人：重庆大学，
类型：发明
国别省市：