【技术实现步骤摘要】
本专利技术涉及位姿估计，具体涉及一种室内物品飞行搬运机器人的位姿估计方法及设备。
技术介绍
1、飞行机器人是一种特殊的智能空中机器人，它可以按照预先规划好的路径自主飞行，或者根据无线指令做出相应的飞行动作而不需要机载飞行人员来控制飞行机器人的姿态，其飞行姿态是利用微处理器将相应的指令动作转换为pwm电信号从而驱动旋转电机，改变相应电机的转速实现的；与常规的机器人相比，飞行机器人体积更小，机动性能更灵活，飞行区域更广泛，尤其是在危险区域，恶劣环境下依然能够正常作业；在民用领域，无人飞行器可以进行室内巡检、物品搬运、定位导航等工作，因此逐渐成为现在的研究热点。为了实现室内物品飞行搬运机器人的智能飞行，对于飞行机器人的自身位姿估计是室内搬运应用领域的基础和关键保障；它与地面机器人不同，常见的地面机器人只有两个自由度的位置估计，即使考虑到地面存在起伏不平的情况，地面机器人也只需要对三个自由度进行估计即可，且它的高度范围在一定的约束条件内，而飞行机器人的位姿估计，包括六个自由度，即三个自由度的位置估计和三个自由度的方向估计。由于飞行机器人是一个具有高机动性能的物体，对其六个自由度的位姿估计是一个很繁杂的问题，为了保证飞行机器人解算出的姿态信息较为准确，在飞行器装备了各种各样的先进设备，如全球卫星定位系统、高度计、速度计、惯性测量单元、高清摄像机、激光探测设备、雷达扫描设备等。
2、目前研究人员对于飞行机器人位姿估计的研究层出不穷，从不同的角度研究飞行机器人的位姿估计方法，如：申请号为cn202310488557.3的专利中公开
3、但现阶段提出的位姿估计方法并不能很好的应用于室内物品飞行搬运机器人，主要原因为：室内物品飞行搬运机器人姿态控制系统在室内gps信号丢失的情况下会出现稳定性较差，定位精度不高等问题和难点；在室内物品飞行搬运机器人进行物品放置或物品取走的瞬间，由于在机身上加载或者卸掉了物品会导致姿态变形，仅靠飞行机器人自身的姿态控制系统难以保证飞行姿态、位置信息的高精度与稳定性。
技术实现思路
1、本专利技术提供的方法提高室内物品飞行搬运机器人在物品放置/取走物品时位姿估计的准确性。
2、第一方面，本专利技术一实施例中提供一种室内物品飞行搬运机器人的位姿估计方法,包括：获取第一图像帧和第二图像帧，所述第一图像帧为所述室内物品飞行搬运机器人在物品放置前/取走物品前的图像帧，所述第二图像帧为所述室内物品飞行搬运机器人在物品放置后/取走物品后的图像帧；根据所述第一图像帧和所述第二图像帧，基于预先构建的卷积神经网络进行所述室内物品飞行搬运机器人的位姿估计，得到所述室内物品飞行搬运机器人在物品放置/取走物品时的实际位姿，所述卷积神经网络的输出通道中集成了至少三个多模态先验信息，所述三个多模态先验信息分别对应于预设的初始时刻、物品放置时刻和物品取走时刻。
3、一些实施例中，在所述卷积神经网络的输出通道中集成所述多模态先验信息之前，基于所述卷积神经网络对多模态先验信息进行不确定性估计；所述基于所述卷积神经网络对多模态先验信息进行不确定性估计，包括：获取所述多模态先验信息；通过所述卷积神经网络从所述多模态先验信息中提取不确定估计的对象，所述不确定估计的对象包括所述室内物品飞行搬运机器人的姿态和图像的空间特征中的至少一种；对所述不确定估计的对象进行不确定性估计。
4、一些实施例中，所述卷积神经网络的输出通道可通过以下方式表示：其中，p1为对应于所述初始时刻的多模态先验信息，p2为对应于物品放置时刻的多模态先验信息，p3为对应于物品取走时刻的多模态先验信息，p为所述卷积神经网络的输出通道。
5、一些实施例中，所述多模态先验信息的获取方法包括：所述多模态先验信息的获取方法包括：将预先采集的rgb图像帧进行矩阵转换得到所述rgb信息，所述rgb信息被表示为13×13的矩阵，所述rgb图像为初始时刻的图像帧/物品放置时刻的图像帧/物品取走时刻的图像帧；将初始时刻/物品放置时刻/物品取走时刻的多种模态的先验信息分别转换为对应的位姿矩阵，所述多种模态至少包括rgb图像信息和文字，所述位姿矩阵为13×13的矩阵；将一个时刻的所述rgb信息与该时刻的每一个所述位姿矩阵进行融合，得到该时刻下每一种所述模态对应的融合后的先验信息；选取所述融合后的先验信息中的最小值作为该时刻的先验结果信息；获取所述室内物品飞行搬运机器人在初始时刻前/物品放置前/取走物品前的图像帧；基于所述卷积神经网络对所述初始时刻前/物品放置前/取走物品前的图像帧进行透视变换，得到透视变换后图像帧；将所述透视变换后图像帧转换为透视变换矩阵；根据所述rgb信息、所述先验结果信息和所述透视变换矩阵，得到该时刻的所述多模态先验信息。
6、一些实施例中，所述多模态先验信息可通过以下方式表示：其中，m为所述透视变换后图像帧，nrgb为所述rgb信息，nprior为所述先验结果信息，p为所述多模态先验信息。
7、一些实施例中，所述基于预先构建的卷积神经网络进行所述室内物品飞行搬运机器人的位姿估计，包括：基于所述卷积神经网络，以所述第一图像帧和所述第二图像帧之间的任一特征点的位置平方和为目标函数构建最小二乘模型；根据所述最小二乘模型，进行所述室内物品飞行搬运机器人的位姿估计，得到旋转矩阵和平移矩阵，所述平移矩阵用于描述在三维空间中所述室内物品飞行搬运机器人的平移变换，所述旋转矩阵用于描述在三维空间中所述室内物品飞行搬运机器人的角度变换；根据所述平移矩阵，得到平移系数；根据所述平移系数、所述旋转矩阵和预设的姿态样本集，预测出所述室内物品飞行搬运机器人的实际位姿。
8、一些实施例中，所述最小二乘模型可通过以下方式表示：其中，r为所述旋转矩阵，t为所述平移矩阵，r1为所述室内物品飞行搬运机器人在物品放置前/取走物品前的旋转矩阵，t1为所述室内物品飞行搬运机器人在物品放置前/取走物品前的平移矩阵，为基于所述卷积神经网络的输出通道所生成的初始位姿，p为所述多模态先验信息。
9、一些实施例中，该方法还包括：对所述实际位姿进行优化，得到优化后的位姿。
10、第二方面，本专利技术另一实施例中提供一种室内物品飞行搬运机器人的位姿估计设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现本文档来自技高网...
【技术保护点】
1.一种室内物品飞行搬运机器人的位姿估计方法,其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，在所述卷积神经网络的输出通道中集成所述多模态先验信息之前，基于所述卷积神经网络对多模态先验信息进行不确定性估计；所述基于所述卷积神经网络对多模态先验信息进行不确定性估计，包括：
3.如权利要求2所述的方法，其特征在于，所述卷积神经网络的输出通道可通过以下方式表示：
4.如权利要求1所述的方法，其特征在于，所述多模态先验信息的获取方法包括：
5.如权利要求4所述的方法，其特征在于，所述多模态先验信息可通过以下方式表示：
6.如权利要求1所述的方法，其特征在于，所述基于预先构建的卷积神经网络进行所述室内物品飞行搬运机器人的位姿估计，包括：
7.如权利要求6所述的方法，其特征在于，所述最小二乘模型可通过以下方式表示：
8.如权利要求1所述的方法，其特征在于，该方法还包括：对所述实际位姿进行优化，得到优化后的位姿。
9.一种室内物品飞行搬运机器人的位姿估计设备，其特征在于，包括：存储器、处
10.一种计算机存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-8任一项所述的方法。
...【技术特征摘要】
1.一种室内物品飞行搬运机器人的位姿估计方法,其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，在所述卷积神经网络的输出通道中集成所述多模态先验信息之前，基于所述卷积神经网络对多模态先验信息进行不确定性估计；所述基于所述卷积神经网络对多模态先验信息进行不确定性估计，包括：
3.如权利要求2所述的方法，其特征在于，所述卷积神经网络的输出通道可通过以下方式表示：
4.如权利要求1所述的方法，其特征在于，所述多模态先验信息的获取方法包括：
5.如权利要求4所述的方法，其特征在于，所述多模态先验信息可通过以下方式表示：
6.如权利要求1所述的方法，其特...
【专利技术属性】
技术研发人员：林必毅，任晓波，王志敏，
申请(专利权)人：深圳市华赛睿飞智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。