【技术实现步骤摘要】
本专利技术涉及机器人状态预测，尤其涉及一种机器人状态预测方法、装置、电子设备及存储介质。
技术介绍
1、遥操作机器人广泛应用于空间站机械臂、深海探测器机械手等领域。但由于通信延迟的影响，使得操作员很难准确判断机器人末端的实时位置和姿态。为实现高精度的遥操作控制，研究机器人状态的预测方法显得尤为重要。
2、当前的预测方法主要包括基于模型的方法、基于仿真的方法等。基于模型的方法如卡尔曼滤波预测法，可以建立机器人系统的运动学模型，并利用递归算法预测机器人的未来状态。但该方法难以处理机器人运动的非线性特性。基于仿真的方法通过构建机器人及环境的虚拟模型来模拟机器人的运动过程，但其预测精度受模型细节和计算资源的限制。
3、近年来，基于深度学习的视频预测方法获得了长足发展，已应用于机器人运动预测。这些方法利用卷积神经网络或循环神经网络学习输入图像序列的时空特征，以生成未来的图像帧。但现有方法存在训练过程中易受噪声影响、预测帧图模糊等问题。此外，直接预测图像帧无法准确反映机器人运动学状态。
技术实现思路
1、本专利技术提供一种机器人状态预测方法、装置、电子设备及存储介质，用以解决现有技术中存在训练过程中易受噪声影响、预测帧图模糊等问题，并且，直接预测图像帧无法准确反映机器人运动学状态的缺陷。
2、本专利技术提供一种机器人状态预测方法，包括：
3、识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；
4、以所述遥操作视频的图像帧中所
5、对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
6、根据本专利技术提供的一种机器人状态预测方法，所述机器人状态预测模型的训练步骤，包括：
7、确定初始机器人状态预测模型，并获取机器臂的样本动态图的未来帧、所述样本动态图的历史帧，以及所述机器臂的实际轨迹；所述初始机器人状态预测模型包括第一关键点提取模块、第二关键点提取模块和融合模块；
8、将所述样本动态图的未来帧输入至所述第一关键点提取模块中进行关键点信息提取，得到所述第一关键点提取模块输出的第一潜变量分布；
9、将所述第一潜变量分布和所述样本动态图的历史帧输入至所述融合模块中进行机器人的轨迹预测，得到预测轨迹结果；
10、基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，并基于所述目标损失函数值对所述初始机器人状态预测模型进行参数迭代，得到所述机器人状态预测模型。
11、根据本专利技术提供的一种机器人状态预测方法，所述基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，包括：
12、将所述样本动态图的历史帧输入至所述第二关键点提取模块中进行关键点信息提取，得到所述第二关键点提取模块输出的第二潜变量分布；
13、基于所述第一潜变量分布和所述第二潜变量分布之间的差异，确定潜在变量分布损失；
14、基于所述实际轨迹和所述预测轨迹结果之间的差异，确定重建损失；
15、基于所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定对抗损失；
16、基于所述潜在变量分布损失、所述重建损失和所述对抗损失，确定所述目标损失函数值。
17、根据本专利技术提供的一种机器人状态预测方法，所述将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹，之后还包括：
18、基于所述预测轨迹，重建所述机器人在预测时刻的物理模型；
19、将所述物理模型中的机器臂位置与所述遥操作视频中的机器臂位置进行对齐，得到修正后的遥操作视频。
20、根据本专利技术提供的一种机器人状态预测方法，所述机器人状态预测模型基于双层长短期记忆网络构建。
21、根据本专利技术提供的一种机器人状态预测方法，所述识别遥操作视频中机器人的机器臂，包括：
22、基于yolov8算法和yolov5算法中的任意一种，识别所述遥操作视频中机器人的机器臂。
23、根据本专利技术提供的一种机器人状态预测方法，所述确定所述机器臂的关节位置，包括：
24、基于openpose和hourglass network中的任意一种，确定所述机器臂的关节位置。
25、本专利技术还提供一种机器人状态预测装置，包括：
26、识别单元，用于识别遥操作视频中机器人的机器臂，并确定所述机器臂的关节位置；
27、构建单元，用于以所述遥操作视频的图像帧中所述机器臂的关节位置作为节点，以所述机器臂的关节位置之间的关系作为节点间的边构建时间图结构；
28、预测轨迹单元，用于对所述时间图结构进行卷积，得到所述机器臂的动态图，并将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹。
29、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述机器人状态预测方法。
30、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述机器人状态预测方法。
31、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述机器人状态预测方法。
32、本专利技术提供的机器人状态预测方法、装置、电子设备及存储介质，识别遥操作视频中机器人的机器臂，并确定机器臂的关节位置，再以遥操作视频的图像帧中机器臂的关节位置作为节点，以机器臂的关节位置之间的关系作为节点间的边构建时间图结构，最后，对时间图结构进行卷积，得到机器臂的动态图，并将机器臂的动态图输入至机器人状态预测模型中，得到机器人状态预测模型输出的所述机器人的预测轨迹。此过程对机器人各关节进行定位和识别，并使用遮挡感知时序图编码构建一个时间图结构，聚合每个节点的邻域信息并更新节点特征，且机器臂的动态图利用时间相关性，捕获了机器人关节位置的变化，减轻了关节遮挡并减少了预测误差，从而提高了后续机器人状态预测的准确性和可靠性。
本文档来自技高网...【技术保护点】
1.一种机器人状态预测方法，其特征在于，包括：
2.根据权利要求1所述的机器人状态预测方法，其特征在于，所述机器人状态预测模型的训练步骤，包括：
3.根据权利要求2所述的机器人状态预测方法，其特征在于，所述基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，包括：
4.根据权利要求1所述的机器人状态预测方法，其特征在于，所述将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹，之后还包括：
5.根据权利要求1至4中任一项所述的机器人状态预测方法，其特征在于，所述机器人状态预测模型基于双层长短期记忆网络构建。
6.根据权利要求1至4中任一项所述的机器人状态预测方法，其特征在于，所述识别遥操作视频中机器人的机器臂，包括：
7.根据权利要求1至4中任一项所述的机器人状态预测方法，其特征在于，所述确定所述机器臂的关节位置，包括：
8.一种机器人状态预测装置，其特征在于，包括：
9
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述机器人状态预测方法。
...【技术特征摘要】
1.一种机器人状态预测方法，其特征在于，包括：
2.根据权利要求1所述的机器人状态预测方法，其特征在于，所述机器人状态预测模型的训练步骤，包括：
3.根据权利要求2所述的机器人状态预测方法，其特征在于，所述基于所述实际轨迹和所述预测轨迹结果之间的差异、所述第一潜变量分布和所述样本动态图的未来帧之间的差异，确定目标损失函数值，包括：
4.根据权利要求1所述的机器人状态预测方法，其特征在于，所述将所述机器臂的动态图输入至机器人状态预测模型中，得到所述机器人状态预测模型输出的所述机器人的预测轨迹，之后还包括：
5.根据权利要求1至4中任一项所述的机器人状态预测方法，其特征在于，所述机器人状态预测模型基于双层长短期记忆...
【专利技术属性】
技术研发人员：苏建华，曲潇逸，刘智勇，乔红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。