基于追踪相机的目标行为追踪方法及系统技术方案

本发明专利技术涉及行为追踪技术领域，公开了一种基于追踪相机的目标行为追踪方法及系统，用于通过追踪相机提高对机械臂的行为追踪准确率。方法包括：对目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；对多个第一机械臂移动特征和多个初始机械臂特征进行向量映射，得到初始行为状态向量；将初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；对目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据观测位姿图像数据和观测机械臂位置坐标创建目标行为状态向量；根据预测行为状态向量和目标行为状态向量进行移动位姿参数补偿分析，得到目标参数补偿集合。得到目标参数补偿集合。得到目标参数补偿集合。

【技术实现步骤摘要】
基于追踪相机的目标行为追踪方法及系统


[0001]本专利技术涉及行为追踪
，尤其涉及一种基于追踪相机的目标行为追踪方法及系统。

技术介绍

[0002]在工业自动化和机器人领域，目标行为追踪是一项重要的任务。通过追踪相机对目标机械臂进行实时观测和分析，可以实现对机械臂行为的监控、控制和预测，进而提高机械臂的自主性、精度和效率。基于追踪相机的目标行为追踪方法能够结合图像处理、模式识别和机器学习等技术，实现对机械臂行为的实时跟踪和分析，具有广泛的应用前景。
[0003]现有方案在处理机械臂行为时存在局限性，无法充分捕捉到机械臂的关键特征，在追踪相机和目标机械臂的位置标定过程中，存在相机参数和机械臂位置的不确定性。这可能导致位置标定的误差，进而影响到目标机械臂的移动检测和行为分析的准确性，即现有方案的准确率低。

技术实现思路

[0004]本专利技术提供了一种基于追踪相机的目标行为追踪方法及系统，用于通过追踪相机提高对机械臂的行为追踪准确率。
[0005]本专利技术第一方面提供了一种基于追踪相机的目标行为追踪方法，所述基于追踪相机的目标行为追踪方法包括：
[0006]通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征；
[0007]对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；<br/>[0008]对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量；
[0009]将所述初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；
[0010]对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量；
[0011]根据所述预测行为状态向量和所述目标行为状态向量，生成所述目标机械臂对应的移动轨迹偏移数据，并根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。
[0012]结合第一方面，在本专利技术第一方面的第一种实现方式中，所述通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行
图像特征提取，得到多个初始机械臂特征，包括：
[0013]通过预置的追踪相机对目标机械臂进行多角度图像采集，得到初始位姿图像数据；
[0014]将所述初始位姿图像数据输入预置的特征提取网络进行位姿特征区域分割，得到多个位姿特征区域图像；
[0015]对所述多个位姿特征区域图像进行特征提取函数匹配，得到每个位姿特征框对应的特征提取函数；
[0016]通过所述特征提取函数和所述特征提取网络，对所述多个位姿特征区域图像进行高维特征提取，得到高维特征信息集合；
[0017]对所述高维特征信息集合进行特征标识映射，得到多个目标特征标识；
[0018]通过所述多个目标特征标识进行特征转换，得到所述目标机械臂的多个初始机械臂特征。
[0019]结合第一方面，在本专利技术第一方面的第二种实现方式中，所述对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征，包括：
[0020]获取所述目标机械臂的初始位姿图像数据所对应的位姿图像坐标，以及获取所述追踪相机的相机内部参数和相机外部参数；
[0021]根据所述相机内部参数和所述相机外部参数对所述追踪相机和所述目标机械臂进行位置标定，并对所述位姿图像坐标进行坐标转换，得到初始机械臂位置坐标；
[0022]根据所述初始机械臂位置坐标，设定所述目标机械臂的多个第一局部特征点，并对所述目标机械臂进行移动检测，得到多个连续移动图像数据；
[0023]分别提取每个连续移动图像数据对应的多个第二局部特征点，并分别计算所述多个第二局部特征点以及所述多个第一局部特征点之间的移动特征，得到多个第一机械臂移动特征。
[0024]结合第一方面，在本专利技术第一方面的第三种实现方式中，所述对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量，包括：
[0025]基于预置的第一特征值映射表，对所述多个第一机械臂移动特征进行特征值映射，得到对应的多个第一特征值；
[0026]对所述多个第一特征值进行向量映射，得到第一特征状态向量，并计算所述多个第一特征值对应的第一平均值，以及根据所述第一平均值设置第一向量权重数据；
[0027]基于预置的第二特征值映射表，对所述多个初始机械臂特征进行特征值映射，得到对应的多个第二特征值；
[0028]对所述多个第二特征值进行向量映射，得到第二特征状态向量，并计算所述多个第二特征值对应的第二平均值，以及根据所述第二平均值设置第二向量权重数据；
[0029]根据所述第一向量权重数据计算所述第一特征状态向量对应的第一加权状态向量，并根据所述第二向量权重数据计算所述第二特征状态向量对应的第二加权状态向量；
[0030]对所述第一加权状态向量和所述第二加权状态向量进行向量融合，得到初始行为状态向量。
[0031]结合第一方面，在本专利技术第一方面的第四种实现方式中，所述将所述初始行为状
态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量，包括：
[0032]将所述初始行为状态向量输入预置的行为状态预测模型，并通过所述行为状态预测模型构建对应的初始评价矩阵，其中，所述行为状态预测模型包括：循环神经网络、状态更新网络以及输出层；
[0033]通过所述循环神经网络对所述初始行为状态向量和所述初始评价矩阵进行行为分析，得到第一行为状态向量和第一评价矩阵；
[0034]对所述第一行为状态向量和所述第一评价矩阵进行补偿和增益计算，得到目标计算结果；
[0035]通过所述状态更新网络，根据所述目标计算结果对所述第一行为状态向量和所述第一评价矩阵进行更新，得到第二行为状态向量和第二评价矩阵；
[0036]通过所述输出层对所述第二行为状态向量和所述第二评价矩阵进行特征整合，得到预测行为状态向量。
[0037]结合第一方面，在本专利技术第一方面的第五种实现方式中，所述对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量，包括：
[0038]对所述目标机械臂进行追踪检测，并对所述目标机械臂进行位姿图像采集，得到观测位姿图像数据；
[0039]根据所述观测位姿图像数据生成所述目标机械臂的观测机械臂位置坐标；
[0040]对所述观测位姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于追踪相机的目标行为追踪方法，其特征在于，所述基于追踪相机的目标行为追踪方法包括：通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征；对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征；对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量；将所述初始行为状态向量输入预置的行为状态预测模型进行行为预测，得到预测行为状态向量；对所述目标机械臂进行追踪检测，得到观测位姿图像数据和观测机械臂位置坐标，并根据所述观测位姿图像数据和所述观测机械臂位置坐标创建对应的目标行为状态向量；根据所述预测行为状态向量和所述目标行为状态向量，生成所述目标机械臂对应的移动轨迹偏移数据，并根据所述移动轨迹偏移数据对所述目标机械臂进行移动位姿参数补偿分析，得到目标参数补偿集合。2.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述通过预置的追踪相机对目标机械臂进行图像采集，得到初始位姿图像数据，并对所述初始位姿图像数据进行图像特征提取，得到多个初始机械臂特征，包括：通过预置的追踪相机对目标机械臂进行多角度图像采集，得到初始位姿图像数据；将所述初始位姿图像数据输入预置的特征提取网络进行位姿特征区域分割，得到多个位姿特征区域图像；对所述多个位姿特征区域图像进行特征提取函数匹配，得到每个位姿特征框对应的特征提取函数；通过所述特征提取函数和所述特征提取网络，对所述多个位姿特征区域图像进行高维特征提取，得到高维特征信息集合；对所述高维特征信息集合进行特征标识映射，得到多个目标特征标识；通过所述多个目标特征标识进行特征转换，得到所述目标机械臂的多个初始机械臂特征。3.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述对所述追踪相机和所述目标机械臂进行位置标定，生成初始机械臂位置坐标，并根据所述初始机械臂位置坐标对所述目标机械臂进行移动检测和特征提取，得到多个第一机械臂移动特征，包括：获取所述目标机械臂的初始位姿图像数据所对应的位姿图像坐标，以及获取所述追踪相机的相机内部参数和相机外部参数；根据所述相机内部参数和所述相机外部参数对所述追踪相机和所述目标机械臂进行位置标定，并对所述位姿图像坐标进行坐标转换，得到初始机械臂位置坐标；根据所述初始机械臂位置坐标，设定所述目标机械臂的多个第一局部特征点，并对所述目标机械臂进行移动检测，得到多个连续移动图像数据；
分别提取每个连续移动图像数据对应的多个第二局部特征点，并分别计算所述多个第二局部特征点以及所述多个第一局部特征点之间的移动特征，得到多个第一机械臂移动特征。4.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述对所述多个第一机械臂移动特征和所述多个初始机械臂特征进行向量映射，得到初始行为状态向量，包括：基于预置的第一特征值映射表，对所述多个第一机械臂移动特征进行特征值映射，得到对应的多个第一特征值；对所述多个第一特征值进行向量映射，得到第一特征状态向量，并计算所述多个第一特征值对应的第一平均值，以及根据所述第一平均值设置第一向量权重数据；基于预置的第二特征值映射表，对所述多个初始机械臂特征进行特征值映射，得到对应的多个第二特征值；对所述多个第二特征值进行向量映射，得到第二特征状态向量，并计算所述多个第二特征值对应的第二平均值，以及根据所述第二平均值设置第二向量权重数据；根据所述第一向量权重数据计算所述第一特征状态向量对应的第一加权状态向量，并根据所述第二向量权重数据计算所述第二特征状态向量对应的第二加权状态向量；对所述第一加权状态向量和所述第二加权状态向量进行向量融合，得到初始行为状态向量。5.根据权利要求1所述的基于追踪相机的目标行为追踪方法，其特征在于，所述将所述初始行为状...

【专利技术属性】
技术研发人员：张雪兵，
申请(专利权)人：深圳优立全息科技有限公司，
类型：发明
国别省市：