一种基于人工智能机器视觉目标定位的编队控制方法技术

本发明专利技术属于机器视觉目标编队控制领域，具体涉及一种基于人工智能机器视觉目标定位的编队控制方法。本发明专利技术包括：(1)检测待定位目标，采集目标图像，将采集出的目标图像为样板图像，设样板图像帧作为视频序列的第一帧；(2)采用全卷积网络的孪生网络对样板图像和视频序列进行特征提取；(3)通过候选网络的分类支路和回归支路对提取的特征进行分类回归等。本方法通过人工智能连续定位迫切需求，同时提出基于相似度的评价机制，以判别继续定位的必要性，有效地缩小复杂情况下目标定位的范围，同时控制系统内的单体需要依赖感知交互和惯性信息在复杂城市环境下实现单体集群控制，有效降低了控制的复杂程度，降低了人工智能系统的计算量。计算量。计算量。

【技术实现步骤摘要】
一种基于人工智能机器视觉目标定位的编队控制方法


[0001]本专利技术属于机器视觉目标编队控制领域，具体涉及一种基于人工智能机器视觉目标定位的编队控制方法。

技术介绍

[0002]随着国家基础设施建设水平的快速发展，复杂场景对跟踪定位的要求连续提高，人工智能的跟踪定位技术也随之长足发展。目标定位是人工智能机器视觉的重要组成部分，该技术是指利用视频、图像的逻辑信息，对目标的轨迹和轮廓特征信息进行建模，从而对目标定位进行预测和跟踪。随着人工智能机器深度学习在图像和目标检测中的系统化使用，大量使用在目标定位方法中。但是由于图像清晰度、对比度差、背景复杂度等因素，都不利于图像的高清处理，影响了图像特征的提取精度，提升目标定位的难度。所以在此领域为科研人员提出了如何进一步减低计算成本，提升定位精度和鲁棒性的技术问题。

技术实现思路

[0003]本专利技术的目的是为了提供一种基于人工智能机器视觉目标定位的编队控制方法。
[0004]本专利技术的目的是这样实现的：
[0005]一种基于人工智能机器视觉目标定位的编队控制方法，包括如下步骤：
[0006](1)检测待定位目标，采集目标图像，将采集出的目标图像为样板图像，设样板图像帧作为视频序列的第一帧；
[0007](2)采用全卷积网络的孪生网络对样板图像和视频序列进行特征提取；
[0008](3)通过候选网络的分类支路和回归支路对提取的特征进行分类回归；
[0009](4)计算每帧视频序列的定位边界框相似度，根据定位边界框相似度进行排名，通过非极大值抑制得到每帧视频序列最后的定位边界框，如果每一帧视频序列最后的定位边界框的值都大于边界框阈值参数，则判定为定位成功，继续执行步骤(5)；如果每一帧视频序列最后的定位边界框的值中至少有一个小于等于定位边界框阈值，则判定为定位不成功，重新执行步骤(3)；
[0010](5)检测视频序列的编号第G
‑
a帧、第G
‑
a+1帧、
…
、第G帧的视频序列中相邻两帧的定位边界框，判断定位边界框的几何中心点在xy坐标系下的平均位移变化，预测第G+1帧视频序列相对于第G帧视频序列的移动方向，以第G帧视频序列定位边界框的几何中心点坐标为中心进行放大，形成放大到视频序列的图像尺寸的图，第G帧视频序列图像和大后的图的重叠部分，判定为第G+1帧视频序列的图像的目标定位范围。
[0011](6)单体根据目标定位范围通过应力约束建立拓扑通信；
[0012](7)人工智能系统根据单体参数测算编队泛型整体刚性；
[0013](8)人工智能系统通过拓普通信和编队泛型整体刚性建立期望队形并确定控制目标；
[0014](9)人工智能系统进行仿射单体集的控制；
[0015](10)人工智能系统验证单体集运动稳定性。
[0016]所述的孪生网络分为样板支路和检测支路，两个支路的权重参数相同；其中样板支路接收样板图像，输入标记为m；检测支路接收检测序列当前帧的图像，输入标记为k；样板图像和检测序列经过孪生网络后得到孪生网络特征输出为样板图像孪生网络特征输出ι(m)和检测序列孪生网络特征输出ι(k)。
[0017]所述的步骤(3)具体包括如下步骤：
[0018](3.1)采用FAST
‑
RCNN的损失函数对候选网络进行训练，分类支路的损失函数采用交叉熵损失函数，回归支路的损失函数采用回归损失函数smooth L1 loss；
[0019](3.1.1)确认候选网络中锚箱的中心点坐标(N
x
,N
y
)、宽N
w
和高N
h
；
[0020](3.1.2)确认实际定位边界框的中心点坐标(G
x
,G
y
)、高G
h
和宽G
w
；
[0021](3.1.3)计算锚箱与定位边界框的标准化距离：
[0022][0023][0024][0025][0026](3.1.4)构建smooth L1 loss函数：
[0027][0028]v∈[0,1,2,3]；
[0029]ζ为边界框阈值；
[0030](3.1.5)回归支路的损失函数为：
[0031][0032](3.2)通过训练后的候选网络的两个卷积层将ι(m)扩展为样板图像孪生网络特征输出分类分支ι(m)
cls
和样板图像孪生网络特征输出回归分支ι(m)
reg
；
[0033](3.3)通过训练后的候选网络的两个卷积层将ι(k)扩展为检测序列孪生网络特征输出分类分支ι(k)
cls
和检测序列孪生网络特征输出回归分支ι(k)
reg
；
[0034](3.4)确认分类支路的通道向量个数为2X，确认回归支路的通道向量个数为4X；
[0035](3.5)对分类支路进行卷积运算，运算结果为：
[0036][0037](3.6)对回归支路进行卷积运算，运算结果为：
[0038][0039]所述步骤(4)具体包括：
[0040](4.1)计算当前视频序列最后的定位边界框的高宽比e'，以及上一帧视频序列最后的定位边界框的高宽比e"，确认当前视频序列最后的定位边界框的面积尺寸f和上一帧视频序列最后的定位边界框的面积尺寸f"；
[0041]f2＝(G
h
+c)(G
w
+c)；
[0042][0043](4.2)计算惩罚函数：
[0044][0045](4.3)计算分类支路评价值：
[0046][0047](4.4)计算定位边界框相似度pscore：
[0048]pscore＝penalty
×
score。
[0049]所述的步骤(5)包括：
[0050]以定位边界框的左上角为原点建立xy坐标轴，记录从第G
‑
a帧开始相邻两帧的定位边界框的几何中心点坐标沿x轴方向的位移变化Δx
g
＝[Δx1,Δx
a
]，g∈[1,a]，沿y轴方向位移变化分别为Δy
g
＝[Δy1,Δy
a
]，g∈[1,a]，计算x轴方向和y轴方向的平均位移变化：
[0051]x轴方向平均位移变化为：
[0052][0053]y轴方向平均位移变化为：
[0054][0055]arg指的是复数的辐角主值；
[0056]当x
p
>0，预测第G+1帧位置是x轴正方向；否则，预测第G+1帧位置是x轴负方向；
[0057]当x
p
>0，预测第G+1帧位置是y轴正方向；否则，预测第G+1帧位置是y轴负方向；
[0058]然后以第G帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能机器视觉目标定位的编队控制方法，其特征在于，包括如下步骤：(1)检测待定位目标，采集目标图像，将采集出的目标图像为样板图像，设样板图像帧作为视频序列的第一帧；(2)采用全卷积网络的孪生网络对样板图像和视频序列进行特征提取；(3)通过候选网络的分类支路和回归支路对提取的特征进行分类回归；(4)计算每帧视频序列的定位边界框相似度，根据定位边界框相似度进行排名，通过非极大值抑制得到每帧视频序列最后的定位边界框，如果每一帧视频序列最后的定位边界框的值都大于边界框阈值参数，则判定为定位成功，继续执行步骤(5)；如果每一帧视频序列最后的定位边界框的值中至少有一个小于等于定位边界框阈值，则判定为定位不成功，重新执行步骤(3)；(5)检测视频序列的编号第G
‑
a帧、第G
‑
a+1帧、
…
、第G帧的视频序列中相邻两帧的定位边界框，判断定位边界框的几何中心点在xy坐标系下的平均位移变化，预测第G+1帧视频序列相对于第G帧视频序列的移动方向，以第G帧视频序列定位边界框的几何中心点坐标为中心进行放大，形成放大到视频序列的图像尺寸的图，第G帧视频序列图像和大后的图的重叠部分，判定为第G+1帧视频序列的图像的目标定位范围。(6)单体根据目标定位范围通过应力约束建立拓扑通信；(7)人工智能系统根据单体参数测算编队泛型整体刚性；(8)人工智能系统通过拓普通信和编队泛型整体刚性建立期望队形并确定控制目标；(9)人工智能系统进行仿射单体集的控制；(10)人工智能系统验证单体集运动稳定性。2.根据权利要求1所述的一种基于人工智能机器视觉目标定位的编队控制方法，其特征在于：所述的孪生网络分为样板支路和检测支路，两个支路的权重参数相同；其中样板支路接收样板图像，输入标记为m；检测支路接收检测序列当前帧的图像，输入标记为k；样板图像和检测序列经过孪生网络后得到孪生网络特征输出为样板图像孪生网络特征输出ι(m)和检测序列孪生网络特征输出ι(k)。3.根据权利要求1所述的一种基于人工智能机器视觉目标定位的编队控制方法，其特征在于：所述的步骤(3)具体包括如下步骤：(3.1)采用FAST
‑
RCNN的损失函数对候选网络进行训练，分类支路的损失函数采用交叉熵损失函数，回归支路的损失函数采用回归损失函数smooth L1 loss；(3.2)通过训练后的候选网络的两个卷积层将ι(m)扩展为样板图像孪生网络特征输出分类分支ι(m)
cls
和样板图像孪生网络特征输出回归分支ι(m)
reg
；(3.3)通过训练后的候选网络的两个卷积层将ι(k)扩展为检测序列孪生网络特征输出分类分支ι(k)
cls
和检测序列孪生网络特征输出回归分支ι(k)
reg
；(3.4)确认分类支路的通道向量个数为2X，确认回归支路的通道向量个数为4X；(3.5)对分类支路进行卷积运算，运算结果为：(3.6)对回归支路进行卷积运算，运算结果为：
4.根据权利要求1所述的一种基于人工智能机器视觉目标定位的编队控制方法，其特征在于，所述步骤(4)具体包括：(4.1)计算当前视频序列最后的定位边界框的高宽比e'，以及上一帧视频序列最后的定位边界框的高宽比e"，确认当前视频序列最后的定位边界框的面积尺寸f和上一帧视频序列最后的定位边界框的面积尺寸f"；f2＝(G
h
+c)(G
w
+c)；(4.2)计算惩罚函数：(4.3)计算分类支路评价值：(4.4)计算定位边界框相似度pscore：pscore＝penalty
×
score。5.根据权利要求1所述的一种基于人工智能机器视觉目标定位的编队控制方法，其特征在于，所述的步骤(5)包括：以定位边界框的左上角为原点建立xy坐标轴，记录从第G
‑
a帧开始相邻两帧的定位边界框的几何中心点坐标沿x轴方向的位移变化Δx
g
＝[Δx1,Δx
a
]，g∈[1,a]，沿y轴方向位移变化分别为Δy
g
＝[Δy1,Δy
a
]，g∈[1,a]，计算x轴方向和y轴方向的平均位移变化：x轴方向平均位移变化为：y轴方向平均位移变化为：arg指的是复数的辐角主值；当x
p
>0，预测第G+1帧位置是x轴正方向；否则，预测第G+1帧位置是x轴负方向；当x
p
>0，预测第G+1帧位置是y轴正方向；否则，预测第G+1帧位置是y轴负方向；然后以第G帧对应定位边界框的几何中心点坐标为中心向外扩充为第G帧图像大小，第G帧图像和扩充后的图像的重叠部分为第G+1帧目标定位范围6.根据权利要求1所述的一种基于人工智能机器视觉目标定位的编队控制方法，其特征在于，所述步骤(6)具体包括：(6.1)人工智能系统采集单体标号i以及单体在随体坐标系下的运动方向λ
i
；建立方向矩阵：
(6.2)人工智能系统建立单体旋转矩阵：(6.3)人工智能系统采集单体线速度υ
i
、角速度ω
i
，构建在随体坐标系下的单体速度向量：υ
i
＝col(υ
i
,ω
i
)；col代表列向量；(6.4)人工智能系统测量单体在随体坐标系下的位置向量C
i
＝col(x
i
...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：