【技术实现步骤摘要】
本专利技术涉及计算机，具体而言，涉及一种注意力机制下移动相机中判断物体运动状态方法及系统。
技术介绍
1、目前，对于相机安装在一些移动平台上，比如车载人工智能（artificialintelligence，ai），机器智能设备，手持移动设备等，由于平台移动造成相机本身也存在运动，简单的基于静止相机的移动目标检测方法就不再适用。诞生的很多技术方法都是基于传统图像算法的判断检测方法，并且这些基于传统图像算法的方法只能检测出运动目标，并不能直接判断出检测目标的运动状态。
2、基于几何约束的方法通过某一约束关系构建出一个背景模型区分内外点来检测运动目标；基于运动补偿的方法通过对相机产生运动失量进行补偿，使其等效为静止背景的情况后来进行运动目标的检测；基于占用网格的方法利用占用网格的特性进行运动目标检测。在复杂的双向运动场景下，没有办法直接用到单一的目前在智能视觉领域中学习能力最强，泛化能力也最强的深度模型来直接实现目标的检测并进行运动状态的判断。并且这些基于传统图像算法的方案，每一个步骤所用的传统图像算法都会消耗大量的内存和硬件资源；同时因为传统算法的局限性，相比于经过大量数据训练得到的深度学习模型在检测准确度也相差比较大，同时在复杂场景下要么所需传统算法的步骤很复杂和麻烦，要么效果很差，最重要的是只能检测出运动的目标，无法对目标运动状态做精准的判断。现有的有将基于运动补偿的传统光流算法结合进卷积神经网络中的深度学习技术方法，但依然整体繁琐。
技术实现思路
1、本专利技术的目的
2、第一方面，本专利技术实施例提供了一种注意力机制下移动相机中判断物体运动状态方法，包括：
3、获得多张待测图像；所述多张待测图像为移动的摄像设备在连续时间拍摄的按时间顺序排列的多张图像；所述待测图像包含待测目标；
4、基于多张待测图像，通过跟踪算法，跟踪待测目标，得到多个目标跟踪框；一个目标跟踪框对应一张待测图像对应一个待测目标；
5、基于待测图像和目标跟踪框，扩大像素，得到跟踪目标图像；多个目标跟踪框对应获得多个跟踪目标图像；
6、将所述多个跟踪目标图像输入针对分离的时空自注意力模块，得到目标时空特征；所述目标时空特征包含多个跟踪目标图像在连续时间和空间上的特征；
7、将所述目标时空特征输入分类器进行分类，判断待测目标是否运动。
8、可选的，所述将所述多个跟踪目标图像输入针对分离的时空自注意力模块，得到目标时空特征，包括：
9、基于跟踪目标图像，得到分块编号图像；多个跟踪目标图像对应获得多个分块编号图像；一个分块编号图像包括9个分块，每个分块对应一个编号；
10、基于所述多个分块编号图像，通过针对分离的时空自注意力模块，进行时间维度的自注意，得到多个目标时间特征；一个编号对应一个目标时间特征；
11、根据所述目标时间特征，更新针对分离的时空自注意力模块的参数；
12、基于所述多个分块编号图像，通过更新的针对分离的时空自注意力模块，进行空间维度的自注意，得到多个目标空间特征；一个分块编号图像对应一个目标空间特征；
13、基于所述多个目标时间特征和多个目标空间特征，通过权重矩阵进行编码，得到时空特征。
14、可选的，所述基于所述多个分块编号图像，通过针对分离的时空自注意力模块，进行时间维度的自注意，得到多个目标时间特征，包括：
15、将多个分块编号图像中相同编号的分块输入针对分离的时空自注意力模块，得到目标时间特征；多个编号对应获得多个目标时间特征。
16、可选的，基于所述多个分块编号图像，通过更新的针对分离的时空自注意力模块，进行空间维度的自注意，得到多个目标空间特征，包括：
17、将分块编号图像中的9个分块输入更新的针对分离的时空自注意力模块，进行空间维度的自注意，得到目标空间特征；
18、多个分块编号图像对应获得多个目标空间特征。
19、可选的，所述基于跟踪目标图像，得到分块编号图像，包括：
20、将所述跟踪目标图像竖直进行三等分，水平进行三等分，平均分为9个分块，得到分块图像；多个跟踪目标图像对应获得多个分块图像；
21、将分块图像中每个分块进行编号，得到分块编号图像；所述分块编号图像包含9个编号，多个分块图像中的相同位置的分块的编号相同。
22、可选的，所述基于待测图像和目标跟踪框，扩大像素，得到跟踪目标图像，包括：
23、将待测图像中目标跟踪框内的图像进行提取，得到第一图像；
24、将第一图像进行像素扩张，固定像素大小，得到跟踪目标图像。
25、可选的，训练过程中，采用训练集训练针对分离的时空自注意力模块和分类器，得到训练好的时空自注意力模块和训练好的分类器。
26、可选的，其特征在于，所述训练集包括多张训练图像和对应的多个标注数据；
27、所述训练图像表示对目标识别跟踪后，只包含目标所在位置的图像；
28、所述标注数据表示运动状态；所述运动状态为运动或静止。
29、可选的，其特征在于，所述多个分块编号图像按时间顺序依次送入针对分离的时空自注意力模块。
30、第二方面，本专利技术实施例提供了一种注意力机制下移动相机中判断物体运动状态系统，包括：
31、车载人工智能设备上部署deepstream框架；
32、所述车载人工智能设备用于执行下述方法：
33、获得多张待测图像；所述多张待测图像为移动的摄像设备在连续时间拍摄的按时间顺序排列的多张图像；所述待测图像包含待测目标；
34、基于多张待测图像，通过跟踪算法，跟踪待测目标，得到多个目标跟踪框；一个目标跟踪框对应一张待测图像对应一个待测目标；
35、基于待测图像和目标跟踪框，扩大像素，得到跟踪目标图像；多个目标跟踪框对应获得多个跟踪目标图像；
36、将所述多个跟踪目标图像输入针对分离的时空自注意力模块，得到目标时空特征；所述目标时空特征包含多个跟踪目标图像在连续时间和空间上的特征；
37、将所述目标时空特征输入分类器进行分类，判断待测目标是否运动。
38、相较于现有技术，本专利技术实施例达到了以下有益效果：
39、本专利技术实施例还提供了一种注意力机制下移动相机中判断物体运动状态方法及系统，所述方法包括：获得多张待测图像；所述多张待测图像为移动的摄像设备在连续时间拍摄的按时间顺序排列的多张图像；所述待测图像包含待测目标； 基于多张待测图像，通过跟踪算法，跟踪待测目标，得到多个目标跟踪框；一个目标跟踪框对应一张待测图像对应一个待测目标；基于待测图像和目标跟踪框，扩大像素，得到跟踪目标图像；多个目标跟踪框对应获得多个跟踪目标图像；将所述多个跟踪目标图像输入针本文档来自技高网...
【技术保护点】
1.一种注意力机制下移动相机中判断物体运动状态方法，其特征在于，包括：
2.根据权利要求1所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，所述将所述多个跟踪目标图像输入针对分离的时空自注意力模块，得到目标时空特征，包括：
3.根据权利要求2所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，所述基于所述多个分块编号图像，通过针对分离的时空自注意力模块，进行时间维度的自注意，得到多个目标时间特征，包括：
4.根据权利要求2所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，基于所述多个分块编号图像，通过更新的针对分离的时空自注意力模块，进行空间维度的自注意，得到多个目标空间特征，包括：
5.根据权利要求2所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，所述基于跟踪目标图像，得到分块编号图像，包括：
6.根据权利要求1所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，所述基于待测图像和目标跟踪框，扩大像素，得到跟踪目标图像，包括：
7.根据权利要求1所述
8.根据权利要求7所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，所述训练集包括多张训练图像和对应的多个标注数据；
9.根据权利要求2所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，多个分块编号图像按时间顺序依次送入针对分离的时空自注意力模块。
10.一种注意力机制下移动相机中判断物体运动状态系统，其特征在于，车载人工智能设备上部署deepstream框架；
...【技术特征摘要】
1.一种注意力机制下移动相机中判断物体运动状态方法，其特征在于，包括：
2.根据权利要求1所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，所述将所述多个跟踪目标图像输入针对分离的时空自注意力模块，得到目标时空特征，包括：
3.根据权利要求2所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，所述基于所述多个分块编号图像，通过针对分离的时空自注意力模块，进行时间维度的自注意，得到多个目标时间特征，包括：
4.根据权利要求2所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，基于所述多个分块编号图像，通过更新的针对分离的时空自注意力模块，进行空间维度的自注意，得到多个目标空间特征，包括：
5.根据权利要求2所述的注意力机制下移动相机中判断物体运动状态方法，其特征在于，所述基于跟踪目标图像，得到分块编号图像，...
【专利技术属性】
技术研发人员：叶洪麟，李骥东，鲜斌，
申请(专利权)人：成都合能创越软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。