一种极化自注意力调控的情景式视频实例多尺度分割方法技术

本发明专利技术公开了一种极化自注意力调控的情景式视频实例多尺度分割方法，其中，所述方法包括：对第一视频实例分割数据集中的标签文件进行提取，构建第二视频实例分割数据集；将第二视频实例分割数据集按照预定比例划分为训练集和测试集；根据训练集和测试集，配置实验参数和搭建模型环境；基于所述实验参数和所述模型环境，在残差网络中调控嵌入单级式和级联式极化自注意力机制的ResNet50

【技术实现步骤摘要】
一种极化自注意力调控的情景式视频实例多尺度分割方法


[0001]本专利技术涉及视频分割
，尤其涉及一种极化自注意力调控的情景式视频实例多尺度分割方法。

技术介绍

[0002]情景式移动机器人的视觉分割系统是开发智能机器人领域的一项难题。机器人在特定场景下移动时视觉成像系统会受到自身速度、拍摄角度及距离目标拍摄位置远近的影响，加上捕捉的目标对象在运动过程中存在拓扑形变和尺度缩放的随机性，导致后续成像时目标实例边缘模糊、且同一目标尺度大小、形态不一，对后续的分割工作会造成很大的干扰。因此，在不确定因素下的视频序列中如何准确稳定地分割目标个体是情景式机器人视觉系统一个亟待解决的问题。
[0003]然而，智能机器人在特定情景自主移动时捕获的运动目标普遍存在拓扑形变和尺度缩放方面的随机性，现有技术存在对目标高级细粒度特征的有效关注偏低且低级空间信息无法准确定位而导致的分割精度较低问题。

技术实现思路

[0004]本申请通过提供一种极化自注意力调控的情景式视频实例多尺度分割方法，解决了现有技术存在对目标高级细粒度特征的有效关注偏低且低级空间信息无法准确定位而导致的分割精度较低的技术问题，达到通过调控极化自注意力机制的不同嵌入位置和相异嵌入数量分别设计了单级式和级联式调控模型，增强对目标形状多变的适应性和重要区域特征聚焦能力，提升模型的分割性能与掩膜质量，完善了模型对目标实例的定位能力的技术效果。
[0005]鉴于上述问题，本专利技术提供了一种极化自注意力调控的情景式视频实例多尺度分割方法。<br/>[0006]第一方面，本申请提供了一种极化自注意力调控的情景式视频实例多尺度分割方法，所述方法包括：获得第一视频实例分割数据集；对所述第一视频实例分割数据集中的标签文件进行提取，构建适用于情景式的第二视频实例分割数据集；将所述第二视频实例分割数据集按照预定比例划分为训练集和测试集；根据所述训练集和测试集，配置实验参数和搭建模型环境；基于所述实验参数和所述模型环境，在残差网络中调控嵌入单级式和级联式极化自注意力机制的ResNet50
‑
PSA调控模型；构建聚合目标实例多粒度空间信息的多尺度空间定位分支模型；基于所述ResNet50
‑
PSA调控模型和所述多尺度空间定位分支模型，构建情景式视频实例分割模型。
[0007]另一方面，本申请还提供了一种极化自注意力调控的情景式视频实例多尺度分割系统，所述系统包括：第一获得单元，所述第一获得单元用于获得第一视频实例分割数据集；第一构建单元，所述第一构建单元用于对所述第一视频实例分割数据集中的标签文件进行提取，构建适用于情景式的第二视频实例分割数据集；第一划分单元，所述第一划分单
元用于将所述第二视频实例分割数据集按照预定比例划分为训练集和测试集；第一处理单元，所述第一处理单元用于根据所述训练集和测试集，配置实验参数和搭建模型环境；第一调控单元，所述第一调控单元用于基于所述实验参数和所述模型环境，在残差网络中调控嵌入单级式和级联式极化自注意力机制的ResNet50
‑
PSA调控模型；第二构建单元，所述第二构建单元用于构建聚合目标实例多粒度空间信息的多尺度空间定位分支模型；第三构建单元，所述第三构建单元用于基于所述ResNet50
‑
PSA调控模型和所述多尺度空间定位分支模型，构建情景式视频实例分割模型。
[0008]第三方面，本申请提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任意一项所述方法中的步骤。
[0009]第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述方法中的步骤。
[0010]本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0011]由于采用了对第一视频实例分割数据集中的标签文件进行提取，构建适用于情景式的第二视频实例分割数据集，并将第二视频实例分割数据集按照预定比例划分为训练集和测试集，以此配置实验参数和搭建模型环境，在残差网络中调控嵌入单级式和级联式极化自注意力机制的ResNet50
‑
PSA调控模型，然后构建聚合目标实例多粒度空间信息的多尺度空间定位分支模型，最后基于ResNet50
‑
PSA调控模型和多尺度空间定位分支模型，构建情景式视频实例分割模型的技术方案。进而达到通过调控极化自注意力机制的不同嵌入位置和相异嵌入数量分别设计了单级式和级联式调控模型，增强对目标形状多变的适应性和重要区域特征聚焦能力，提升模型的分割性能与掩膜质量，完善了模型对目标实例的定位能力的技术效果。
[0012]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0013]图1为本申请一种极化自注意力调控的情景式视频实例多尺度分割方法的流程示意图；
[0014]图2为本申请实施例一种极化自注意力调控的情景式视频实例多尺度分割模型示意图；
[0015]图3为本申请实施例ResNet50
‑
PSA调控模型结构示意图；
[0016]图4为本申请实施例空间定位分支模型示意图；
[0017]图5为本申请一种极化自注意力调控的情景式视频实例多尺度分割系统的结构示意图；
[0018]图6为本申请示例性电子设备的结构示意图。
[0019]附图标记说明：第一获得单元11，第一构建单元12，第一划分单元13，第一处理单元14，第一调控单元15，第二构建单元16，第三构建单元17，总线1110，处理器1120，收发器
1130，总线接口1140，存储器1150，操作系统1151，应用程序1152和用户接口1160。
具体实施方式
[0020]在本申请的描述中，所属
的技术人员应当知道，本申请可以实现为方法、装置、电子设备及计算机可读存储介质。因此，本申请可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本申请还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。
[0021]上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器、闪存、光纤、光盘只读存储器、光存储器件、磁存储器件或以上任意组合。在本申请中，计算机可读本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种极化自注意力调控的情景式视频实例多尺度分割方法，其特征在于，所述方法包括：获得第一视频实例分割数据集；对所述第一视频实例分割数据集中的标签文件进行提取，构建适用于情景式的第二视频实例分割数据集；将所述第二视频实例分割数据集按照预定比例划分为训练集和测试集；根据所述训练集和测试集，配置实验参数和搭建模型环境；基于所述实验参数和所述模型环境，在残差网络中调控嵌入单级式和级联式极化自注意力机制的ResNet50
‑
PSA调控模型；构建聚合目标实例多粒度空间信息的多尺度空间定位分支模型；基于所述ResNet50
‑
PSA调控模型和所述多尺度空间定位分支模型，构建情景式视频实例分割模型。2.如权利要求1所述的方法，其特征在于，所述方法还包括：获得实验配置信息；对所述第二视频实例分割数据集的前景目标实例进行分析，获得所述前景目标实例的运动特点；基于所述实验配置信息和所述运动特点，对基础模型进行实验环境搭建和实验参数配置。3.如权利要求1所述的方法，其特征在于，所述方法还包括：计算原始残差网络中每个残差块的输出；计算嵌入极化自注意力机制的残差块输出；结合所述残差网络和不同数量的极化自注意力机制设计单级式调控模型；结合所述残差网络和相异位置的极化自注意力机制设计级联式调控模型。4.如权利要求3所述的方法，其特征在于，所述计算原始残差网络中每个残差块的输出的计算公式为：式中，I(C
in
,H
in
,W
in
)为给定任一残差块输入，C
in
，H
in
，W
in
分别为特征图的通道数和高宽大小，Conv(
·
)为卷积操作，n为残差块的序列号，m为当前第n个残差块中对应卷积的输出通道数。5.如权利要求3所述的方法，其特征在于，所述计算嵌入极化自注意力机制的残差块输出的计算公式为：式中，和分别为极化自注意力机制的通道自注意力和空间自注意力。6.如...

【专利技术属性】
技术研发人员：张印辉，黄滢，何自芬，赵崇任，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：