【技术实现步骤摘要】
视频处理方法、电子设备、存储介质及计算机程序产品
[0001]本申请涉及视频处理
，更具体地涉及一种视频处理方法、电子设备、存储介质及计算机程序产品。
技术介绍
[0002]目前在视频处理领域，视频目标检测和视频实例分割等是常用的视频处理技术，下面以视频实例分割为例描述这类视频处理技术所存在的问题。需注意，视频目标检测存在类似的问题，只是视频目标检测主要检测视频中的目标对象，而视频实例分割在检测视频中的目标对象(即实例)的基础上还进一步进行分割。视频实例分割任务往往需要在视频中检测、跟踪并分割出所有实例。所以视频实例分割不仅需要模型具有单帧空间上的实例识别和分割能力，还需要模型能够在视频中联系和持续跟踪实例。
[0003]现有技术中的视频实例分割方法主要包括以下方案：利用针对单帧图像的特征提取网络提取视频中每个视频帧的特征，然后对每个视频帧单独进行实例的检测和分割，得到单帧的结果后，通过相邻帧之间的实例匹配算法，获得整个视频上的实例序列。针对单帧图像的特征提取网络适用于单帧图像的特征提取，但是缺乏对帧与帧之间时...
【技术保护点】
【技术特征摘要】
1.一种视频处理方法，包括：获取待处理视频的多个帧序列各自对应的目标图像特征，所述多个帧序列中的每个帧序列包括一个或多个视频帧，任一帧序列所对应的目标图像特征包含对应帧序列中的一个或多个视频帧分别对应的目标图像特征；对于所述待处理视频中的任一当前帧序列，执行以下帧序列处理操作：基于所述当前帧序列所对应的目标图像特征进行目标检测，获得所述当前帧序列所对应的初始目标检测结果；对所述当前帧序列所对应的初始目标检测结果中的至少部分位置信息进行位置编码，获得第一位置编码特征；获取与所述当前帧序列所对应的初始目标检测结果中的至少部分位置信息相对应的图像嵌入特征；将所述第一位置编码特征与所述图像嵌入特征融合，获得所述当前帧序列所对应的当前查询特征；基于前一帧序列所对应的更新查询特征中的至少部分特征向量以及所述当前查询特征，生成目标查询特征，其中，所述当前查询特征、所述更新查询特征和所述目标查询特征各自包括与至少一个潜在目标对象一一对应的特征向量；基于所述当前帧序列所对应的目标图像特征以及所述目标查询特征进行解码，获得所述当前帧序列所对应的更新查询特征；基于所述当前帧序列所对应的更新查询特征，确定所述当前帧序列所对应的最终目标检测结果；其中，所述初始目标检测结果包括对应帧序列中的每个视频帧中的目标对象的初始位置信息，所述最终目标检测结果包括对应帧序列中的每个视频帧中的目标对象的最终位置信息。2.如权利要求1所述的方法，其中，所述初始位置信息用于指示目标对象所在的初始检测框的预测位置，所述最终位置信息用于指示目标对象所在的最终检测框的预测位置，所述初始目标检测结果还包括与每个初始检测框相对应的置信度，所述最终目标检测结果还包括与每个最终检测框相对应的置信度，在所述对所述当前帧序列所对应的初始目标检测结果中的至少部分位置信息进行位置编码，获得第一位置编码特征之前，所述帧序列处理操作还包括：选择所述当前帧序列所对应的初始目标检测结果中置信度大于或等于第一置信度阈值的初始检测框所对应的初始位置信息，作为所述当前帧序列所对应的初始目标检测结果中的至少部分信息；和/或，在所述基于前一帧序列所对应的更新查询特征中的至少部分特征向量以及所述当前查询特征，生成目标查询特征之前，所述帧序列处理操作还包括：选择所述前一帧序列所对应的最终目标检测结果中置信度小于第二置信度阈值的最终检测框，将所述前一帧序列所对应的更新查询特征中的除与特定特征向量以外的特征向量，作为所述前一帧序列所对应的更新查询特征中的至少部分特征向量，其中，所述特定特征向量为与所选择的最终检测框相对应的特征向量。3.如权利要求1所述的方法，其中，在每个帧序列包含多个视频帧的情况下，任意两个
相邻帧序列中第一帧序列所包括的视频帧与第二帧序列所包括的视频帧部分相同。4.如权利要求1
‑
3任一项所述的方法，其中，所述获取待处理视频的多个帧序列各自对应的目标图像特征，包括：对于所述待处理视频中的任一当前帧序列，对所述当前帧序列中的每个视频帧进行特征提取，获得所述当前帧序列所对应的初始图像特征，所述当前帧序列所对应的初始图像特征包括所述当前帧序列中的一个或多个视频帧分别对应的初始图像特征；将所述当前帧序列所对应的初始图像特征与所述待处理视频中的前一帧序列所对应的记忆令牌特征进行融合，获得与所...
【专利技术属性】
技术研发人员：王秋月，汪天才，
申请(专利权)人：南京旷云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。