图像处理方法、提名评估方法及相关装置制造方法及图纸

本申请实施例涉及计算机视觉领域，公开了一种时序提名生成方法及装置，该方法可包括：获取视频流的第一特征序列；基于该第一特征序列，得到第一对象边界概率序列，其中，该第一对象边界概率序列包含该多个片段属于对象边界的概率；基于该视频流的第二特征序列，得到第二对象边界概率序列；该第二特征序列和该第一特征序列包括的特征数据相同且排列顺序相反；基于该第一对象边界概率序列和该第二对象边界概率序列，生成时序对象提名集。本申请实施例中，基于融合后的概率序列生成时序对象提名集，使得生成的时序提名的边界更精确。

Image Processing Method, Nomination Evaluation Method and Related Devices

【技术实现步骤摘要】
图像处理方法、提名评估方法及相关装置
本专利技术涉及图像处理领域，尤其涉及一种图像处理方法、提名评估方法及相关装置。
技术介绍
时序对象检测技术是视频行为理解领域一个重要且极具挑战性的课题。时序对象检测技术在很多领域都起到重要作用，比如视频推荐，安防监控以及智能家居等等。时序对象检测任务旨在从未修剪的长视频中定位到对象出现的具体时间和类别。此类问题的一大难点是如何提高生成的时序对象提名的质量。高质量的时序对象提名应该具备两个关键属性：(1)生成的提名应该尽可能地覆盖真实的对象标注；(2)提名的质量应该能够被全面且准确地评估，为每一个提名生成一个置信度分数用于后续检索。当前，采用的时序提名生成方法通常存在生成提名的边界不够准确的问题。
技术实现思路
本专利技术实施例提供了一种视频处理方案。第一方面，本申请实施例提供了一种图像处理方法，该方法可包括：获取视频流的第一特征序列，其中，该第一特征序列包含该视频流的多个片段中每个片段的特征数据；基于该第一特征序列，得到第一对象边界概率序列，其中，该第一对象边界概率序列包含该多个片段属于对象边界的概率；基于该视频流的第二特征序列，得到第二对象边界概率序列；该第二特征序列和该第一特征序列包括的特征数据相同且排列顺序相反；基于该第一对象边界概率序列和该第二对象边界概率序列，生成时序对象提名集。本申请实施例中，基于融合后的对象边界概率序列生成时序对象提名集，可以得到边界更精确的概率序列，使得生成的时序对象提名的质量更高。在一个可选的实现方式中，该基于该视频流的第二特征序列，得到第二对象边界概率序列之前，该方法还包括：将该第一特征序列进行时序翻转处理，得到该第二特征序列。在该实现方式中，对第一特征序列进行时序翻转处理以得到第二特征序列，操作简单。在一个可选的实现方式中，该基于该第一对象边界概率序列和该第二对象边界概率序列，生成时序对象提名集包括：对该第一对象边界概率序列以及该第二对象边界概率序列进行融合处理，得到目标边界概率序列；基于该目标边界概率序列，生成该时序对象提名集。在该实现方式中，通过对两个对象边界序列进行融合处理可以得到一个边界更加准确地对象边界概率，进而生成质量更高的时序对象提名集。在一个可选的实现方式中，该对该第一对象边界概率序列以及该第二对象边界概率序列进行融合处理，得到目标边界概率序列包括：将该第二对象边界概率序列进行时序翻转处理，得到第三对象边界概率序列；融合该第一对象边界概率序列和该第三对象边界概率序列，得到该目标边界概率序列。在该实现方式中，从两个相反的时序方向来评估视频中每个片段的边界概率，并采用一个简单有效地的融合策略来去除噪声，使得最终定位到的时序边界拥有更高的精度。在一个可选的实现方式中，该第一对象边界概率序列和该第二对象边界概率序列中的每个对象边界概率序列包括起始概率序列和结束概率序列；该对该第一对象边界概率序列以及该第二对象边界概率序列进行融合处理，得到目标边界概率序列包括：将该第一对象边界概率序列和该第二对象边界概率序列中的起始概率序列进行融合处理，得到目标起始概率序列；和/或将该第一对象边界概率序列和该第二对象边界概率序列中的结束概率序列进行融合处理，得到目标结束概率序列，其中，该目标边界概率序列包括该目标初始概率序列和该目标结束概率序列的至少一项。在该实现方式中，从两个相反的时序方向来评估视频中每个片段的边界概率，并采用一个简单有效地的融合策略来去除噪声，使得最终定位到的时序边界拥有更高的精度。在一个可选的实现方式中，基于该目标边界概率序列，生成该时序对象提名集包括：基于该目标边界概率序列包括的目标起始概率序列和目标结束概率序列，生成该时序对象提名集；或者，基于该目标边界概率序列包括的目标起始概率序列和该第一对象边界概率序列包括的结束概率序列，生成该时序对象提名集；或者，基于该目标边界概率序列包括的目标起始概率序列和该第二对象边界概率序列包括的结束概率序列，生成该时序对象提名集；或者，基于该第一对象边界概率序列包括的起始概率序列和该目标边界概率序列包括的目标结束概率序列，生成该时序对象提名集；或者，基于该第二对象边界概率序列包括的起始概率序列和该目标边界概率序列包括的目标结束概率序列，生成该时序对象提名集。在该实现方式中，可以快速、准确地生成候选时序对象提名集。在一个可选的实现方式中，该基于该目标边界概率序列包括的目标起始概率序列和目标结束概率序列，生成该时序对象提名集包括：基于该目标起始概率序列中包含的该多个片段的目标起始概率，得到第一片段集，以及基于该目标结束概率序列中包括的该多个片段的目标结束概率，得到第二片段集，其中，该第一片段集包括目标起始概率超过第一阈值的片段和/或目标起始概率高于至少两个相邻片段的片段，该第二片段集包括目标结束概率超过第二阈值的片段和/或目标结束概率高于至少两个相邻片段的片段；基于该第一片段集和该第二片段集，生成该时序对象提名集。在该实现方式中，可以快速、准确地筛选出第一片段集以及第二片段集，进而根据该第一片段集和该第二片段集生成时序对象提名集。在一个可选的实现方式中，该图像处理方法还包括：基于该视频流的视频特征序列，得到第一时序对象提名的长期提名特征，其中，该长期提名特征对应的时间段长于该第一时序对象提名对应的时间段，该第一时序对象提名包含于该时序对象提名集；基于该视频流的视频特征序列，得到该第一时序对象提名的短期提名特征，其中，该短期提名特征对应的时间段与该第一时序对象提名对应的时间段相同；基于该长期提名特征和该短期提名特征，得到该第一时序对象提名的评估结果。在该方式中，可以整合长期提名特征和短期提名特征之间的交互信息以及其他多粒度线索来生成丰富的提名特征，进而提高提名质量评估的准确性。在一个可选的实现方式中，该基于该视频流的视频特征序列，得到该视频流的第一时序对象提名的长期提名特征之前，该方法还包括：基于该第一特征序列和该第二特征序列中的至少一项，得到目标动作概率序列；将该第一特征序列和该目标动作概率序列进行拼接，得到该视频特征序列。在该实现方式中，通过拼接动作概率序列和第一特征序列，可以快速地得到包括更多特征信息的特征序列，以便于采样得到的提名特征包含的信息更丰富。在一个可选的实现方式中，该基于该视频流的视频特征序列，得到该第一时序对象提名的短期提名特征，包括：基于该第一时序对象提名对应的时间段，对该视频特征序列进行采样，得到该短期提名特征。在该实现方式中，可以快速、准确地提取到长期提名特征。在一个可选的实现方式中，该基于该长期提名特征和该短期提名特征，得到该第一时序对象提名的评估结果包括：基于该长期提名特征和该短期提名特征，得到该第一时序对象提名的目标提名特征；基于该第一时序对象提名的目标提名特征，得到该第一时序对象提名的评估结果。在该实现方式中，通过整合长期提名特征和短期提名特征可以得到一个质量更好的提名特征，以便于更准确地评估时序对象提名的质量。在一个可选的实现方式中，该基于该长期提名特征和该短期提名特征，得到该第一时序对象提名的目标提名特征包括：对该长期提名特征和该短期特征提名执行非局部注意力操作，得到中间提名特征；将该短期提名特征和该中间提名特征进行拼接，得到该目标提名特征。在该本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：获取视频流的第一特征序列，其中，所述第一特征序列包含所述视频流的多个片段中每个片段的特征数据；基于所述第一特征序列，得到第一对象边界概率序列，其中，所述第一对象边界概率序列包含所述多个片段属于对象边界的概率；基于所述视频流的第二特征序列，得到第二对象边界概率序列，其中，所述第二特征序列和所述第一特征序列包括的特征数据相同且排列顺序相反；基于所述第一对象边界概率序列和所述第二对象边界概率序列，生成时序对象提名集。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取视频流的第一特征序列，其中，所述第一特征序列包含所述视频流的多个片段中每个片段的特征数据；基于所述第一特征序列，得到第一对象边界概率序列，其中，所述第一对象边界概率序列包含所述多个片段属于对象边界的概率；基于所述视频流的第二特征序列，得到第二对象边界概率序列，其中，所述第二特征序列和所述第一特征序列包括的特征数据相同且排列顺序相反；基于所述第一对象边界概率序列和所述第二对象边界概率序列，生成时序对象提名集。2.一种提名评估方法，其特征在于，包括：基于视频流的视频特征序列，得到所述视频流的第一时序对象提名的长期提名特征，其中，所述视频特征序列包含所述视频流包含的多个片段中每个片段的特征数据，所述长期提名特征对应的时间段长于所述第一时序对象提名对应的时间段；基于所述视频流的视频特征序列，得到所述第一时序对象提名的短期提名特征，其中，所述短期提名特征对应的时间段与所述第一时序对象提名对应的时间段相同；基于所述长期提名特征和所述短期提名特征，得到所述第一时序对象提名的评估结果。3.一种提名评估方法，其特征在于，包括：基于视频流的第一特征序列，得到所述视频流的目标动作概率序列，其中，所述第一特征序列包含所述视频流的多个片段中每个片段的特征数据；将所述第一特征序列和所述目标动作概率序列进行拼接，得到视频特征序列；基于所述视频特征序列，得到所述视频流的第一时序对象提名的评估结果。4.一种提名评估方法，其特征在于，包括：基于视频流的第一特征序列，得到第一动作概率序列，其中，所述第一特征序列包含所述视频流的多个片段中每个片段的特征数据；基于所述视频流的第二特征序列，得到第二动作概率序列，其中，所述第二特征序列和所述第一特征序列包括的特征数据相同且排列顺序相反；基于所述第一动作概率序列和所述第二动作概率序列，得到所述视频流的目标动作概率序列；基于所述视频流的目标动作概率序列，得到所述视频流的第一时序对象提名的评估结果。5.一种图像处理装置，其特征在于，包括：获取单元，用于获取视频流的第一特征序列，其中，所述第一特征序列包含所述视频流的多个片段中每个片段的特征数据；处理单元，用于基于所述第一特征序列，得到第一对象边界概率序列，其中，所述第一对象边界概率序列包含所述多个片段属于对象边界的概率；所述处理单元，还用于基于所述视频流的第二特征序列...

【专利技术属性】
技术研发人员：苏海昇，王蒙蒙，甘伟豪，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海,31