对象序列的识别方法、网络训练方法、装置、设备及介质制造方法及图纸

提供了一种对象序列的识别方法、网络训练方法、装置、设备及存储介质，其中，所述方法包括：获取对象序列的图像；采用对象序列的识别网络对对象序列的图像进行特征提取；其中，对象识别的识别网络在训练过程的监督信息包括：样本图像组中的至少两帧样本图像之间的相似度的第一监督信息，以及每一样本图像中样本对象序列的类别的第二监督信息；每一样本图像组包括从同一个视频流中提取出的至少两帧样本图像，每一样本图像组中的各帧样本图像的时序之间满足预设时序条件，且同一样本对象序列在一个样本图像组内的各帧样本图像中的位置之间满足预设一致性条件；确定对象序列中的每个对象的类别。对象的类别。对象的类别。

【技术实现步骤摘要】
【国外来华专利技术】对象序列的识别方法、网络训练方法、装置、设备及介质
[0001]相关申请的交叉引用
[0002]本申请要求在2021年9月22日提交新加坡知识产权局、申请号为10202110498V的新加坡专利申请的优先权，其全部内容通过引用结合在本申请中。


[0003]本申请实施例涉及图像处理
，涉及但不限于一种对象序列的识别方法、网络训练方法、装置、设备及介质。

技术介绍

[0004]图像中的序列识别是计算机视觉中的一个重要研究问题。序列识别算法在场景文字识别、车牌识别等场景中有广泛应用。相关技术中，采用神经网络对序列式对象的图像进行识别，其中，神经网络可以由序列式对象中的对象的类别作为监督信息训练得出。
[0005]相关技术中，采用常用的序列识别方法对图像中的对象序列进行序列识别效果不佳。

技术实现思路

[0006]本申请实施例提供一种对象序列的识别技术方案。
[0007]本申请实施例的技术方案是这样实现的：
[0008]本申请实施例提供的一种对象序列的识别方法，所述方法包括：
[0009]获取对象序列的图像；
[0010]采用对象序列的识别网络对所对象序列的图像进行特征提取，得到特征序列；其中，所述对象序列的识别网络在训练过程的监督信息至少包括：样本图像组中的至少两帧样本图像之间的相似度的第一监督信息，以及每一所述样本图像中的样本对象序列的类别的第二监督信息；每一所述样本图像组包括从同一个视频流中提取出的至少两帧样本图像，每一所述样本图像组中的各帧样本图像的时序之间满足预设时序条件，且同一样本对象序列在一个所述样本图像组内的各帧样本图像中的位置之间满足预设一致性条件；
[0011]基于所述特征序列，确定所述对象序列中的每个对象的类别。
[0012]在一些实施例中，所述采用对象序列的识别网络对所述对象序列的图像进行特征提取，得到特征序列，包括：采用所述对象序列的识别网络中的卷积子网络，对所述对象序列的图像进行特征提取，得到特征图；对所述特征图进行拆分，得到所述特征序列。如此，便于后续对特征序列中的对象的类别进行更加精准地识别。
[0013]在一些实施例中，所述采用所述对象序列的识别网络中的卷积子网络，对所述对象序列的图像进行特征提取，得到特征图，包括：采用所述卷积子网络，在所述对象序列的图像的第一方向的长度维度上对所述对象序列的图像进行下采样，得到第一维度特征，所述第一方向不同于所述对象序列中的对象的排列方向；基于所述对象序列的图像的第二方向的长度，提取所述对象序列的图像的第二方向的长度维度上的特征，得到第二维度特征；
基于所述第一维度特征和所述第二维度特征，得到所述特征图。如此，能够尽可能多的保留对象序列的图像在第二方向维度上的特征信息。
[0014]在一些实施例中，所述对所述特征图进行拆分，得到所述特征序列，包括：沿着所述第一方向对所述特征图进行池化，得到已池化特征图；沿着所述第二方向对所述已池化特征图进行拆分，得到所述特征序列。如此，通过沿着第一方向对特征图进行池化后，并沿着第二方向对特征图进行拆分，从而使得特征序列能够包括对象序列的图像沿第二方向的更多细节信息。
[0015]本申请实施例提供一种对象序列的识别网络的训练方法，所述方法包括：获取样本图像组；其中，所述样本图像组包括从同一个视频流中提取出的至少两帧样本图像，每一所述样本图像组中的各帧样本图像的时序之间满足预设时序条件，且同一样本对象序列在一个所述样本图像组内的各帧样本图像中的位置之间满足预设一致性条件；每一帧所述样本图像包括样本对象序列的类别标注信息；
[0016]将所述样本图像组输入待训练的对象序列的识别网络中，进行特征提取，得到样本特征序列；
[0017]对所述样本特征序列中的所述样本对象进行类别预测，得到所述样本图像组中每一样本图像包括的样本对象序列中每个样本对象的预测类别；
[0018]基于所述样本图像组中每一样本图像包括的样本对象序列中每个样本对象的预测类别，确定第一损失和第二损失集合；其中，所述第一损失与所述样本图像中的多帧不同样本图像之间的相似度负相关且所述多帧不同样本图像之间的相似度基于所述多帧不同样本图像的样本特征序列和/或所述多帧不同样本图像所包括的样本对象序列的预测类别确定，所述第二损失集合中的第二损失用于表征所述每一帧样本图像中的样本对象序列的类别标注信息与所述样本对象序列中每个样本对象的预测类别的差异；
[0019]根据所述第一损失和所述第二损失集合，对所述待训练的对象序列的识别网络的网络参数进行调整，以使调整后的所述对象序列的识别网络输出的分类结果的损失满足收敛条件。如此，在训练过程中，引入对对象序列进行监督的第二损失集合和对一组样本图像中图像之间的相似度进行监督的第一损失，能够提高对图像中每个对象的类别的识别精度。
[0020]在一些实施例中，所述获取样本图像组，包括：获取包含样本对象序列的样本视频流；对所述样本视频流中的多帧样本图像进行样本对象序列检测，得到所述多帧样本图像中每一帧样本图像包含的样本对象序列的样本位置；在所述多帧样本图像中，确定满足预设时序条件、且包含的样本对象序列的样本位置之间满足预设一致性条件的至少两帧样本图像，形成所述样本图像组。如此，能够提高样本图像组数据的丰富性。
[0021]在一些实施例中，所述将所述样本图像组输入待训练的对象序列的识别网络中，进行特征提取，得到样本特征序列，包括：采用所述待训练的对象序列的识别网络中的卷积子网络，对所述样本图像组中每一样本图像进行特征提取，得到所述样本图像组中每一样本图像的样本特征图；对所述样本图像组中每一样本图像的样本特征图进行拆分，得到所述样本图像组中每一样本图像的样本特征序列。如此，能够得到保留了更多第二方向特征的样本特征序列，便于提高后续对样本特征序列中的样本对象的类别进行识别的精准度。
[0022]在一些实施例中，所述采用所述待训练的对象序列的识别网络中的卷积子网络，
对所述样本图像组中每一样本图像进行特征提取，得到所述样本图像组中每一样本图像的样本特征图，包括：采用所述卷积子网络，在每一样本图像的第一方向的长度维度上对所述样本图像组中每一样本图像进行下采样，得到第一维度样本特征，所述第一方向不同于所述样本对象序列中的样本对象的排序方向；基于所述样本图像组中每一样本图像的第二方向的长度，提取所述样本图像组中每一样本图像的第二方向的长度维度上的特征，得到第二维度样本特征；基于所述第一维度样本特征和所述第二维度样本特征，得到所述样本图像组中每一样本图像的样本特征图。如此，能够尽可能多的保留样本图像组中每一样本图像在第二方向维度上的特征信息。
[0023]在一些实施例中，所述对所述样本图像组中每一样本图像的样本特征图进行拆分，得到所述样本图像组中每一样本图像的样本特征序列，包括：沿着所述第一方向，对所述样本图像组中每一样本图像的样本特征图进行池化，得到所述样本图像组中每一样本图像的已池化样本特征图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对象序列的识别方法，所述方法包括：获取对象序列的图像；采用对象序列的识别网络对所述对象序列的图像进行特征提取，得到特征序列；其中，所述对象序列的识别网络在训练过程的监督信息至少包括：样本图像组中的至少两帧样本图像之间的相似度的第一监督信息，以及每一所述样本图像中的样本对象序列的类别的第二监督信息；每一所述样本图像组包括从一个视频流中提取出的至少两帧样本图像，每一所述样本图像组中的各帧样本图像的时序之间满足预设时序条件，且一个样本对象序列在一个所述样本图像组内的各帧样本图像中的位置之间满足预设一致性条件；基于所述特征序列，确定所述对象序列中的每个对象的类别。2.根据权利要求1所述的方法，其中，所述采用对象序列的识别网络对所述对象序列的图像进行特征提取，得到特征序列，包括：采用所述对象序列的识别网络中的卷积子网络，对所述对象序列的图像进行特征提取，得到特征图；对所述特征图进行拆分，得到所述特征序列。3.根据权利要求2所述的方法，其中，所述采用所述对象序列的识别网络中的卷积子网络，对所述对象序列的图像进行特征提取，得到特征图，包括：采用所述卷积子网络，在所述对象序列的图像的第一方向的长度维度上对所述对象序列的图像进行下采样，得到第一维度特征，所述第一方向不同于所述对象序列中的对象的排列方向；基于所述对象序列的图像的第二方向的长度，提取所述对象序列的图像的第二方向的长度维度上的特征，得到第二维度特征；基于所述第一维度特征和所述第二维度特征，得到所述特征图。4.根据权利要求3所述的方法，其中，所述对所述特征图进行拆分，得到所述特征序列，包括：沿着所述第一方向对所述特征图进行池化，得到已池化特征图；沿着所述第二方向对所述已池化特征图进行拆分，得到所述特征序列。5.一种对象序列的识别网络的训练方法，所述方法包括：获取样本图像组；其中，所述样本图像组包括从同一个视频流中提取出的至少两帧样本图像，每一所述样本图像组中的各帧样本图像的时序之间满足预设时序条件，且一个样本对象序列在一个所述样本图像组内的各帧样本图像中的位置之间满足预设一致性条件；每一帧所述样本图像包括样本对象序列的类别标注信息；将所述样本图像组输入待训练的对象序列的识别网络中，进行特征提取，得到样本特征序列；对所述样本特征序列中的所述样本对象进行类别预测，得到所述样本图像组中每一样本图像包括的样本对象序列中每个样本对象的预测类别；基于所述样本图像组中每一样本图像包括的样本对象序列中每个样本对象的预测类别，确定第一损失和第二损失集合；其中，所述第一损失与所述样本图像中的多帧不同样本图像之间的相似度负相关且所述多帧不同样本图像之间的相似度基于所述多帧不同样本图像的样本特征序列和/或所述多帧不同样本图像所包括的样本对象序列的预测类别确
定，所述第二损失集合中的第二损失用于表征所述每一帧样本图像中的样本对象序列的类别标注信息与所述样本对象序列中每个样本对象的预测类别的差异；根据所述第一损失和所述第二损失集合，对所述待训练的对象序列的识别网络的网络参数进行调整，以使调整后的所述对象序列的识别网络输出的分类结果的损失满足收敛条件。6.根据权利要求5所述的方法，其中，所述获取样本图像组，包括：获取包含样本对象序列的样本视频流；对所述样本视频流中的多帧样本图像进行样本对象序列检测，得到所述多帧样本图像中每一帧样本图像包含的样本对象序列的样本位置；在所述多帧样本图像中，确定满足预设时序条件、且包含的样本对象序列的样本位置之间满足预设一致性条件的至少两帧样本图像，形成所述样本图像组。7.根据权利要求5或6所述的方法，其中，所述将所述样本图像组输入待训练的对象序列的识别网络中，进行特征提取，得到样本特征序列，包括：采用所述待训练的对象序列的识别网络中的卷积子网络，对所述样本图像组中每一样本图像进行特征提取，得到所述样本图像组中每一样本图像的样本特征图；对所述样本图像组中每一样本图像的样本特征图进行拆分，得到所述样本图像组中每一样本图像的样本特征序列。8.根据权利要求7所述的方法，其中，所述采用所述待训练的对象序列的识别网络中的卷积子网络，对所述样本图像组中每一样本图像进行特征提取，得到所述样本图像组中每一样本图像的样本特征图，包括：采用所述卷积子网络，在每一样本图像的第一方向的长度维度上对所述样本图像组中每一样本图像进行下采样，得到第一维度样本特征，所述第一方向不同于所述样本对象序列中的样本对象的排序方向；基于所述样本图像组中每一样本图像的第二方向的长度，提取所述样本图像组中每一样本图像的第二方向的长度维度上的特征，得到第二维度样本特征；基于所述第一维度样本特征和所述第二维度样本特征，得到所述样本图像组中每一样本图像的样本特征图。9.根据权利要求8所述的方法，其中，所述对所述样本图像组中每一样本图像的样本特征图进行拆分，得到所述样本图像组中每一样本图像的样本特征序列，包括：沿着所述第一方向，对所述样本图像组中每一样本图像的样本特征图进行池化，得到所述样本图像组中每一样本图像的已池化样本特征图；沿着所述第二方向，对所述样本图像组中每一样本图像的已池化样本特征图进行拆分，得到所述样本图像组中每一样本图像的样本特征序列。10.根据权利要求5至9任一项所述的方法，其中，所述根据所述第一损失和所述第二损失集合，对待训练的对象序列的识别网络的网络参数进行调整，以使调整后的所述对象序列的识别网络输出的分类结果的损失满足收敛条件，包括：对所述第一损失和所述第二损失集合进行加权融合，得到总损失；基于所述总损失，对所述待训练的对象序列的识别网络的网络参数进行调整，以使调整后的所述对象序列的识别网络输出的分类结果的损失满足收敛条件。
11.根据权利要求10所述的方法，其中，所述对所述第一损失和所述第二损失集合进行加权融合，得到总损失，包括：采用预设第一权重对所述第一损失进行调整，得到第三损失；基于所述样本图像组中样本图像的数量，确定类别监督权重；其中，所述同一样本图像组中的多个不同样本图像对应的类别监督权重相同；基于所述类别监督权重和预设第二权重，对所述第二损失集合中的第二损失进行融合，得到第四损失；基于所述第三损失和所述第四损失，确定所述总损失。12.根据权利要求11所述的方法，其中，所述基于所述类别监督权重和预设第二权重，对所述第二损失集合中的第二损失进行融合，得到第四损失，包括：将所述类别监督权重分别赋予所述第二损失集合中的每一第二损失，得到包括至少两个已更新损失的已更新损失集合；将所述已更新损失集合中的已更新损失进行融合，得到融合损失；采用所述预设第二权重对所述融合损失进行调整，得到所述第四损失。13.一种对象序列的识别装置，所述装置包括：第一获取模块，用于获取对象序列的图像；第一提取模块，用于采用对象序列的识别网络对所述对象序列的图像进行特征提取，得到特征序列；其中，所述对象序列的识别网络在训练过程的监督信息至少包括：样本图像组中的至少两帧样本图像之间的相似度的第一监督信息，以及每一所述样本图像中的样本对象序列的类别的第二监督信息；每一所述样本图像组包括从同一个视频流中提取出的至少两帧样本图像，每一所述样本图像组中的各帧样本图像的时序之间满足预设时序条件，且一个样本对象序列在一个所述样本图像组内的各帧样本图像中的位置之间满足预设一致性条件；第一确定模块，用于基于所述特征序列，确定所述对象序列中的每个对象的类别。14.一种对象序列识别网络的训练装置，所述装置包括：第二获取模块，用于获取样本图像组；其中，所述样本图像组包括从同一个视频流中提取出的至少两帧样本图像，每一所述样本图像组中的各帧样本图像的时序之间满足预设时序条件，且一个样本对象序列在一个所述样本图像组内的各帧样本图像中的位置之间满足预设一致性条件；每一帧所述样本图像包括样本对象序列的类别标注信...

【专利技术属性】
技术研发人员：陈景焕，马佳彬，
申请(专利权)人：商汤国际私人有限公司，
类型：发明
国别省市：