对象分析方法、装置及存储介质制造方法及图纸

本申请涉及一种对象分析方法、装置及存储介质，属于计算机技术领域，该方法包括：通过获取目标图像；将目标图像输入预先训练的图像识别模型，得到目标图像的对象分析结果，对象分析结果包括目标对象位置信息、目标对象关键点信息和目标对象属性信息；可以解决现有的目标检测算法无法实现速度和精确度同时提升的问题；使用融合方式使得获得的特征层包含的信息更加丰富全面，在提高识别不同尺度目标敏感度的同时，提高了检测的准确率；深度可分离卷积的使用可以加快特征层融合部分的推理时间；融合属性分析功能，使一个模型同时拥有了目标检测、关键点预测以及属性输出的3个功能，既减小了3个功能的显存占用率，又提高了其在系统中的运行速率。

【技术实现步骤摘要】
对象分析方法、装置及存储介质
本申请涉及一种对象分析方法、装置及存储介质，属于计算机

技术介绍
随着人工智能技术的发展，越来越多的目标检测算法应运而生。如anchor-free系列算法等。anchor-free系列算法避免了锚框的预设定，减少了大量的相关计算，使得其内存占用率和速度都有明显提高。而且没有锚框的预先设定，预测框是在整个特征图范围内回归目标位置，适用于各种形状尺寸的目标对象的检测。然而，现有的目标检测算法在提升算法速度的同时，会降低算法精度，导致目标检测结果不准确的问题。
技术实现思路
本申请提供了一种对象分析方法、装置及存储介质，可以解决现有的目标检测算法无法实现速度和精确度同时提升的问题。本申请提供如下技术方案：第一方面，提供一种对象分析方法，所述方法包括：获取目标图像；将所述目标图像输入预先训练的图像识别模型，得到所述目标图像的对象分析结果，所述对象分析结果包括目标对象位置信息、目标对象关键点信息和目标对象属性信息；其中，图像识别模型包括主干网络、与所述主干网络相连的第一网络分支和第二网络分支；所述主干网络包括依次相连的m层特征提取层，以提取多尺寸特征图；所述m层特征提取层中的n层指定特征提取层分别采用深度可分离卷积调整特征图的通道尺寸，并将浅层特征与深层特征融合；所述m为大于1的整数，所述n为小于1且小于或等于m的整数。可选地，所述第一网络分支与第m层特征提取层相连，并用于根据所述第m层特征提取层输出的特征图提取所述目标对象属性信息；所述第二网络分支与第1层指定特征提取层相连，且所述第二网络分支包括第一子分支、第二子分支和第三子分支；所述第一子分支用于根据所述第1层指定特征提取层的输出数据计算目标对象的中心点；所述第二子分支用于根据所述第1层指定特征提取层的输出数据进行所述目标对象的宽高回归；所述第三子分支用于根据所述第1层指定特征提取层的输出数据检测所述目标对象的关键点。可选地，对于所述n层指定特征提取层中的第k层指定特征提取层，在k＝n的情况下，所述第k层指定特征提取层得到特征图后，采用深度可分离卷积对所述特征图的通道尺寸进行更新；对更新后的特征图进行上采样，得到第n-1层指定特征提取层对应的上采样后的特征图；在1＜k＜n的情况下，所述第k层指定特征提取层得到特征图后，采用深度可分离卷积对所述特征图的通道尺寸进行更新；将更新后的特征图与第k层对应的上采样后的特征图进行按照通道进行拼接；对拼接后的特征图使用深度可分离卷积进行通道调整；对调整后的特征图进行上采样，得到第k-1层指定特征提取层对应的上采样后的特征图；在k＝1的情况下，所述第1层指定特征提取层得到特征图后，采用深度可分离卷积对所述特征图的通道尺寸进行更新；将更新后的特征图与第1层对应的上采样后的特征图进行按照通道进行拼接；对拼接后的特征图使用深度可分离卷积进行通道调整；调整后的特征图为所述第1层指定特征提取层的输出数据。可选地，所述n层指定特征提取层分别位于所述主干网络的n个残差块中，且每层指定特征提取层为对应一个残差块中的指定一层卷积层；每个残差块包括至少一层特征提取层。可选地，所述图像识别模型基于基于中心点的检测网络CenterNet建立；所述第一子分支包括第一热度图预测支路和中心点位置偏移预测支路；所述第二子分支包括宽高预测支路；所述第三子分支包括第二热度图预测支路、关键点位置偏移预测支路和关键点相对于中心点距离回归支路。可选地，所述目标对象的种类为多种，所述第一子分支和所述第二子分支使用损失函数和每个种类的目标对象的权重参数训练得到；每个种类的目标对象的权重参数是基于第一数量与第二数量的比值计算得到，其中，第一数量为输入图像中所述种类的目标对象的数量；所述第二数量为所述输入图像中所有种类的目标对象的数量。可选地，种类I的目标对象的权重参数weightI通过下式计算：其中，N表示目标对象的种类总数，median(*)表示计算所有类别目标对象的中位数，clsnumI表示种类I的目标对象的数量。可选地，所述图像识别模型的损失函数包括各个分支对应的损失函数的加权和。可选地，所述将所述目标图像输入预先训练的图像识别模型，得到所述目标图像的对象分析结果之后，还包括：按照所述目标对象位置信息对所述目标对象关键点信息进行分组，得到的同一目标对象的关键点。可选地，对于每个关键点，所述第三子分支的输出包括所述关键点的第一关键点预测结果和第二关键点预测结果，所述第一关键点预测结果是基于热度图预测的，所述第二关键点预测结果是基于相对中心点距离预测的；所述按照所述目标对象位置信息对所述目标对象关键点信息进行分组，得到的同一目标对象的关键点之后，还包括：基于每个关键点对应的第一关键点预测结果和第二关键点预测结果，对关键点进行筛选。可选地，所述基于每个关键点对应的第一关键点预测结果和第二关键点预测结果，对关键点进行筛选，包括：在所述第一关键点预测结果和第二关键点预测结果之间的距离小于预设距离阈值时，保留所述关键点，并将所述第一关键点预测结果确定为最终的关键点坐标。第二方面，提供一种对象分析装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的对象分析方法。第三方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的对象分析方法。本申请的有益效果至少包括：通过获取目标图像；将目标图像输入预先训练的图像识别模型，得到目标图像的对象分析结果，对象分析结果包括目标对象位置信息、目标对象关键点信息和目标对象属性信息；图像识别模型包括主干网络、与主干网络相连的第一网络分支和第二网络分支；主干网络包括依次相连的m层特征提取层，以提取多尺寸特征图；m层特征提取层中的n层指定特征提取层分别采用深度可分离卷积调整特征图的通道尺寸，并将浅层特征与深层特征融合；第一网络分支根据第m层特征提取层输出的特征图提取目标对象属性信息；第二网络分支包括第一子分支、第二子分支和第三子分支；第一子分支用于根据第1层指定特征提取层的输出数据计算目标对象的中心点；第二子分支用于根据第1层指定特征提取层的输出数据进行目标对象的宽高回归；第三子分支用于根据第1层指定特征提取层的输出数据检测目标对象的关键点；可以解决现有的目标检测算法无法实现速度和精确度同时提升的问题；使用融合方式使得获得的特征层包含的信息更加丰富全面，在提高识别不同尺度目标敏感度的同时，提高了检测的准确率。另外，深度可分离卷积的使用明显加快了特征层融合部分的推理时间；同时，图像识别模型还融合了属性分析功能，使一个模型同时拥有了目标检测、关键点预测以及属性输出的功能，同一个模型具有3个功能，既减小了3个功能的显存占用率，又提高了其在系统中的运行速率。<本文档来自技高网...

【技术保护点】
1.一种对象分析方法，其特征在于，所述方法包括：/n获取目标图像；/n将所述目标图像输入预先训练的图像识别模型，得到所述目标图像的对象分析结果，所述对象分析结果包括目标对象位置信息、目标对象关键点信息和目标对象属性信息；/n其中，图像识别模型包括主干网络、与所述主干网络相连的第一网络分支和第二网络分支；/n所述主干网络包括依次相连的m层特征提取层，以提取多尺寸特征图；所述m层特征提取层中的n层指定特征提取层分别采用深度可分离卷积调整特征图的通道尺寸，并将浅层特征与深层特征融合；所述m为大于1的整数，所述n为小于1且小于或等于m的整数。/n

【技术特征摘要】
1.一种对象分析方法，其特征在于，所述方法包括：
获取目标图像；
将所述目标图像输入预先训练的图像识别模型，得到所述目标图像的对象分析结果，所述对象分析结果包括目标对象位置信息、目标对象关键点信息和目标对象属性信息；
其中，图像识别模型包括主干网络、与所述主干网络相连的第一网络分支和第二网络分支；
所述主干网络包括依次相连的m层特征提取层，以提取多尺寸特征图；所述m层特征提取层中的n层指定特征提取层分别采用深度可分离卷积调整特征图的通道尺寸，并将浅层特征与深层特征融合；所述m为大于1的整数，所述n为小于1且小于或等于m的整数。


2.根据权利要求1所述的方法，其特征在于，
所述第一网络分支与第m层特征提取层相连，并用于根据所述第m层特征提取层输出的特征图提取所述目标对象属性信息；
所述第二网络分支与第1层指定特征提取层相连，且所述第二网络分支包括第一子分支、第二子分支和第三子分支；所述第一子分支用于根据所述第1层指定特征提取层的输出数据计算目标对象的中心点；所述第二子分支用于根据所述第1层指定特征提取层的输出数据进行所述目标对象的宽高回归；所述第三子分支用于根据所述第1层指定特征提取层的输出数据检测所述目标对象的关键点。


3.根据权利要求1所述的方法，其特征在于，对于所述n层指定特征提取层中的第k层指定特征提取层，
在k＝n的情况下，所述第k层指定特征提取层得到特征图后，采用深度可分离卷积对所述特征图的通道尺寸进行更新；对更新后的特征图进行上采样，得到第n-1层指定特征提取层对应的上采样后的特征图；
在1＜k＜n的情况下，所述第k层指定特征提取层得到特征图后，采用深度可分离卷积对所述特征图的通道尺寸进行更新；将更新后的特征图与第k层对应的上采样后的特征图进行按照通道进行拼接；对拼接后的特征图使用深度可分离卷积进行通道调整；对调整后的特征图进行上采样，得到第k-1层指定特征提取层对应的上采样后的特征图；
在k＝1的情况下，所述第1层指定特征提取层得到特征图后，采用深度可分离卷积对所述特征图的通道尺寸进行更新；将更新后的特征图与第1层对应的上采样后的特征图进行按照通道进行拼接；对拼接后的特征图使用深度可分离卷积进行通道调整；调整后的特征图为所述第1层指定特征提取层的输出数据。


4.根据权利要求2所述的方法，其特征在于，所述图像识别模型基于基于中心点的检测网络CenterNet建立；
所述第一子分支包括第一热度...

【专利技术属性】
技术研发人员：丁鑫，肖潇，付马，孟祥昊，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏;32