感兴趣区域确定方法、图像内容识别方法及装置制造方法及图纸

本申请提供一种感兴趣区域确定方法、图像内容识别方法及装置，所述方法包括：获取待识别图像的特征图；从特征图中确定多个候选框，获得各候选框对应的第一特征信息；针对每个候选框，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合，获得该候选框的第二特征信息；根据每个候选框的第二特征信息，对各候选框进行边界调整及二元分类；针对在二元分类中被确定为前景的候选框进行非极大值抑制筛选处理，将筛选出的候选框确定为感兴趣区域并获得各感兴趣区域对应的第二特征信息。如此，使每个候选框的特征中融入了其他候选框的特征，进而使得在后续使用候选框中的特征进行感兴趣区域确定或进行图像内容识别时能够更加准确。

【技术实现步骤摘要】
感兴趣区域确定方法、图像内容识别方法及装置
本申请涉及图像处理
，具体而言，涉及一种感兴趣区域确定方法、图像内容识别方法及装置。
技术介绍
图像内容识别是一种通过机器学习模型识别并标识出图像上预设内容的技术。在一些图像内容识别技术中，为了提高图像内容识别的速度，常通过先区域提议网络(RegionProposalNetwork，RPN)先从待识别图像上确定一些可能存在需要识别的内容的感兴趣区域，再通将这些感兴趣区域中的图像特征输入后续的分类网络进行识别，以确定这些感兴趣区域中的图像内容所述的类别。区域提议网络通常是先从待识别图像的特征图中确定一些候选框，然后根据候选框中的图像特征进行感兴趣区域的确定及获取感兴趣区域中的图像特征。但目前区域提议网络中，对候选框的特征进行处理过程中，通常只考虑了各个候选框各自的图像特征，没有考虑候选框之间图像特征可能存在的联系。导致最后各个候选特征框对应的图像特征丰富度不够，影响后续的感兴趣区域的确定及图像内容识别的精准程度。
技术实现思路
为了克服现有技术中的上述不足，本申请的目的之一在于提供一种感兴趣区域确定方法，所述方法包括：获取待识别图像的特征图，所述特征图由卷积神经网络对所述待识别图像进行特征提取获得；通过区域提议网络的卷积层从所述特征图中确定多个候选框，获得各所述候选框对应的第一特征信息；针对每个所述候选框，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合，获得该候选框的第二特征信息；根据每个所述候选框的第二特征信息，对各所述候选框进行边界调整及二元分类；针对在所述二元分类中被确定为前景的候选框进行非极大值抑制筛选处理；将筛选出的所述候选框确定为感兴趣区域并获得各所述感兴趣区域对应的第二特征信息。在一种可能的实现方式中，所述针对每个所述候选框，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合的步骤，包括：针对每个所述候选框，根据其他候选框与该候选框的相对位置关系，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合。在一种可能的实现方式中，所述针对每个所述候选框，根据其他候选框与该候选框的相对位置关系，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合的步骤，包括：针对每个所述候选框，将该候选框和其他候选框的位置及第一特征信息输入Transformer模型的编码器；通过所述编码器对该候选框和其他各个候选框的第一特征信息进行根据位置关系的加权融合，获得该候选框的第二特征信息。在一种可能的实现方式中，所述编码器包括多个依次连接的编码层，每个所述编码层包括多头自注意力层、第一归一化层、第一残差融合门限机制、前向传播网络、第二归一化层及第二残差融合门限机制；所述通过所述编码器对该候选框和其他各个候选框的第一特征信息进行根据位置关系的加权融合的步骤包括：针对每个所述编码层，从所述卷积层或者上一编码层获得输入数据；通过所述多头自注意力层对所述输入数据进行加权融合；将所述多头自注意力层的输出结果输入至所述第一归一化层进行归一化处理；将所述输入数据和所述第一归一化层的输出结果输入所述第一残差融合门限机制，通过所述第一残差融合门限机制对所述第一全局特征和所述第一局部特征进行残差融合处理；将所述第一残差融合门限机制的输出结果输入至全连接的所述前向传播网络进行处理；将所述前向传播网络的输出结果输入至所述第二归一化层进行归一化处理；将所述第一残差融合门限机制的输出结果和所述第二归一化层的输出结果输入至所述第二残差融合门限机制，通过所述第二残差融合门限机制进行全局特征和局部特征的残差融合处理；输出所述第二残差融合门限机制的处理结果。在一种可能的实现方式中，所述针对每个所述候选框，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合的步骤，包括：针对每个所述候选框，根据其他各个候选框与该候选框之间的位置关系，通过图卷积操作其他候选框与该候选框的第一特征信息进行融合，获得该候选框的第二特征信息。本申请的另一目的在于提供一种图像内容识别方法，所述方法包括：获取待识别图像；通过预选训练好的卷积层神经网络对所述待识别图像进行特征提取，活动的所述待识别图像的特征图；通过本申请提供的所述感兴趣区域确定方法确定感兴趣区域及所述感兴趣区域对应的第二特征信息；将所述特征图、各个所述感兴趣区域的位置及各所述感兴趣区域对应的第二特征信息输入感兴趣区域池化层进行处理，获得各所述感兴趣区域对应的第三特征信息；将各个所述感兴趣区域的第三特征信息输入分类模型，获得各感兴趣区域对应的图像内容类别。本申请的另一目的在于提供一种感兴趣区域确定装置，所述方法包括：特征图获取模块，用于获取待识别图像的特征图，所述特征图由卷积神经网络对所述待识别图像进行特征提取获得；候选框确定模块，用于通过卷积层从所述特征图中确定多个候选框，获得各所述候选框对应的第一特征信息；特征融合模块，用于针对每个所述候选框，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合，获得该候选框的第二特征信息；候选框筛选模块，用于根据每个所述候选框的第二特征信息，对各所述候选框进行边界调整及二元分类；针对在所述二元分类中被确定为前景的候选框进行非极大值抑制筛选处理；感兴趣区域输出模块，用于将筛选出的所述候选框确定为感兴趣区域并获得各所述感兴趣区域对应的第二特征信息。本申请的另一目的在于提供一种图像内容识别装置，所述装置包括：待识别图像获取模块，用于获取待识别图像；特征图提取模块，用于通过预选训练好的卷积层神经网络对所述待识别图像进行特征提取，获得所述待识别图像的特征图；感兴趣区域确定模块，用于通过本申请提供的所述感兴趣区域确定装置确定感兴趣区域及所述感兴趣区域对应的第二特征信息；池化处理模块，用于将所述特征图、各个所述感兴趣区域的位置及各所述感兴趣区域对应的第二特征信息输入感兴趣区域池化层进行处理，获得各所述感兴趣区域对应的第三特征信息；分类识别模块，用于将各个所述感兴趣区域的第三特征信息输入分类模型，获得各感兴趣区域对应的图像内容类别。本申请的另一目的在于提供一种电子设备，包括处理器及机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现本申请提供的感兴趣区域确定方法或图像内容识别方法。本申请的另一目的在于提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被一个或多个处理器执行时，实现本申请提供的感兴趣区域确定方法或图像内容识别方法。相对于现有技术而言，本申请具有以下有益效果：本申请实施例提供的感兴趣区域确定方法、图像内容识别方法及装置，在进行特征提本文档来自技高网...

【技术保护点】
1.一种感兴趣区域确定方法，其特征在于，所述方法包括：/n获取待识别图像的特征图，所述特征图由卷积神经网络对所述待识别图像进行特征提取获得；/n通过区域提议网络的卷积层从所述特征图中确定多个候选框，获得各所述候选框对应的第一特征信息；/n针对每个所述候选框，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合，获得该候选框的第二特征信息；/n根据每个所述候选框的第二特征信息，对各所述候选框进行边界调整及二元分类；/n针对在所述二元分类中被确定为前景的候选框进行非极大值抑制筛选处理，将筛选出的所述候选框确定为感兴趣区域并获得各所述感兴趣区域对应的第二特征信息。/n

【技术特征摘要】
1.一种感兴趣区域确定方法，其特征在于，所述方法包括：
获取待识别图像的特征图，所述特征图由卷积神经网络对所述待识别图像进行特征提取获得；
通过区域提议网络的卷积层从所述特征图中确定多个候选框，获得各所述候选框对应的第一特征信息；
针对每个所述候选框，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合，获得该候选框的第二特征信息；
根据每个所述候选框的第二特征信息，对各所述候选框进行边界调整及二元分类；
针对在所述二元分类中被确定为前景的候选框进行非极大值抑制筛选处理，将筛选出的所述候选框确定为感兴趣区域并获得各所述感兴趣区域对应的第二特征信息。


2.根据权利要求1所述的方法，其特征在于，所述针对每个所述候选框，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合的步骤，包括：
针对每个所述候选框，根据其他候选框与该候选框的之间第一特征信息的关联程度，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合。


3.根据权利要求2所述的方法，其特征在于，所述针对每个所述候选框，根据其他候选框与该候选框的之间第一特征信息的关联程度，将该候选框的第一特征信息与其他各个候选框的第一特征信息进行特征融合的步骤，包括：
针对每个所述候选框，将该候选框和其他候选框的第一特征信息输入Transformer模型的编码器；
通过所述编码器对该候选框和其他各个候选框的第一特征信息进行基于第一特征信息关联程度的加权融合，获得该候选框的第二特征信息。


4.根据权利要求3所述的方法，其特征在于，所述编码器包括多个依次连接的编码层，每个所述编码层包括多头自注意力层、第一归一化层、第一残差融合门限机制、前向传播网络、第二归一化层及第二残差融合门限机制；所述通过所述编码器对该候选框和其他各个候选框的第一特征信息进行基于第一特征信息关联程度的加权融合，获得该候选框的第二特征信息的步骤包括：
针对每个所述编码层，从所述卷积层或者上一编码层获得输入数据；
通过所述多头自注意力层对所述输入数据进行加权融合；
将所述多头自注意力层的输出结果输入至所述第一归一化层进行归一化处理；
将所述输入数据和所述第一归一化层的输出结果输入所述第一残差融合门限机制，通过所述第一残差融合门限机制进行全局特征和局部特征的残差融合处理；
将所述第一残差融合门限机制的输出结果输入至全连接的所述前向传播网络进行处理；
将所述前向传播网络的输出结果输入至所述第二归一化层进行归一化处理；
将所述第一残差融合门限机制的输出结果和所述第二归一化层的输出结果输入至所述第二残差融合门限机制，通过所述第二残差融合门限机制进行全局特征和局部特征的残差融合处理；
输出所述第二残差融合门限机制的处理结果。


5.根据权利要求1所述的方法，其特征在于，所述针对每个所述候选框，将该...

【专利技术属性】
技术研发人员：朱晓宁，员娇娇，吴喆峰，
申请(专利权)人：精英数智科技股份有限公司，
类型：发明
国别省市：山西;14