实例分割网络的训练模型及训练方法，实例分割网络技术

本申请公开了一种实例分割网络的训练模型及训练方法，一种实例分割网络。本申请公开的训练模型包括：特征提取网络、检测分割头部网络、直方图头部网络和损失计算模块，该模型中的检测分割头部网络能够对特征提取网络的输出数据中的时域信息进行处理；直方图头部网络能够对特征提取网络的输出数据中的频域信息进行处理；损失计算模块能够优化特征提取网络、检测分割头部网络和直方图头部网络分别对应的训练参数。本申请同时利用时域信息和频域信息训练实例分割网络，可以提高训练精度，从而提高实例分割网络的计算精度和分割性能。相应地，本申请提供的一种实例分割网络的训练方法和一种实例分割网络，也同样具有上述技术效果。

【技术实现步骤摘要】
实例分割网络的训练模型及训练方法，实例分割网络
本申请涉及机器学习
，特别涉及一种实例分割网络的训练模型及训练方法，一种实例分割网络。
技术介绍
目前，现有的实例分割网络一般用图像的时域信息进行监督训练。对于图像中的小目标而言，时域信息可表征的信息量较少，因此参与训练的特征较少，模型的训练精度可能不足，导致分割性能有所降低。因此，如何提高实例分割网络的训练精度，是本领域技术人员需要解决的问题。
技术实现思路
有鉴于此，本申请的目的在于提供一种实例分割网络的训练模型及训练方法，一种实例分割网络，以提高实例分割网络的训练精度。其具体方案如下：第一方面，本申请提供了一种实例分割网络的训练模型，包括：特征提取网络、检测分割头部网络、直方图头部网络和损失计算模块，其中；所述特征提取网络，用于对图像进行处理，以获得多个候选框；所述检测分割头部网络，用于对所述多个候选框携带的时域信息进行处理，以输出所述图像中的各个目标；所述直方图头部网络，用于对所述多个候选框携带的频域信息进行处理，以输出预测直方图；所述损失计算模块，用于计算所述目标的目标损失值和所述预测直方图的直方图损失值，并基于所述目标损失值和所述直方图损失值优化所述特征提取网络、所述检测分割头部网络和所述直方图头部网络分别对应的训练参数。优选地，所述直方图头部网络包括：目标子网和输出层；所述目标子网包括注意力子网、包括至少一个卷积层的卷积子网、包括至少一个全连接层的全连接子网中的任一个或组合；所述注意力子网和/或所述卷积子网，用于确定各个候选框中不同像素点之间的关系，并根据所述关系生成关系频域信息；所述全连接子网，用于提取各个候选框中的特征频域信息；所述输出层，用于根据所述关系频域信息和/或所述特征频域信息生成所述预测直方图。优选地，若所述目标子网包括所述注意力子网和所述卷积子网，则所述注意力子网的输出端连接于所述卷积子网的输入端；若所述目标子网包括所述卷积子网和所述全连接子网，则所述卷积子网的输出端连接于所述全连接子网的输入端；若所述目标子网包括所述注意力子网和所述全连接子网，则所述注意力子网的输出端连接于所述全连接子网的输入端；若所述目标子网包括所述注意力子网、所述卷积子网和所述全连接子网，则所述注意力子网的输出端连接于所述卷积子网的输入端，所述卷积子网的输出端连接于所述全连接子网的输入端。优选地，所述注意力子网为Non-Local注意力网络。优选地，所述直方图头部网络设置于所述检测分割头部网络中，并连接于所述特征提取网络的输出端。优选地，所述直方图头部网络设置于所述检测分割头部网络中，并连接于所述检测分割头部网络中的分割头部网络的输出端，所述分割头部网络连接于所述特征提取网络的输出端。优选地，所述特征提取网络包括：骨干网络，用于提取所述图像中的高阶语义特征；特征金字塔，用于处理高阶语义特征，以输出不同尺度的特征图；目标区域提取网络，用于处理所述特征图，以输出所述多个候选框。优选地，所述损失计算模块具体用于：基于所述预测直方图和所述图像的标签直方图的距离确定所述直方图损失值；所述预测直方图和所述标签直方图的距离为：欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离、马氏距离、余弦距离、汉明距离、杰卡德距离、相关距离和信息熵中的任一种或组合。第二方面，本申请提供了一种实例分割网络的训练方法，包括：利用特征提取网络对图像进行处理，以获得多个候选框；利用检测分割头部网络对所述多个候选框携带的时域信息进行处理，以输出所述图像中的各个目标；利用直方图头部网络对所述多个候选框携带的频域信息进行处理，以输出预测直方图；利用损失计算模块计算所述目标的目标损失值和所述预测直方图的直方图损失值，并基于所述目标损失值和所述直方图损失值优化所述特征提取网络、所述检测分割头部网络和所述直方图头部网络分别对应的训练参数。第三方面，本申请提供了一种实例分割网络，所述实例分割网络利用上述所述的训练方法训练获得。通过以上方案可知，本申请提供了一种实例分割网络的训练模型，包括：特征提取网络、检测分割头部网络、直方图头部网络和损失计算模块，其中；所述特征提取网络，用于对图像进行处理，以获得多个候选框；所述检测分割头部网络，用于对所述多个候选框携带的时域信息进行处理，以输出所述图像中的各个目标；所述直方图头部网络，用于对所述多个候选框携带的频域信息进行处理，以输出预测直方图；所述损失计算模块，用于计算所述目标的目标损失值和所述预测直方图的直方图损失值，并基于所述目标损失值和所述直方图损失值优化所述特征提取网络、所述检测分割头部网络和所述直方图头部网络分别对应的训练参数。可见，本申请提供的实例分割网络的训练模型能够对图像的时域信息和频域信息同时进行训练，因此增加了训练过程中的信息量，同时以时域信息和频域信息分别针对的损失值优化训练参数，可以提高训练精度，因此可以提高实例分割网络的计算精度和分割性能。相应地，本申请提供的一种实例分割网络的训练方法和一种实例分割网络，也同样具有上述技术效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请公开的第一种实例分割网络的训练模型示意图；图2为本申请公开的第一种直方图头部网络的结构示意图；图3为本申请公开的第二种直方图头部网络的结构示意图；图4为本申请公开的第三种直方图头部网络的结构示意图；图5为本申请公开的第四种直方图头部网络的结构示意图；图6为本申请公开的第一种检测分割头部网络的结构示意图；图7为本申请公开的第二种检测分割头部网络的结构示意图；图8为本申请公开的一种特征提取网络的结构示意图；图9为本申请公开的第二种实例分割网络的训练模型示意图；图10为本申请公开的一种Non-Local注意力网络的结构示意图；图11为本申请公开的第三种实例分割网络的训练模型示意图；图12为本申请公开的一种预测直方图示意图；图13为本申请公开的一种实例分割网络的训练方法流程图；图14为本申请公开的一种Mask-RCNN的结构示意图；图15为本申请公开的一种利用实例分割网络对街景图像进行实例分割的结果示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他本文档来自技高网...

【技术保护点】
1.一种实例分割网络的训练模型，其特征在于，包括：特征提取网络、检测分割头部网络、直方图头部网络和损失计算模块，其中；/n所述特征提取网络，用于对图像进行处理，以获得多个候选框；/n所述检测分割头部网络，用于对所述多个候选框携带的时域信息进行处理，以输出所述图像中的各个目标；/n所述直方图头部网络，用于对所述多个候选框携带的频域信息进行处理，以输出预测直方图；/n所述损失计算模块，用于计算所述目标的目标损失值和所述预测直方图的直方图损失值，并基于所述目标损失值和所述直方图损失值优化所述特征提取网络、所述检测分割头部网络和所述直方图头部网络分别对应的训练参数。/n

【技术特征摘要】
1.一种实例分割网络的训练模型，其特征在于，包括：特征提取网络、检测分割头部网络、直方图头部网络和损失计算模块，其中；
所述特征提取网络，用于对图像进行处理，以获得多个候选框；
所述检测分割头部网络，用于对所述多个候选框携带的时域信息进行处理，以输出所述图像中的各个目标；
所述直方图头部网络，用于对所述多个候选框携带的频域信息进行处理，以输出预测直方图；
所述损失计算模块，用于计算所述目标的目标损失值和所述预测直方图的直方图损失值，并基于所述目标损失值和所述直方图损失值优化所述特征提取网络、所述检测分割头部网络和所述直方图头部网络分别对应的训练参数。


2.根据权利要求1所述的实例分割网络的训练模型，其特征在于，
所述直方图头部网络包括：目标子网和输出层；
所述目标子网包括注意力子网、包括至少一个卷积层的卷积子网、包括至少一个全连接层的全连接子网中的任一个或组合；
所述注意力子网和/或所述卷积子网，用于确定各个候选框中不同像素点之间的关系，并根据所述关系生成关系频域信息；
所述全连接子网，用于提取各个候选框中的特征频域信息；
所述输出层，用于根据所述关系频域信息和/或所述特征频域信息生成所述预测直方图。


3.根据权利要求2所述的实例分割网络的训练模型，其特征在于，
若所述目标子网包括所述注意力子网和所述卷积子网，则所述注意力子网的输出端连接于所述卷积子网的输入端；
若所述目标子网包括所述卷积子网和所述全连接子网，则所述卷积子网的输出端连接于所述全连接子网的输入端；
若所述目标子网包括所述注意力子网和所述全连接子网，则所述注意力子网的输出端连接于所述全连接子网的输入端；
若所述目标子网包括所述注意力子网、所述卷积子网和所述全连接子网，则所述注意力子网的输出端连接于所述卷积子网的输入端，所述卷积子网的输出端连接于所述全连接子网的输入端。


4.根据权利要求2所述的实例分割网络的训练模型，其特征在于，...

【专利技术属性】
技术研发人员：王立，范宝余，郭振华，赵雅倩，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32