一种基于多分支网络的图像分析方法及系统技术方案

本发明专利技术提供一种基于多分支网络的图像分析方法及系统，涉及智慧医疗技术领域。包括：获取多任务数据及标注；构建多分支图像识别网络模型，该模型包括特征提取主分支、关键点提取分支、图像分割分支和目标检测分支；利用形态感知损失函数训练所述多分支图像识别网络模型。该方法相对于先进行目标检测再进行图像分割或关键点识别的两阶段网络，具有更快的运算速度，即在不增加网络个数以及大量识别时间的情况下，使用单个神经网络完成对多个视觉识别任务的分析，且不会对识别结果造成准确度上的损失。损失。损失。

【技术实现步骤摘要】
一种基于多分支网络的图像分析方法及系统


[0001]本专利技术涉及遥操作机器人系统控制
，尤其涉及一种基于多分支网络的图像分析方法及系统。

技术介绍

[0002]在卵细胞浆内单精子注射显微影像分析任务中，需要通过人工智能和计算机视觉技术对显微图像中的注射针、卵子和精子等目标区域进行自动、准确且高效地检测和识别，从而为精子注射过程的表征、注射装置的自动化控制提供定位支撑。
[0003]然而，在实际应用中，需要同时实现精子的目标检测任务，针管、卵子和极体的图像分割任务，和针尖定位的关键点检测任务。上述多任务图像识别需求为算法的实时性提出了挑战。传统上Faster
‑
RCNN、Mask
‑
RCNN等方法通过首先进行目标检测，再在目标框内进行语义分割和关键点检测方法由于需要多阶段的图像分析步骤，延长了实际分析的时间，无法满足实际应用中对于图像实时分析的应用需求。
[0004]并且，在卵细胞浆内单精子注射显微影像中，针尖位置的识别准确率将直接影响自动化注射装置的运作，因此针尖位置的识别更为重要，但传统上并未对针尖识别进行优化。
[0005]因此，如何改进网络结构和优化算法收敛方法，在高效率的前提下同时满足上述多任务图像识别需求，并提高针尖识别算法的准确性，是卵细胞浆内单精子注射显微影像分析任务中一个重要研究问题。

技术实现思路

[0006]本专利技术基于多分支网络，提出了一种基于多分支网络的图像分析，从而解决如何改进网络结构和优化算法收敛方法，在高效率的前提下同时满足上述多任务图像识别需求，并提高针尖识别算法的准确性的问题。
[0007]为解决上述专利技术目的，本专利技术提供的技术方案如下：
[0008]本专利技术提供一种基于多分支网络的图像分析方法，该方法适用于电子设备，方法步骤包括：
[0009]S1、获取多任务数据及标注；
[0010]S2、构建多分支图像识别网络模型，多分支图像识别网络模型包括：特征提取主分支、关键点提取分支、图像分割分支和目标检测分支；
[0011]S3、基于多任务数据以及标注，利用形态感知损失函数训练多分支图像识别网络模型，获得训练后的模型；
[0012]S4、将待分析图像输入训练后的模型，获得分析数据，完成基于多分支网络的图像分析。
[0013]优选地，S1中，获取多任务数据及标注，包括：
[0014]按照多任务需求中每一任务的标注方式，对原始图像进行标注；
[0015]将原始图像及多任务标注组成的数据，按照预设的比例划分为训练集、验证集与测试集；
[0016]其中，标注方式包括：对于图像分割任务，对原始图像的前景和背景进行划分，得到原始图像的掩码标注；对于目标检测任务，对原始图像的待识别对象使用矩形框进行标注，并将单张原始图像的全部矩形框集中于单个文本中；对于关键点检测任务，对原始图像的待识别关键点使用点标注方法进行标注，并将单张原始图像的全部点标注集中于单个文本中。
[0017]优选地，S2中，构建多分支图像识别网络模型，多分支图像识别网络模型包括：特征提取主分支、关键点提取分支、图像分割分支和目标检测分支，包括：
[0018]将原始图像输入特征提取主分支，得到原始图像对应的高维特征；
[0019]将高维特征输入关键点提取分支，获得M个关键点坐标获得M个关键点坐标i∈[0,M
‑
1]；
[0020]将高维特征输入图像分割分支，获得与原始图像尺寸对应的图像分割置信度图，图像分割置信度图尺寸为H，W，C；其中H表示高、W表示宽，C表示类别数目；
[0021]将高维特征输入目标检测分支，获得q个待检测目标的位置参数获得q个待检测目标的位置参数其中分别是待检测目标q的左上角坐标、右上角坐标、宽度、高度、类别和置信度，q∈[0，Q
‑
1]。
[0022]优选地，图像特征提取主分支，包括：VGG、DenseNet、ResNet网络的一种或多种。
[0023]优选地，将原始图像输入特征提取主分支，得到原始图像对应的高维特征，包括：
[0024]将尺寸大小为H
×
W的原始图像下采样至H/8
×
W/8、H/16
×
W/16、H/32
×
W/32三种大小，得到三种不同尺度特征图；
[0025]使用特征金字塔网络FPN、自适应特征金字塔网络PAN的变种或是其组合模块，将不同尺度特征图经过上采样或下采样后达到相同尺寸H/8
×
W/8；
[0026]将上采样或下采样之后相同尺寸的特征图的相同位置上的值相加或者在通道维度上进行合并，利用特征融合获得高维特征。
[0027]优选地，S3中，基于多任务数据以及标注，利用形态感知损失函数训练多分支图像识别网络模型，获得训练后的模型，包括：
[0028]构建面向多分支任务的形态感知损失函数；
[0029]基于多任务数据以及标注，利用多分支任务的形态感知损失函数训练多分支图像识别网络模型。
[0030]优选地，面向多分支任务的形态感知损失函数，包括：
[0031]根据下述公式(1)构建面向多分支任务的形态感知损失函数L：
[0032]L＝L
seg
+L
obj
+L
point
(1)
[0033]其中L
seg
，L
obj
，和L
point
分别是图像分割分支、目标检测分支和关键点提取分支的损失函数。L
obj
为预测坐标位置与真实坐标的IOUloss和预测置信度与真实标签的BCEloss之和，L
point
为预测关键点坐标位置和真实关键点位置的BCEloss。
[0034]优选地，图像分割分支的定义包括：
[0035]根据下述公式(2)定义L
seg
：
[0036][0037]其中：N为图像中像素点个数；l(x)为像素点x对应的真实分类，为像素x对应的损失函数权重。p
l(x)
(x)指检测结果中像素点x属于其真实分类的概率，Ω表示像素空间。
[0038]优选地，图像分割分支的定义包括：
[0039]权重由三个权重损失项构成，分别为类别损失项形态损失项关键点定位损失项w
KPL
(x)，根据下述公式(3)计算权重：
[0040][0041]其中，λ1、λ2、λ3是三个加权的超参数，用于控制三个权重项的占比；T为目标关键点所在的类别；
[0042]根据下述公式(4)计算类别损失项：
[0043][0044]其中，num
k
为类别k的像素数目；C为包含背景在内的类别数目，i为类别权重通道序号，在集合{0，...，C}中取值；
[0045]根据下述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多分支网络的图像分析方法，其特征在于，所述方法步骤包括：S1、获取多任务数据及标注；S2、构建多分支图像识别网络模型，所述多分支图像识别网络模型包括：特征提取主分支、关键点提取分支、图像分割分支和目标检测分支；S3、基于所述多任务数据以及标注，利用形态感知损失函数训练所述多分支图像识别网络模型，获得训练后的模型；S4、将待分析图像输入所述训练后的模型，获得分析数据，完成基于多分支网络的图像分析。2.根据权利要求1所述的方法，其特征在于，所述S1中，获取多任务数据及标注，包括：按照多任务需求中每一任务的标注方式，对原始图像进行标注；将原始图像及多任务标注组成的数据，按照预设的比例划分为训练集、验证集与测试集；其中，标注方式包括：对于图像分割任务，对原始图像的前景和背景进行划分，得到原始图像的掩码标注；对于目标检测任务，对原始图像的待识别对象使用矩形框进行标注，并将单张原始图像的全部矩形框集中于单个文本中；对于关键点检测任务，对原始图像的待识别关键点使用点标注方法进行标注，并将单张原始图像的全部点标注集中于单个文本中。3.根据权利要求2所述的方法，其特征在于，所述S2中，构建多分支图像识别网络模型，所述多分支图像识别网络模型包括：特征提取主分支、关键点提取分支、图像分割分支和目标检测分支，包括：将原始图像输入特征提取主分支，得到所述原始图像对应的高维特征；将所述高维特征输入关键点提取分支，获得M个关键点坐标获得M个关键点坐标将所述高维特征输入图像分割分支，获得与所述原始图像尺寸对应的图像分割置信度图，所述图像分割置信度图尺寸为H，W，C；其中H表示高、W表示宽，C表示类别数目；将所述高维特征输入目标检测分支，获得q个待检测目标的位置参数其中所述其中所述分别是所述待检测目标q的左上角坐标、右上角坐标、宽度、高度、类别和置信度，q∈[0,Q
‑
1]。4.根据权利要求3所述的方法，其特征在于，所述图像特征提取主分支，包括：VGG、DenseNet、ResNet网络的一种或多种。5.根据权利要求4所述的方法，其特征在于，所述将原始图像输入特征提取主分支，得到所述原始图像对应的高维特征，包括：将尺寸大小为H
×
W的所述原始图像下采样至H/8
×
W/8、H/16
×
W/16、H/32
×
W/32三种大小，得到三种不同尺度特征图；使用特征金字塔网络FPN、自适应特征金字塔网络PAN的变种或是其组合模块，将不同尺度特征图经过上采样或下采样后达到相同尺寸H/8
×
W/8；
将上采样或下采样之后相同尺寸的特征图的相同位置上的值相加或者在通道维度上进行合并，利用特征融合获得高维特征。6.根据权利要求5所述的方法，其特征在于，所述S3中，基于所述多任务数据以及标注，利用形态感知损失函数训练所述多分支图像识别网络模型，获得训练后的模型，包括：构建面向多分支任务的形态感知损失函数；基于所述多任务数据以及标注，利用所述多分支任务的形态感知损失函数训练所述多分...

【专利技术属性】
技术研发人员：班晓娟，郭灿城，马博渊，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：