基于多光谱图像融合识别的目标判定方法技术

本发明专利技术公开了一种基于多光谱图像融合识别的目标判定方法，步骤如下：S1、采集已有图像样本；S2、将图像样本以特定的格式导入电脑，读取、分析样本图像的特征，并按照注射时长及注射后的特征进行标注，建立样本数据库；S3、构建多光谱图像和目标识别算法，分别用红外相机和可见光相机采集图像数据，并进行图像配准；利用深度学习模型对多光谱图像时序性特征进行自动提取，送入分类器，进行目标检测、分类与定位；S4、将目标检测及分类结果上传至APP，由医护人员对分类结果进行判断，得出最终结果。本发明专利技术提升目标检测结果的精度与准确性，提高医护人员工作效率，保证患者安全用药。保证患者安全用药。保证患者安全用药。

【技术实现步骤摘要】
基于多光谱图像融合识别的目标判定方法


[0001]本专利技术属于图像识别
，具体涉及一种基于多光谱图像融合识别的目标判定方法。

技术介绍

[0002]目前，青霉素皮试结果是由护士根据判断标准肉眼观察并做出判断，其标准参照《中华人民共和国药典临床用药须知》的推荐方法执行：局部红肿，直径＞1cm，或比原皮丘增大超过3mm，或局部红晕，为阳性。实际操作中由于护士主观判断的差异性，客观环境因素(光线、患者皮肤特质)干扰，对皮丘大小、红晕范围、与周围皮肤的界限，以及病人本身皮肤的特质(比如敏感型皮肤)很难做出准确统一的判断，即便用皮试尺等测量工具，也存在测量点选择不同而得出不同结果。碰到模棱两可的皮试反应，护士处于规避风险的考虑，往往判断阳性，而这一类病人通过做青霉素皮试对照试验，95％以上是假阳性(来自医院科室所做对照试验的数据)，病人如果被误判将失去最佳用药机会。因此需要有一种更智能、更精准的技术来帮助护士做出更准确的判断。

技术实现思路

[0003]本专利技术针对现有技术中的不足，提供一种基于多光谱图像融合识别的目标判定方法，目的是解决护士目测观察、判断青霉素皮试结果的主观差异性，提高结果判断的精准度、准确率。
[0004]为实现上述目的，本专利技术采用以下技术方案：一种基于多光谱图像融合识别的目标判定方法，包括如下步骤：
[0005]S1、采集已有图像样本；
[0006]S2、将图像样本以特定的格式导入电脑，读取、分析样本图像的特征，并按照注射时长及注射后的特征进行标注，建立样本数据库；
[0007]S3、构建多光谱图像和目标识别算法，分别用红外相机和可见光相机采集图像数据，进行图像配准；利用深度学习模型对多光谱图像时序性特征进行自动提取，送入分类器，进行目标检测、分类与定位；
[0008]S4、由目标识别算法对图像样本进行识别判定；如果算法判定的结果与人工判定结果一致，则直接在样本数据库中标注结果；反之，则经第三人参与判断，校正后标注结果；
[0009]S5、将目标检测及分类结果上传至APP，由医护人员对分类结果进行判断，得出最终结果。
[0010]为优化上述技术方案，采取的具体措施还包括：
[0011]进一步地，步骤S1中，采集的图像样本包括注射0分钟时刻和注射20分钟时刻的图片，由医护人员给出判断结果。
[0012]进一步地，步骤S2中，分别对“注射0分钟”时刻、“注射20分钟”时刻及两个时刻的判断结果分别进行标注。
[0013]进一步地，步骤S3中，多光谱图像和目标识别算法对红外图像与可见光图像中的特征进行识别、检测，特征包括皮丘的大小、颜色、红晕范围，皮丘与周围皮肤的界限。
[0014]进一步地，在图像配准过程中，制作图像标定板，通过局部加热的方法增强红外图像中的特征，完成联合标定。
[0015]进一步地，步骤S3包括构建一种基于红外图像与可见光图像的离线配准方法，首先利用图像标定板和特征点获取红外图像和可见光图像的映射变换矩阵H，然后利用H矩阵实现多光谱图像对之间的配准。
[0016]进一步地，步骤S3具体包括如下步骤：
[0017]S31、分别使用红外相机和可见光相机采集图像数据，对同一张图像采集的一组数据包括一张红外图像和一张可见光图像；
[0018]S32、判断采集的图像对是否大于20组，如果否，则进入步骤S33；如果是，则进入步骤S34；
[0019]S33、对红外图像和可见光图像对应取4对特征点，计算可见光图像到红外图像平面的H矩阵；继续步骤S32；
[0020]S34、对其中20组H矩阵取均值并保存；
[0021]S35、判断剩余组计算H矩阵，输出标定结果；由医护人员判断标定的效果，若标定效果不好，则返回步骤S32；若标定的效果好，则图像配准结束。
[0022]进一步地，H矩阵即为单应性矩阵，由下面的公式来表示：
[0023][0024]红外图像和可见光图像的像素转换关系可以写成如下形式：
[0025][0026]式中，(x1，y1)为可见光图像的像素点坐标；(x2，y2)为红外图像的像素点坐标；h
00
‑
h
22
为单应性矩阵的参数。
[0027]进一步地，步骤S3包括构建一种目标检测神经网络模型，利用VGG16对可见光图像和红外图像分别进行特征提取并移除全连接层，在第四层卷积层后面增加多模态图像特征地图融合模块，在之后加入RPN网络、ROI网络与两个全连接层，并将全连接后的特征信息分别送入边界框回归预测头及分类预测头，得到最终的目标检测结果和皮试目标区域在可见光图像中的定位。
[0028]进一步地，在第四个VGG
‑
16卷积模块之后，通过多模态图像特征地图融合模块对可见光图像和红外图像子网络得到的特征图进行融合，利用concat函数对特征地图进行堆叠，并利用1
×
1卷积层进行特征降维，使特征图的尺寸减小到512。
[0029]本专利技术的有益效果是：1、本专利技术在图像采集精度、图像配准、特征图像的提取、特征融合、结果检测等方面采用了优化的技术方案，充分利用细粒度特征，比如皮丘大小、红晕范围、颜色、与周围皮肤界限，从而提升目标检测结果的准确性。
[0030]2、随着样本数据库的不断扩充，海量数据为本专利技术算法提供更多的信息，机器深
度学习的效能愈专利技术显，目标识别的精确度越来越高。最终创建手机APP应用程序，护士只需一部手机就可以得到检测结果并加以判断。
[0031]3、医护人员承担的工作风险降低，面对难以判断的皮试结果，缓解医护人员的工作压力。
附图说明
[0032]图1是本专利技术实施例基于传感器图像时序性特征分析的目标判定方法流程图。
[0033]图2是本专利技术实施例多光谱图像配准方法流程图。
[0034]图3是本专利技术实施例可见光图像与红外图像配准标定板示意图。
[0035]图4是本专利技术实施例基于多光谱图像融合的青霉素皮试结果检测神经网络模型示意图。
[0036]图5是本专利技术实施例多光谱图像特征融合模型结构图。
具体实施方式
[0037]现在结合附图对本专利技术作进一步详细的说明。
[0038]需要注意的是，专利技术中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本专利技术可实施的范围，其相对关系的改变或调整，在无实质变更
技术实现思路
下，当亦视为本专利技术可实施的范畴。
[0039]青霉素是目前常用的抗生素之一，具有疗效高、毒性低，但较易发生过敏反应的特点。因此，在使用各种剂型的青霉素制剂前，必须先做过敏试验(皮试)，试验结果阴性方可用药。试验方法：皮内注射青霉素试验液0.1ml(50U)，20分钟后观察结果。皮内试验结果判断：(1)阴性：皮丘无改变，周围无红肿、红晕，无自觉症状。(2)阳性：局部红肿，直径＞1cm，或比原本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多光谱图像融合识别的目标判定方法，其特征在于，包括如下步骤：S1、采集已有图像样本；S2、将图像样本以特定的格式导入电脑，读取、分析样本图像的特征，由人工按照注射时长及注射后的特征进行标注，建立样本数据库；S3、构建多光谱图像和目标识别算法，分别用红外相机和可见光相机采集图像数据，并进行图像配准；利用深度学习模型对多光谱图像时序性特征进行自动提取，送入分类器，进行目标检测、分类与定位；S4、由目标识别算法对图像样本进行识别判定；如果算法判定的结果与人工判定结果一致，则直接在样本数据库中标注结果；反之，则经第三人参与判断，校正后标注结果；S5、将目标检测及分类结果上传至APP，由医护人员对分类结果进行判断，得出最终结果。2.根据权利要求1所述的目标判定方法，其特征在于，步骤S1中，采集的图像样本包括注射0分钟时刻和注射20分钟时刻的图片，由医护人员给出判断结果。3.根据权利要求1所述的目标判定方法，其特征在于，步骤S2中，分别对“注射0分钟”时刻、“注射20分钟”时刻及两个时刻的判断结果分别进行标注。4.根据权利要求1所述的目标判定方法，其特征在于，步骤S3中，多光谱图像和目标识别算法对红外图像与可见光图像中的特征进行识别、检测，特征包括皮丘的大小、颜色、红晕范围，皮丘与周围皮肤的界限。5.根据权利要求1所述的目标判定方法，其特征在于，在图像配准过程中，制作图像标定板，通过局部加热的方法增强红外图像中的特征，完成联合标定。6.根据权利要求5所述的目标判定方法，其特征在于，步骤S3包括构建一种基于红外图像与可见光图像的离线配准方法，首先利用图像标定板和特征点获取红外图像和可见光图像的映射变换矩阵H，然后利用H矩阵实现多光谱图像对之间的配准。7.根据权利要求6所述的目标判定方法，其特征在于，步骤S3具体包括如下步...

【专利技术属性】
技术研发人员：陆胜美，耿可可，卢山，
申请(专利权)人：南京鼓楼医院，
类型：发明
国别省市：