基于多通道融合的图像识别方法、装置和存储介质制造方法及图纸

本发明专利技术提供一种基于多通道融合的图像识别方法、装置和存储介质。该方法包括：获取步骤，获取历史样本的包含人体口腔区域的多张图像；筛选步骤，从获取的多张图像中，筛选出每个历史样本的特定数量的历史图像；融合步骤，将每个历史样本的筛选出的特定数量的历史图像进行多通道融合处理，得到融合后的图像作为各历史样本的输入图像，以建立训练数据集；构建步骤，基于深度网络算法，构建图像识别模型，并使用训练数据集训练图像识别模型；识别步骤，通过将待识别图像输入训练后的图像识别模型，进行图像识别，以得到图像识别结果。本发明专利技术的图像识别方法通过对图像进行多通道融合，能够充分利用多维特征信息，从而提高识别气道类型的准确性。的准确性。的准确性。

【技术实现步骤摘要】
基于多通道融合的图像识别方法、装置和存储介质


[0001]本专利技术涉及计算机视觉相关
，更具体地，涉及一种基于多通道融合的图像识别方法、装置和存储介质。

技术介绍

[0002]随着机器视觉与人工智能技术的发展，基于机器视觉的人工智能应用已广泛应用于各行各业，如人脸检测、行人追踪、目标检测等。然而定制化的人工智能在智慧工地应用中仍然存在一定困难：一方面，视觉应用相关的人工智能场景往往需要GPU服务器计算资源予以算力支撑，在部署端实施需要现场机房提供部署条件；另一方面，不同应用场景的定制化需求(如保安识别、着装识别)需要对算法模型进行定制化的开发。
[0003]目前，边缘端的机器视觉人工智能应用如图像分类、目标定位、目标识别等，为了达到较高的可应用性，需要在应用边缘端部署服务器+GPU显卡进行业务处理及模型应用。其缺点是：1、成本高，一台服务器加显卡价格往往达到几万元；2、部署要求高，需要将服务器部署于机房机柜并保证散热条件。经过检索，中国专利公开号CN214846751U公开了一种基于边缘计算的移动人脸布控装置和系统，具体公开了：通过设置远程通讯模块和远程定位模块能够实现远程通讯，传递位置信息和传递智能处理系统的数据信息，通过设置智能处理系统对图片进行预处理、识别以及利用边缘计算模块对图像信息进行特征提取、比对。但是，该专利仅涉及边缘计算的方法，并未涉及使用机器模型识别算法方面的内容。
[0004]然而，通常使用传统机器学习方法和深度学习方法进行气道类型预测，但是存在识别精度低、可靠性低等问题，并且对于科研、教学的价值非常有限。现有气道预测相关文献还存在数据集规模过小、模型泛化能力太差、识别准确率不高等问题，并且最主要原因在于所使用的图像太过单一，仅凭单张图像来判断是否属于困难气道，可信度不高。另外，在图像分类应用场景下的图像特征提取、图像识别精度等方面仍存在很大改进空间。
[0005]因此，有必要提供一种改进了的图像识别方法。

技术实现思路

[0006]因此，鉴于现有技术中存在的上述问题，而提出本专利技术。
[0007]根据本专利技术的第一方面，提供了一种基于多通道融合的图像识别方法，该图像识别方法包括：获取步骤，获取历史样本的包含人体口腔区域的多张图像；筛选步骤，从所述获取步骤中获取的多张图像中，筛选出每个历史样本的特定数量的历史图像；融合步骤，将所述每个历史样本的筛选出的特定数量的历史图像进行多通道融合处理，得到融合后的图像作为各历史样本的输入图像，以建立训练数据集；构建步骤，基于深度网络算法，构建图像识别模型，并使用所述训练数据集训练所述图像识别模型；识别步骤，通过将待识别图像输入训练后的图像识别模型，进行图像识别，以得到图像识别结果。
[0008]根据优选实施方式，在所述筛选步骤中根据预设筛选参数和筛选规则，从所述获取步骤中获取的多张图像中，筛选出每个历史样本的特定数量的图像；所述预设筛选参数
包括张口度、气道分级、颈长、颈围、头颈活动度和甲颏间距，所述筛选规则包括张口度是否小于指定值，气道分级是否大于指定级别，颈长是否小于设定值或者颈围是否小于设定值，头颈活动度是否小于特定角度，甲颏间距是否小于指定距离。
[0009]根据优选实施方式，在所述融合步骤中，按照红绿蓝三通道，将所述每个历史样本的筛选出的特定数量的历史图像中各图像拆分成三个通道，并将拆分后的各图像按通道进行图像拼接，以得到融合后的图像。
[0010]根据优选实施方式，在所述融合步骤中，所述建立训练数据集包括：通过使用气道分级大于等于指定级别、张口度是否小于预定值、颈长是否小于设定值或者颈围是否小于设定值、头颈活动度是否小于特定角度以及甲颏间距是否小于指定距离，定义目标气道的类别标签，来定义正样本和负样本，以确定目标气道和非目标气道，并使用标注有气道类别的通道融合后的图像，建立训练数据集。
[0011]根据优选实施方式，在所述构建步骤中，包括：通过利用设定的卷积核对特定数量的历史图像进行卷积计算，来完成一次特征提取，得到底层特征信息，并得到第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，第一特征图为包含张口度信息的特征图，第二特征图为包含气道分级信息的特征图，第三特征图为包含颈长信息的特征图，第四特征图为包含颈围信息的特征图，第五特征图为包含甲颏间距信息的特征图；对所得到的第一特征图、第二特征图、第三特征图、第四特征图和第五特征图进行后续的多次特征提取，得高层特征信息，该高层特征信息用于表征目标气道相关的抽象特征信息。
[0012]根据优选实施方式，在所述构建步骤中，在模型训练过程中，通过最小化网络在训练数据集上的交叉熵损失函数来不断优化网络，使其拟合出用于进行气道分类的判断曲线；根据正样本与负样本的数量比例，设置目标气道和非目标气道的类权重。
[0013]根据优选实施方式，所述图像识别方法还包括：预处理步骤，在进行多通道融合处理之前，对筛选出的特定数量的历史图像进行数据预处理，所述数据预处理包括去背景、边缘提取、口腔区域截取、数据增强处理；其中所述数据增强处理包括对样本图像进行水平翻转，在指定角度范围内随机旋转、缩放、调整亮度、对比饱和度和色调，并在所述数据增强处理之后进行归一化处理。
[0014]根据优选实施方式，利用DenseNet算法，构建图像识别模型。
[0015]根据优选实施方式，在所述识别步骤中，通过筛选出被检体的多张图像，并将所述被检体的多张图像经多通道信息融合后获得的图像作为待识别图像，输入训练后的图像识别模型，来输出是否为目标气道的图像识别结果。
[0016]根据本专利技术的第二方面，提供了一种图像识别装置，该图像识别装置包括：数据获取模块，用于获取历史样本的包含人体口腔区域的多张图像；数据筛选模块，用于从获取的多张图像中，筛选出每个历史样本的特定数量的历史图像；融合处理模块，用于将所述每个历史样本的筛选出的特定数量的历史图像进行多通道融合处理，得到融合后的图像作为各历史样本的输入图像以建立训练数据集；模型构建模块，用于基于深度网络算法，构建图像识别模型，并使用所述训练数据集训练所述图像识别模型；图像识别模块，用于通过将待识别图像输入训练后的图像识别模型，进行图像识别，以得到图像识别结果。
[0017]根据优选实施方式，所述数据筛选模块根据预设筛选参数和筛选规则，从获取的多张图像中，筛选出每个历史样本的特定数量的图像；所述预设筛选参数包括张口度、气道
分级、颈长、颈围、头颈活动度和甲颏间距，所述筛选规则包括张口度是否小于指定值，气道分级是否大于指定级别，颈长是否小于设定值或者颈围是否小于设定值，头颈活动度是否小于特定角度，甲颏间距是否小于指定距离。
[0018]根据优选实施方式，所述融合处理模块按照红绿蓝三通道，将所筛选出的特定数量的历史图像中各图像拆分成三个通道，并将拆分后的各图像按通道进行图像拼接，以得到融合后的图像。
[0019]根据本专利技术的第三方面，提供了一种暂时性计算机可读存储介质，其用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多通道融合的图像识别方法，所述图像识别方法包括：获取步骤，获取历史样本的包含人体口腔区域的多张图像；筛选步骤，从所述获取步骤中获取的多张图像中，筛选出每个历史样本的特定数量的历史图像；融合步骤，将所述每个历史样本的筛选出的特定数量的历史图像进行多通道融合处理，得到融合后的图像作为各历史样本的输入图像，以建立训练数据集；构建步骤，基于深度网络算法，构建图像识别模型，并使用所述训练数据集训练所述图像识别模型；识别步骤，通过将待识别图像输入训练后的图像识别模型，进行图像识别，以得到图像识别结果。2.根据权利要求1所述的图像识别方法，其中，在所述筛选步骤中根据预设筛选参数和筛选规则，从所述获取步骤中获取的多张图像中，筛选出每个历史样本的特定数量的图像；所述预设筛选参数包括张口度、气道分级、颈长、颈围、头颈活动度和甲颏间距，所述筛选规则包括张口度是否小于指定值，气道分级是否大于指定级别，颈长是否小于设定值或者颈围是否小于设定值，头颈活动度是否小于特定角度，甲颏间距是否小于指定距离。3.根据权利要求1或2所述的图像识别方法，其中，在所述融合步骤中，按照红绿蓝三通道，将所述每个历史样本的筛选出的特定数量的历史图像中各图像拆分成三个通道，并将拆分后的各图像按通道进行图像拼接，以得到融合后的图像。4.根据权利要求1所述的图像识别方法，其中，在所述融合步骤中，所述建立训练数据集包括：通过使用气道分级大于等于指定级别、张口度是否小于预定值、颈长是否小于设定值或者颈围是否小于设定值、头颈活动度是否小于特定角度以及甲颏间距是否小于指定距离，定义目标气道的类别标签，来定义正样本和负样本，以确定目标气道和非目标气道，并使用标注有气道类别的通道融合后的图像，建立训练数据集。5.根据权利要求1所述的图像识别方法，其中，在所述构建步骤中，包括：通过利用设定的卷积核对特定数量的历史图像进行卷积计算，来完成一次特征提取，得到底层特征信息，并得到第一特征图、第二特征图、第三特征图、第四特征图和第五特征图，第一特征图为包含张口度信息的特征图，第二特征图为包含气道分级信息的特征图...

【专利技术属性】
技术研发人员：张加强，王广治，吴苏，王梅云，
申请(专利权)人：河南省人民医院，
类型：发明
国别省市：