一种智能中医望诊方法、装置、设备和介质制造方法及图纸

本申请实施例提供了一种智能中医望诊方法、装置、设备和介质，其中方法包括获取望诊视频，望诊视频为对人体的多个部位进行拍摄所形成的视频；通过图像分割网络对望诊视频的图像帧进行图像分割，得到分割图像帧；通过分拣网络对分割图像帧进行图像识别得到分割图像帧的类别，对分割图像帧进行评分得到分割图像帧的评分结果，根据类别和评分结果确定每个类别的目标图像帧；根据每个类别的目标图像帧得到望诊结果；综合不同类型的目标图像帧得到望诊结果，提高望诊准确性。提高望诊准确性。提高望诊准确性。

【技术实现步骤摘要】
一种智能中医望诊方法、装置、设备和介质


[0001]本申请实施例涉及但不限于图像处理领域，尤其涉及一种智能中医望诊方法、装置、设备和介质。

技术介绍

[0002]将图像处理技术应用到中医领域是目前的趋势，目前通常图像的采集设备的固定装置多相对封闭，如采用箱体、积分球式箱体、黑幕布摄影棚等，然而，封闭形式易引发被采集者产生心理压力而不能保持血气平和与自然的生理心理状态，导致图像失真，进而降低诊断结果的准确性。且目前的望诊方法通常基于单一类型的图像，例如舌头图像或者面部图像，导致精确性不足。

技术实现思路

[0003]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0004]本申请实施例提供了一种智能中医望诊方法、装置、设备和介质。
[0005]本申请的第一方面的实施例，一种智能中医望诊方法，包括：
[0006]获取望诊视频，其中所述望诊视频为对人体的多个部位进行拍摄所形成的视频；
[0007]通过图像分割网络对所述望诊视频的图像帧进行图像分割，得到分割图像帧；
[0008]通过分拣网络对所述分割图像帧进行图像识别得到所述图像帧的类别，对所述图像帧进行评分得到所述图像帧的评分结果，根据所述图像帧的类别和所述图像帧的评分结果，从所述图像帧中确定每个类别的目标图像帧；
[0009]根据每个类别的目标图像帧得到望诊结果。
[0010]本申请的第一方面的某些实施例，所述图像分割网络基于Unet结构，所述图像分割网络包括最大池化层；在图像分割过程中通过所述最大池化层的可微池化函数对所述望诊视频的图像帧进行最大池化。
[0011]本申请的第一方面的某些实施例，所述图像分割网络包括级联的多个编码器；在图像分割过程中，通过所述编码器的边缘特征提取模块从所述舌头图像提取边缘特征信息，所述边缘特征信息用于监控和指导舌头图像的图像分割。
[0012]本申请的第一方面的某些实施例，所述图像分割网络还包括级联的多个解码器，所述编码器与所述解码器一一对应地跳跃连接；在图像分割过程中，通过信息过滤模块过滤所述编码器的层输出信息得到第一特征信息，并将所述第一特征信息传递给对应的所述解码器，所述第一特征信息用于提高所述图像分割网络的分割效果。
[0013]本申请的第一方面的某些实施例，所述解码器设有注意力模块；在图像分割过程中，通过所述注意力模块得到注意力特征，所述注意力特征用于增强所述分割图像的特征表达。
[0014]本申请的第一方面的某些实施例，所述通过图像分割网络对所述望诊视频的图像
帧进行图像分割，得到分割图像帧，包括：
[0015]根据所述第一特征信息和所述注意力特征，得到所述分割图像帧。
[0016]本申请的第一方面的某些实施例，所述分拣网络包括生成器和判别器；所述分拣网络按照以下方法进行训练：
[0017]利用带类别信息的源域数据对所述生成器进行训练，并通过损失函数对所述生成器的参数进行调整；
[0018]通过所述生成器对目标域数据赋予类别信息，得到带类别信息的目标域数据；
[0019]将带类别信息的源域数据和带类别信息的目标域数据输入至所述判别器进行判别；
[0020]对所述生成器和所述判别器进行对抗训练。
[0021]本申请的第二方面的实施例，一种智能中医望诊装置，包括：
[0022]视频获取模块，用于获取望诊视频，其中所述望诊视频为对人体的多个部位进行拍摄所形成的视频；
[0023]图像分割模块，用于通过图像分割网络对所述望诊视频的图像帧进行图像分割，得到分割图像帧；
[0024]图像分拣模块，通过分拣网络对所述分割图像帧进行图像识别得到所述图像帧的类别，对所述图像帧进行评分得到所述图像帧的评分结果，根据所述图像帧的类别和所述图像帧的评分结果，从所述图像帧中确定每个类别的目标图像帧；
[0025]望诊结果输出模块，用于根据每个类别的目标图像帧得到望诊结果。
[0026]本申请的第三方面的实施例，一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的智能中医望诊方法。
[0027]本申请的第四方面的实施例，一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的智能中医望诊方法。
[0028]上述方案至少具有以下的有益效果：获取望诊视频，望诊视频为对人体的多个部位进行拍摄所形成的视频；通过图像分割网络对望诊视频的图像帧进行图像分割，得到分割图像帧；通过分拣网络对分割图像帧进行图像识别得到图像帧的类别，对分割图像帧进行评分得到分割图像帧的评分结果，根据分割图像帧的类别和分割图像帧的评分结果，从分割图像帧中确定每个类别的目标图像帧；根据每个类别的目标图像帧得到望诊结果；综合不同类型的目标图像帧得到望诊结果，即综合对人体的多个部位进行望诊，提高望诊准确性。
附图说明
[0029]附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0030]图1是本申请所提供的智能中医望诊方法的步骤图；
[0031]图2是图像分割网络的结构图；
[0032]图3是图像分割网络和分拣网络的连接关系图；
[0033]图4是本申请所提供的智能中医望诊装置的结构图。
具体实施方式
[0034]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0035]需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0036]本申请实施例提供了一种智能中医望诊方法。
[0037]参照图1，智能中医望诊方法，包括：
[0038]步骤S100，获取望诊视频，其中望诊视频为对人体的多个部位进行拍摄所形成的视频；
[0039]步骤S200，通过图像分割网络对望诊视频的图像帧进行图像分割，得到分割图像帧；
[0040]步骤S300，通过分拣网络对分割图像帧进行图像识别得到图像帧的类别，对图像帧进行评分得到图像帧的评分结果，根据图像帧的类别和图像帧的评分结果，从图像帧中确定每个类别的目标图像帧；
[0041]步骤S400，根据每个类别的目标图像帧得到望诊结果。
[0042]对于步骤S100，通过智能中医望诊视频实时釆集平台获取望诊视频，智能中医望诊视频实时釆集平台包括支架、光源、摄像机以及具有系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能中医望诊方法，其特征在于，包括：获取望诊视频，其中所述望诊视频为对人体的多个部位进行拍摄所形成的视频；通过图像分割网络对所述望诊视频的图像帧进行图像分割，得到分割图像帧；通过分拣网络对所述分割图像帧进行图像识别得到所述分割图像帧的类别，对所述分割图像帧进行评分得到所述分割图像帧的评分结果，根据所述分割图像帧的类别和所述分割图像帧的评分结果，从所述分割图像帧中确定每个类别的目标图像帧；根据每个类别的目标图像帧得到望诊结果。2.根据权利要求1所述的一种智能中医望诊方法，其特征在于，所述图像分割网络基于Unet结构，所述图像分割网络包括最大池化层；在图像分割过程中通过所述最大池化层的可微池化函数对所述望诊视频的图像帧进行最大池化。3.根据权利要求1所述的一种智能中医望诊方法，其特征在于，所述图像分割网络包括级联的多个编码器；在图像分割过程中，通过所述编码器的边缘特征提取模块从所述舌头图像提取边缘特征信息，所述边缘特征信息用于监控和指导舌头图像的图像分割。4.根据权利要求3所述的一种智能中医望诊方法，其特征在于，所述图像分割网络还包括级联的多个解码器，所述编码器与所述解码器一一对应地跳跃连接；在图像分割过程中，通过信息过滤模块过滤所述编码器的层输出信息得到第一特征信息，并将所述第一特征信息传递给对应的所述解码器，所述第一特征信息用于提高所述图像分割网络的分割效果。5.根据权利要求4所述的一种智能中医望诊方法，其特征在于，所述解码器设有注意力模块；在图像分割过程中，通过所述注意力模块得到注意力特征，所述注意力特征用于增强所述分割图像的特征表达。6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：冯跃，徐红，梁淑芬，林卓胜，袁伟镇，马圆港，李胜可，吴欣，
申请(专利权)人：五邑大学，
类型：发明
国别省市：