使用深度学习的基于图像的自动皮肤诊断制造技术

示出和描述了一种用于皮肤诊断和测试度量的基于深度学习的系统和方法，显示这种基于深度学习的系统在表观皮肤诊断任务上的表现优于人类专家。还示出和描述了一种使用基于深度学习的用于皮肤诊断的系统和方法来监测皮肤治疗方案的系统和方法。肤治疗方案的系统和方法。肤治疗方案的系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】使用深度学习的基于图像的自动皮肤诊断
[0001]交叉引用
[0002]本申请针对美国要求巴黎公约对2018年12月4日提交的美国临时专利申请第62/775,117号的国内利益和所有其他司法管辖区的优先权，其内容在允许的情况下通过引用结合于此。


[0003]本文件涉及诸如用于皮肤病学的皮肤诊断以及皮肤治疗监测，并且更具体地涉及用于使用深度学习的基于图像的自动皮肤诊断的系统和方法。

技术介绍

[0004]精确的皮肤分析是医学和化妆品领域的重要方面。可生成并分析皮肤的图像以确定一个或多个皮肤状况。期望仅仅通过使用计算机技术通过图像观察皮肤(表观皮肤诊断任务)来解决皮肤分析问题。该问题的成功解决方案将使皮肤分析更快且更便宜，因为它将不再需要皮肤科医生亲自检查人们。
[0005]诸如面部的图像之类的图像以编码的方式在图像的像素内呈现一个或多个皮肤状况。期望提供使用深度学习来执行基于图像的自动皮肤诊断或使得能够执行基于图像的自动皮肤诊断以从图像解码一个或多个皮肤状况的计算机实现的方法、计算设备和其他方面。/>
技术实现思路
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种皮肤诊断设备，包括：存储单元，所述存储单元用于存储和提供卷积神经网络(CNN)，所述卷积神经网络被配置为对图像的像素进行分类以便针对多个(N个)相应皮肤迹象中的每个皮肤迹象确定多个(N个)相应皮肤迹象诊断，其中，所述卷积神经网络包括用于图像分类的深度神经网络，所述深度神经网络被配置为生成所述N个相应皮肤迹象诊断，并且其中，使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据来训练所述卷积神经网络；以及处理单元，所述处理单元耦合至所述存储单元，所述处理单元被配置为接收所述图像并使用所述卷积神经网络处理所述图像以生成所述N个相应皮肤迹象诊断。2.根据权利要求1所述的皮肤诊断设备，其中，所述卷积神经网络包括：编码器相位，所述编码器相位根据用于图像分类的经预训练的网络定义并且被配置为将特征编码至最终编码器相位特征网；以及解码器相位，所述解码器相位被配置为接收所述最终编码器相位特征网，用于通过多个(N个)相应并行皮肤迹象分支进行解码，以生成所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断。3.根据权利要求2所述的皮肤诊断设备，其中，所述解码器相位包括全局池化操作，所述全局池化操作用于处理所述最终编码器相位特征网以将其提供至所述N个相应并行皮肤迹象分支中的每个皮肤迹象分支。4.根据权利要求2和3中的一项所述的皮肤诊断设备，其中，所述卷积神经网络被进一步配置为对所述像素进行分类以确定族裔向量，并且使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据和多个族裔来训练所述卷积神经网络。5.根据权利要求4所述的皮肤诊断设备，其中，所述解码器相位包括针对族裔的另一个并行分支，以生成所述族裔向量。6.根据权利要求2至5中任一项所述的皮肤诊断设备，其中，所述N个相应并行皮肤迹象分支中的每个分支依次包括：第一全连接层，接着是第一激活层、第二全连接层、第二激活层和最终激活层，以输出包括所述N个相应皮肤迹象诊断中的一个皮肤迹象诊断和所述族裔向量的最终值。7.根据权利要求6所述的皮肤诊断设备，其中，根据针对从所述第二激活层接收的输入分数x的等式(1)的函数来定义所述最终激活层：其中，针对所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断的相应分数范围，α是斜率，a是下限，b是上限。8.根据权利要求4至7中任一项所述的皮肤诊断设备：其中，使用形式为(x
i
，y
i
)的多个样本来训练所述卷积神经网络，其中，x
i
是第i个训练图像并且y
i
是基础真实皮肤迹象诊断的对应向量；并且其中，对所述卷积神经网络进行训练以最小化针对所述N个并行皮肤迹象分支的每个相应分支和针对所述族裔的所述另一个并行分支的损失函数。
9.根据权利要求8所述的皮肤诊断设备，其中，根据等式(3)，所述卷积神经网络被进一步训练以最小化损失函数L，所述损失函数包括与针对所述族裔的所述另一个并行分支的标准交叉熵分类损失L
族裔
加权组合的所述N个相应皮肤迹象分支中的每个皮肤迹象分支的L2损失函数：L＝L2+λL
族裔
ꢀꢀꢀꢀ
(3)其中，λ控制分数回归与族裔分类损失之间的平衡。10.根据权利要求1至9中任一项所述的皮肤诊断设备，其中，所述存储单元存储面部和界标检测器，以对所述图像进行预处理，并且其中，所述处理单元被配置为使用所述面部和界标检测器从所述图像中生成标准化图像，并且在使用所述卷积神经网络时使用所述标准化图像。11.根据权利要求1至10中任一项所述的皮肤诊断设备，其中，所述卷积神经网络包括用于图像分类的经预训练的网络，所述经预训练的网络适于生成所述N个相应皮肤迹象诊断，使得：所述经预训练的网络的全连接层被移除；并且N个相应层组被定义为针对所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断对相同的特征网进行并行解码。12.根据权利要求1至11中任一项所述的皮肤诊断设备，被配置为以下之一：用于个人使用的计算设备，包括移动设备；和经由通信网络提供皮肤诊断服务的服务器。13.根据权利要求1至12中任一项所述的皮肤诊断设备，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时提供治疗产品选择器，所述治疗产品选择器响应于所述N个皮肤迹象诊断中的至少一些皮肤迹象诊断以获得针对产品和治疗计划中的至少一者的推荐。14.根据权利要求1至13中任一项所述的皮肤诊断设备，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时提供图像获取功能以接收所述图像。15.根据权利要求1至14中任一项所述的皮肤诊断设备，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时提供治疗监测器以监测针对至少一种皮肤迹象的治疗。16.根据权利要求15所述的皮肤诊断设备，其中，所述处理单元被配置为进行与针对相应治疗阶段的产品应用相关联的治疗活动的提醒、指示和/或记录中的至少一者。17.根据权利要求1至16中任一项所述的皮肤诊断设备，其中，所述处理单元被配置为使用所述卷积神经网络处理第二图像以生成在治疗阶段之后接收的后续皮肤诊断。18.根据权利要求17所述的皮肤诊断设备，其中，所述存储单元存储代码，所述代码在由所述处理单元执行时，使用所述后续皮肤诊断来提供比较结果的呈现。19.一种皮肤诊断的计算机实现方法，包括：提供存储单元，以存储和提供卷积神经网络(CNN)，所述卷积神经网络被配置为对图像的像素进行分类以便针对多个(N个)相应皮肤迹象中的每个皮肤迹象确定多个(N个)相应皮肤迹象诊断，其中，所述卷积神经网络包括用于图像分类的深度神经网络，所述深度神经网络被配置为生成所述N个相应皮肤迹象诊断，并且其中，使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据来训练所述卷积神经网络；和
由耦接至所述存储单元的处理单元执行：接收所述图像；以及使用所述卷积神经网络处理所述图像以生成所述N个相应皮肤迹象诊断。20.根据权利要求19所述的方法，其中，所述卷积神经网络包括：编码器相位，所述编码器相位根据用于图像分类的经预训练的网络定义并且被配置为将特征编码至最终编码器相位特征网；以及解码器相位，所述解码器相位被配置为接收所述最终编码器相位特征网，所述最终编码器相位特征网用于通过多个(N个)相应并行皮肤迹象分支进行解码以生成所述N个相应皮肤迹象诊断中的每个皮肤迹象诊断。21.根据权利要求20所述的方法，其中，所述解码器相位包括全局池化操作，所述全局池化操作用于处理所述最终编码器相位特征网以将其提供至所述N个相应并行皮肤迹象分支中的每个皮肤迹象分支。22.根据权利要求20和21中的一项所述的方法，其中，所述卷积神经网络被进一步配置为对所述像素进行分类以确定族裔向量，并且使用针对所述N个相应皮肤迹象中的每个皮肤迹象的皮肤迹象数据和多个族裔来训练所述卷积神经网络，并且其中，所述卷积神经网络对所述图像的处理生成所述族裔向量。23.根据权利要求22所述的方法，其中，所述解码器相位包括针对族裔的另一个并行分支，以生成所述族裔向量。24.根据权利要求20至23中任一项所述的方法，其中，所述N个相应并行皮肤迹象分支中的每个分支依次包括：第一全连接层，接着是第一激活层、第二全连接层、第二激活层...

【专利技术属性】
技术研发人员：蒋若为，马俊伟，马赫，艾瑞克，
申请(专利权)人：巴黎欧莱雅，
类型：发明
国别省市：