移动端舌象图像采集方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种移动端舌象图像采集方法、装置、电子设备及存储介质，该方法通过在移动端的前端页面显示舌头轮廓区域，当目标对象的舌头伸展在舌头轮廓区域，响应于目标对象触发的拍摄动作，采集得到舌象图像；通过预先训练的图像检测模型对舌象图像进行检测，得到舌头检测框；通过预先训练的分类模型检测舌头检测框中是否存在下嘴唇中点；当检测到舌头检测框中不存在下嘴唇中点，则确定舌象图像合格。通过移动端的前端页面显示舌头轮廓区域，能够协助拍摄得到固定了舌头位置的舌象图像，通过检测舌头检测框中是否存在下嘴唇中点，判断拍摄得到的舌象图像是否合格，能够确保拍摄得到合格的舌象图像，提高舌诊准确率，加快舌诊速率。加快舌诊速率。加快舌诊速率。

【技术实现步骤摘要】
移动端舌象图像采集方法、装置、电子设备及存储介质


[0001]本申请涉及信息采集
，尤其涉及一种移动端舌象图像采集方法、装置、电子设备及存储介质。

技术介绍

[0002]随着疫情的常态化，线上中医诊断成为人们新的选择，基于人工智能的移动端智能中医疾病诊断系统成为新的研究热点。舌诊，通过观察舌象，了解人体生理、病理变化，进而辅助身体健康状态判断和诊断治疗，在中医辨证论治过程中具有重要作用。在智能中医的发展背景下，舌诊的客观化成为必然要求，而移动端舌象数据的有效采集是舌诊客观化的前提。
[0003]伴随着远程医疗的发展，在远程舌诊过程中，首先要获得高质量、清晰的舌象，才能辅助医生输出正确的诊断结果。
[0004]目前，存在多种针对移动端的舌诊应用程序，这些舌诊应用程序需要用户手动拍摄或者选择本地舌象图片上传至云端系统，然后由系统给出对应的辨识结果。当用户通过对应的舌诊应用程序进行舌象拍摄时，会存在拍摄的舌象图像中存在舌象姿态异常的情况，并且由于拍摄后无法实时判断拍摄的舌象图像是否合格，用户容易将舌象姿态异常的舌象图像上传至舌诊应用程序，从而影响舌诊结果，同时也会导致舌诊进程慢的问题。
[0005]与此同时，目前目标检测算法多是基于服务器端，模型体积很大，无法满足算力与内存都有限的移动端；当通过移动端采集得到舌象图像之后，无法对异常姿态的舌象图像进行识别和筛除，从而会影响最终的舌诊结果。

技术实现思路

[0006]本申请实施例的主要目的在于提出一种移动端舌象图像采集方法、装置、电子设备及存储介质。旨在能够对异常姿态的舌象图像进行有效筛除，确保上传至舌诊应用程序的图像均是合格的舌象图像，从而能够输出准确的舌诊结果，并加快舌诊速率。
[0007]为实现上述目的，本申请实施例的第一方面提出了一种移动端舌象图像采集方法，所述方法包括：
[0008]当检测到目标对象通过移动端的摄像头进行舌象拍摄时，在所述移动端的前端页面显示舌头轮廓区域；
[0009]当所述目标对象的舌头伸展在所述舌头轮廓区域，响应于所述目标对象触发的拍摄动作，采集得到舌象图像；
[0010]通过预先训练的图像检测模型对所述舌象图像进行检测，得到舌头检测框；
[0011]通过预先训练的分类模型检测所述舌头检测框中是否存在下嘴唇中点；
[0012]当检测到所述舌头检测框中不存在下嘴唇中点，则确定所述舌象图像合格，存储所述舌象图像。
[0013]在一些实施例，在将采集得到的舌象图像上传至舌诊应用程序之后，所述方法还
包括：
[0014]获取所述舌诊应用程序生成的反馈信息；
[0015]根据所述反馈信息，调整拍摄信息，所述拍摄信息包括拍摄角度、拍摄焦距、拍摄背景虚化程度、拍摄模式和舌头伸展姿态；
[0016]基于调整后的拍摄信息，重新进行拍摄。
[0017]在一些实施例，在采集得到舌象图像之后，所述方法还包括：
[0018]基于特征金字塔网络对所述舌象图像进行多尺度特征提取和特征融合，得到多个特征图；
[0019]对多个所述特征图进行拼接，得到特征融合后的舌象图像。
[0020]在一些实施例，当检测到所述舌头检测框中存在下嘴唇中点时，所述方法还包括：
[0021]生成第二提示信息，所述第二提示信息用于引导所述目标对象重新拍摄；
[0022]返回在所述移动端的前端页面显示舌头轮廓区域的步骤，直到采集得到合格的舌象图像。
[0023]在一些实施例，当检测到所述移动端存储有多个舌象图像时，所述方法还包括：
[0024]从多个所述舌象图像中任意选取一个舌象图像作为目标舌象图像；
[0025]将所述目标舌象图像上传至舌诊应用程序。
[0026]在一些实施例，在对所述舌象图像进行检测之前，所述方法还包括：
[0027]构建训练样本集，所述训练样本集包括舌象图像集和标注标签；
[0028]获取所述训练样本集对所述图像检测模型进行训练；
[0029]确定损失函数，并根据所述损失函数，通过反向传播更新所述图像检测模型的参数；
[0030]判断所述图像检测模型训练是否满足结束条件，若满足结束条件，则输出所述图像检测模型，若不满足结束条件，则继续训练。
[0031]在一些实施例，在检测所述舌头检测框中是否存在下嘴唇中点之前，所述方法还包括：
[0032]获取舌象图像集，并对所述舌象图像集中的每一舌象图像进行类别信息标注，得到标注后的舌象图像集，所述类别信息包括存在下嘴唇中点和不存在下嘴唇中点；
[0033]获取标注后的所述舌象图像集对所述分类模型进行训练，得到训练好的分类模型。
[0034]为实现上述目的，本申请实施例的第二方面提出了一种移动端舌象采集装置，所述装置包括：
[0035]显示模块，用于当检测到目标对象通过移动端的摄像头进行舌象拍摄时，在所述移动端的前端页面显示舌头轮廓区域；
[0036]采集模块，用于当所述目标对象的舌头伸展在所述舌头轮廓区域，响应于所述目标对象触发的拍摄动作，采集得到舌象图像；
[0037]第一检测模块，用于通过预先训练的图像检测模型对所述舌象图像进行检测，得到舌头检测框；
[0038]第二检测模块，用于通过预先训练的分类模型检测所述舌头检测框中是否存在下嘴唇中点；
[0039]确定模块，用于当检测到所述舌头检测框中不存在下嘴唇中点，则确定所述舌象图像合格，存储所述舌象图像。
[0040]为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
[0041]为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
[0042]本申请提出的一种移动端舌象图像采集方法、装置、电子设备及存储介质，通过当检测到目标对象通过移动端的摄像头进行舌象拍摄时，在移动端的前端页面显示舌头轮廓区域；当目标对象的舌头伸展在舌头轮廓区域，响应于目标对象触发的拍摄动作，采集得到舌象图像；然后通过预先训练的图像检测模型对舌象图像进行检测，得到舌头检测框；通过预先训练的分类模型检测舌头检测框中是否存在下嘴唇中点；当检测到舌头检测框中不存在下嘴唇中点，则确定舌象图像合格，存储舌象图像。通过移动端的前端页面显示舌头轮廓区域，能够协助拍摄得到固定了舌头位置的舌象图像，通过检测舌头检测框中是否存在下嘴唇中点，判断拍摄得到的舌象图像是否合格，能够确保拍摄得到合格的舌象图像，提高舌诊准确率，加快舌诊速率。
附图说明
[0043]图1是本申请实施例中提供的移动端舌象图像采集方法的流程图；
[0044]图2为本申请实施例中提供的移动端前端页面显示的舌头轮廓区域的示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动端舌象图像采集方法，其特征在于，所述方法包括：当检测到目标对象通过移动端的摄像头进行舌象拍摄时，在所述移动端的前端页面显示舌头轮廓区域；当所述目标对象的舌头伸展在所述舌头轮廓区域，响应于所述目标对象触发的拍摄动作，采集得到舌象图像；通过预先训练的图像检测模型对所述舌象图像进行检测，得到舌头检测框；通过预先训练的分类模型检测所述舌头检测框中是否存在下嘴唇中点；当检测到所述舌头检测框中不存在下嘴唇中点，则确定所述舌象图像合格，存储所述舌象图像。2.根据权利要求1所述的方法，其特征在于，在将采集得到的舌象图像上传至舌诊应用程序之后，所述方法还包括：获取所述舌诊应用程序生成的反馈信息；根据所述反馈信息，调整拍摄信息，所述拍摄信息包括拍摄角度、拍摄焦距、拍摄背景虚化程度、拍摄模式和舌头伸展姿态；基于调整后的拍摄信息，重新进行拍摄。3.根据权利要求1所述的方法，其特征在于，在采集得到舌象图像之后，所述方法还包括：基于特征金字塔网络对所述舌象图像进行多尺度特征提取和特征融合，得到多个特征图；对多个所述特征图进行拼接，得到特征融合后的舌象图像。4.根据权利要求1所述的方法，其特征在于，当检测到所述舌头检测框中存在下嘴唇中点时，所述方法还包括：生成第二提示信息，所述第二提示信息用于引导所述目标对象重新拍摄；返回在所述移动端的前端页面显示舌头轮廓区域的步骤，直到采集得到合格的舌象图像。5.根据权利要求1所述的方法，其特征在于，当检测到所述移动端存储有多个舌象图像时，所述方法还包括：从多个所述舌象图像中任意选取一个舌象图像作为目标舌象图像；将所述目标舌象图像上传至舌诊应用程序。6.根据权利要求1所述的方法，其特征在于，在对所述舌象图像进行检测之前，所述方...

【专利技术属性】
技术研发人员：李楠楠，周宸，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：