一种轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别及个性化管理系统技术方案

本发明专利技术公开了一种轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别、个性化管理系统，包括视觉信息采集传感器、交互式语音引导装置、多光谱眼底照相机、轻量化人工神经网络嵌入的智能硬件、云平台。该系统可提供方便快捷、操作性强、覆盖面广、敏感性高的眼病筛查和健康管理服务。

An automatic fundus photo acquisition, eye disease recognition and personalized management system embedded in lightweight artificial neural network

【技术实现步骤摘要】
一种轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别及个性化管理系统
本专利技术涉及一种眼病的筛查设备，具体涉及一种全自动眼底照片获取、眼病识别及健康管理系统。
技术介绍
眼睛是人获取信息最重要的器官之一，眼部发生不可逆的致盲性疾病，将严重影响患者的生存质量。故眼部疾病的早期筛查，个性化宣传健康的用眼护眼知识，加强高危人群的健康管理意识，防患于未然很重要。同时对于眼部出现异常的患者进行及时转诊、使其能够得到及时的、规范的治疗很有必要。由于我国人口基数大、地区分布不均、卫生诊疗技术和基础设施差异大，使得在真实情况下的眼部筛查难以覆盖足够多的人群。三级医院人满为患，大部分的分级和筛查工作占用了优质的医疗资源，加重了眼科医生的负担，同时可能使得真正需要及时进行治疗的患者受到延误。
技术实现思路
本专利技术的目的是克服现有技术中的不足，提供一种在真实环境中全自动的眼底照片获取、眼病识别及个性化管理系统。为实现上述目的，本专利技术所采用的技术方案是：一种轻量化人工神经网络的全自动眼底照片获取、眼病识别、个性化管理系统，包括视觉信息采集传感器、交互式语音引导装置、多光谱眼底照相机、轻量化人工神经网络的智能硬件、云平台。所述轻量化人工神经网络包括：1)行为识别单元，该单元包括：（1）距离识别模块：用以在视觉信息采集传感器传送过来的信息中，通过仿射变换探测目标距离；（2）关键点识别模块：用以在定位后的目标中检测目标运动的轴心和轴心运动轨迹；（3）动作识别模块：用检测到的距离和关键点判断目标动作；2)交互式引导单元，该单元包括：（1）受检者引导模块：用以接收动作识别模块的输出，产生决策，输入语音引导装置，指引受检者完成检查流程；（2）环境配置模块：用以接收动作识别模块的输出，产生决策，输入多光谱眼底照相机模块，自动开启照相机，关闭环境灯光，调整照相机位置;3)眼底照片拍摄质量判定单元，该单元包括：（1）亮度检测模块：用以判断拍摄亮度是否达标，是否有反光，伪影；（2）清晰度检测模块：用以判断拍摄清晰度是否达标；（3）完整度检测模块：用以判断所拍摄眼底是否完整，是否有遮挡，黄斑和视盘区域是否被采集；4)眼底疾病识别单元，该单元包括：（1）异常识别模块：判断眼底照片是否有异常；（2）异常分类模块：将异常眼底照片根据疾病进行分类，明确疾病类别，对于网络判定不能识别的分类不予分类；5)个性化管理单元，该单元包括：（1）健康管理模块：根据眼底疾病识别单元给出的诊断，个性化宣传护眼、爱眼知识，给出随访意见；（2）转诊模块：根据眼底是否异常，判断疾病严重程度，提出预警，给出转诊和随访意见；6)数据储存单元，该单元包括：（1）信息匹配模块：根据采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配，调取受检者既往信息与本次检查进行比较；（2）信息储存模块：将采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配，上传和归档。进一步地，所述轻量化人工神经网络还包括自适应结构调整单元，根据不同来源的输入信息：（1）调整人工神经网络的连接方式、特征提取结构、人工神经网络的宽度和深度，在不降低性能的前提下将网络参数量控制在最小，运行速度最快。方法如下：判断输入层的维度大小，如果为一维，选择循环神经网络作为特征提取结构与输入相连，如果为三维，选择卷积神经网络作为特征提取结构与输入相连；根据目标输入图片的形状和分辨率大小设计最佳的特征提取结构的并联、串联、不同数量的组合，在不降低人工神经网络预测准确性的前提下，选择网络参数最少，运行最快的结构组合。（2）调整输出方式，将处理结果输送到不同的处理单元，完成不同的功能。方法如下：如果输入来自视觉信息采集传感器，人工神经网络的输出连接至行为识别单元；如果输入来自行为识别单元，人工神经网络的输出分别连接至语音引导装置和眼底照相机设备；如果输入来自眼底照相机，人工神经网络的输出连接至拍摄质量判定单元；如果输入来自拍摄质量判定单元，判定为未通过则人工神经网络的输出连接至眼底照相机和语音引导单元，判定为通过则人工神经网络的输出连接至眼底疾病识别单元；如果输入来自眼底疾病识别单元，人工神经网络的输出连接至个性化管理单元；如果输入来自个性化管理单元，人工神经网络的输出连接至信息储存单元。本专利技术的有益效果：提供一种全自动眼底照片获取、眼病识别及健康管理系统，在真实环境中可实时探测和跟踪目标位置、判断目标行为并确认信息，交互式指引受检者知悉检测流程，采集眼底照片后，对采集的照片成像质量进行判定，对通过判定的照片快速做出判断，并为受检者提供个性化护眼、爱眼知识，提高其健康管理意识，同时对于异常的眼底照片给出预警信息和就诊建议，最后将采集到的眼底图片和诊断信息上传至云平台以供随访。该系统可提供方便快捷、操作性强、覆盖面广、敏感性高的眼病筛查和健康管理服务。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细说明。图1为本专利技术的结构示意框图。图2为人工神经网络各单元的结构框图及连接图。图3为人工神经网络的自适应结构调整流程图。具体实施方式如图1所示，一种轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别、个性化管理系统，包括视觉信息采集传感器、语音引导装置、多光谱眼底照相机、轻量化人工神经网络嵌入的智能硬件、云平台。如图2所示，所述人工神经网络各单元包括：1)行为识别单元，该单元包括：（1）距离识别模块：用以在视觉信息采集传感器传送过来的信息中，通过仿射变换探测目标距离；（2）关键点识别模块：用以在定位后的目标中检测目标运动的轴心和轴心运动轨迹；（3）动作识别模块：用检测到的距离和关键点判断目标动作；2)交互式引导单元，该单元包括：（1）受检者引导模块：用以接收动作识别模块的输出，产生决策，输入语音引导装置，指引受检者完成检查流程；（2）环境配置模块：用以接收动作识别模块的输出，产生决策，输入多光谱眼底照相机模块，自动开启照相机，关闭环境灯光，调整照相机位置;3)眼底照片拍摄质量判定单元，该单元包括：（1）亮度检测模块：用以判断拍摄亮度是否达标，是否有反光，伪影；（2）清晰度检测模块：用以判断拍摄清晰度是否达标；（3）完整度检测模块：用以判断所拍摄眼底是否完整，是否有遮挡，黄斑和视盘区域是否被采集；4)眼底疾病识别单元，该单元包括：（1）异常识别模块：判断眼底照片是否有异常；（2）异常分类模块：将异常眼底照片根据疾病进行分类，明确疾病类别，对于人工神经网络判定不能识别的分类不予分类；5)个性化管理单元，该单元包括：（1）健康管理模块：根据眼底疾病识别单元给出的诊断，个性化宣传护眼、爱眼知识，给出随访意见；（2）转诊模块：根据眼底是否异常，本文档来自技高网...

【技术保护点】
1.一种轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别、个性化管理系统，包括视觉信息采集传感器、交互式语音引导装置、多光谱眼底照相机、轻量化人工神经网络嵌入的智能硬件、云平台。所述轻量化人工神经网络包括：行为识别单元、交互式引导单元、眼底照片拍摄质量判定单元、数据储存单元；/n其中行为识别单元包括：/n距离识别模块：用以在视觉信息采集传感器传送过来的信息中，通过仿射变换探测目标距离；/n关键点识别模块：用以在定位后的目标中检测目标运动的轴心和轴心运动轨迹；/n动作识别模块：用检测到的距离和关键点判断目标动作；/n其中交互式引导单元包括：受检者引导模块：用以接收动作识别模块的输出，产生决策，输入语音引导装置，指引受检者完成检查流程；/n环境配置模块：用以接收动作识别模块的输出，产生决策，输入多光谱眼底照相机模块，自动开启照相机，关闭环境灯光，调整照相机位置；/n其中眼底照片拍摄质量判定单元包括：/n亮度检测模块：用以判断拍摄亮度是否达标，是否有反光，伪影；/n清晰度检测模块：用以判断拍摄清晰度是否达标；/n完整度检测模块：用以判断所拍摄眼底是否完整，是否有遮挡，黄斑和视盘区域是否被采集；/n其中眼底疾病识别单元包括：/n异常识别模块：判断眼底照片是否有异常；/n异常分类模块：将异常眼底照片根据疾病进行分类，明确疾病类别，对于人工神经网络判定不能识别的分类不予分类；/n其中个性化管理单元包括：/n健康管理模块：根据眼底疾病识别单元给出的诊断，个性化宣传护眼、爱眼知识，给出随访意见；/n转诊模块：根据眼底是否异常，判断疾病严重程度，提出预警，给出转诊和随访意见；/n其中数据储存单元包括：/n信息匹配模块：根据采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配，调取受检者既往信息与本次检查进行比较；/n信息储存模块：将采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配，上传和归档。/n...

【技术特征摘要】
1.一种轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别、个性化管理系统，包括视觉信息采集传感器、交互式语音引导装置、多光谱眼底照相机、轻量化人工神经网络嵌入的智能硬件、云平台。所述轻量化人工神经网络包括：行为识别单元、交互式引导单元、眼底照片拍摄质量判定单元、数据储存单元；
其中行为识别单元包括：
距离识别模块：用以在视觉信息采集传感器传送过来的信息中，通过仿射变换探测目标距离；
关键点识别模块：用以在定位后的目标中检测目标运动的轴心和轴心运动轨迹；
动作识别模块：用检测到的距离和关键点判断目标动作；
其中交互式引导单元包括：受检者引导模块：用以接收动作识别模块的输出，产生决策，输入语音引导装置，指引受检者完成检查流程；
环境配置模块：用以接收动作识别模块的输出，产生决策，输入多光谱眼底照相机模块，自动开启照相机，关闭环境灯光，调整照相机位置；
其中眼底照片拍摄质量判定单元包括：
亮度检测模块：用以判断拍摄亮度是否达标，是否有反光，伪影；
清晰度检测模块：用以判断拍摄清晰度是否达标；
完整度检测模块：用以判断所拍摄眼底是否完整，是否有遮挡，黄斑和视盘区域是否被采集；
其中眼底疾病识别单元包括：
异常识别模块：判断眼底照片是否有异常；
异常分类模块：将异常眼底照片根据疾病进行分类，明确疾病类别，对于人工神经网络判定不能识别的分类不予分类；
其中个性化管理单元包括：
健康管理模块：根据眼底疾病识别单元给出的诊断，个性化宣传护眼、爱眼知识，给出随访意见；
转诊模块：根据眼底是否异常，判断疾病严重程度，提出预警，给出转诊和随访意见；
其中数据储存单元包括：
信息匹配模块：根据采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配，调取受检者既往信息与本次检查进行比较；
信息储存模块：将采集到的眼底图片和诊断信息与受检者既往的检查记录进行匹配，上传和归档。


2.根据权利要求1所述的轻量化人工神经网络嵌入的全自动眼底照片获取、眼病识别、个性化管理系统，其特征在于：所述轻量化人工神经网络还包括自适应结构调整单元，所述的自适应结构调整单元根据不同来源的输入信息调整人工神经网络的连接方式、特征提取结构、人工神经网络的宽度和深度，具体...

【专利技术属性】
技术研发人员：孟巍，施丹莉，
申请(专利权)人：广州慧视医疗科技有限公司，
类型：发明
国别省市：广东;44