基于边缘计算的帕金森症辅助诊断系统和方法技术方案

本发明专利技术提供基于边缘计算的帕金森症辅助诊断系统，包括：终端、边缘端，其中，所述终端用于数据采集，数据标注以及数据增量传输；所述边缘端用于接收所述终端采集的音视频数据以及诊断请求，提供音视频数据规整服务、数据管理服务、神经网络模型训练以及神经网络模型推理服务；所述边缘端包括神经网络运算装置，所述神经网络运算装置用于训练模型与预测帕金森症患病概率。本发明专利技术还提供利用上述系统的帕金森症的辅助诊断方法。

【技术实现步骤摘要】
基于边缘计算的帕金森症辅助诊断系统和方法
本专利技术涉及人工智能辅助疾病诊断
，具体涉及基于边缘计算的帕金森症辅助诊断系统和方法。
技术介绍
帕金森症是一种常见的神经退行性疾病。目前，全球50岁以上人群帕金森症的的患病率约为1％；在我国，65岁以上人群帕金森症的患病率约为1.7％。但是接近半数的帕金森症患者无法及时的意识到自己患病，造成了延误确诊与早期医疗干预。特别是在医疗条件匮乏的区域，诊断帕金森症存在很大的困难，许多帕金森症患者还没有被诊断发现，以致患者病情不断加重。帕金森症患者的临床表现有因为面部表情逐渐缺少而引起的“面具脸”以及因运动-语言中枢的神经损坏所引起的语言障碍。“面具脸”和言语障碍均为临床判定是否患帕金森症的重要指标，使用患者对话时的面部动作与语音信息的音视频数据，可以有效进行帕金森症的辅助诊断。但是，对于音视频的信息处理存在很多困难，如大规模音视频数据处理的运算量、疾病辅助诊断的效率、用户的隐私保护等。特别是采用数据上传云服务器的疾病辅助诊断方式存在多方面的负面影响，包括：第一，被诊断者的音视频对话数据有比较强的隐私性，数据上传容易造成数据泄露或数据滥用，极有可能侵犯个人的隐私；第二，通过音视频数据上传，会占用带宽并存在很大的延时，这将造成疾病诊断的响应速度降低；第三，面对音视频分析的大规模数据处理，云服务器并发处理可靠性低。
技术实现思路
为解决上述现有技术中存在的问题，提供基于边缘计算的帕金森症辅助诊断系统，包括：终端、边缘端，其中，所述终端用于数据采集，数据标注以及数据增量传输；所述边缘端用于接收所述终端采集的音视频数据以及诊断请求，提供音视频数据规整服务、数据管理服务、神经网络模型训练以及神经网络模型推理服务；所述边缘端包括神经网络运算装置，所述神经网络运算装置用于训练模型与预测帕金森症患病概率。优选的，所述模型基于重复4次的3D深度可分离卷积神经网络提取视频特征，所述3D深度可分离卷积神经网络包括：3*3*3的深度卷积核，第一BN层，第一ReLU激活函数，1*1*1的点卷积核，第二BN层，第二ReLU激活函数，3D最大池化层。优选的，所述模型基于重复4次的2D深度可分离卷积神经网络提取音频特征，所述2D深度可分离卷积神经网络包括3*3的深度卷积核，第三BN层，第三ReLU激活函数，1*1的点卷积核，第四BN层，第四ReLU激活函数，2D最大池化层。优选的，所述终端包括触摸屏、音视频采集装置、音频播放装置、第一数据存储装置、第一数据传输装置、数据标注装置；所述触摸屏用于人机交互，包括获取开始采集音视频数据的指令；所述音视频采集装置用于根据所述开始采集音视频数据的指令采集用户面部视频及语音数据；所述音频播放装置用于根据所述开始采集音视频数据的指令，播放预置的引导语音，以引导使用者做出面部表情和发出语音；所述第一数据存储装置用于存储所述用户面部视频及语音数据；所述第一数据传输装置用于向所述边缘端传输所述用户面部视频及语音数据；所述数据标注装置用于对所述用户面部视频及语音数据标注数据标签；所述边缘端包括第二数据传输装置，数据管理装置，第二数据存储装置，数据规整装置；所述第二数据传输装置用于接收所述终端发送的音视频数据以及向所述终端返回诊断结果；所述数据管理装置用于增量式添加音视频数据；所述第二数据存储装置用于存储音视频数据及规整结果；所述数据规整装置用于对音视频数据进行规整。优选的，所述系统还包括云服务器，所述云服务器用于监控所述终端和所述边缘端的状态、数据元信息统计、数据版本控制、模型版本控制以及指定推理服务模型；所述终端还包括第一网络通信装置，用于与所述云服务器通信；所述边缘端还包括第二网络通信装置，用于与所述云服务器通信。优选的，所述边缘端的第二存储装置基于对象存储管理音视频数据，所述对象存储包括python字典变量，所述python字典变量包括包括音频特征和视频特征两个字段；所述对象存储中还包括规整数据的索引文件，所述规整数据的索引文件包括音视频数据名、音视频数据在对象存储中的路径以及标签信息。优选的，所述终端基于本地数据索引与边缘端数据索引的比较结果，将变更数据及其对应的元信息同步到边缘端，所述边缘端根据同步数据更新数据索引。本专利技术提供一种利用上述系统的帕金森症的辅助诊断方法，包括：步骤1，基于所述终端采集使用者按照终端指示所完成对话的音视频数据；步骤2，所述边缘端根据规整后的所述终端传送的使用者的音视频数据，基于预先训练的模型进行帕金森症辅助诊断。本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述方法的步骤。本专利技术提供一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述方法的步骤。本专利技术具有如下特点和有益效果：相比于现有技术，本专利技术提供的基于边缘计算的帕金森症辅助诊断系统和方法，针对交互式场景，在无需医疗设备介入的情况下，通过自动分析对话语音与面部动作表情的实时联系，辅助诊断帕金森症的患病风险。本专利技术兼顾用户交互式诊断的低成本与易用性，同时保证了诊断的准确性与可靠性。在长期的使用过程中，通过专业医生的介入来调整数据标签，可使诊断结果的准确率接近或超过专业医生诊断。附图说明图1示出了本专利技术一个实施例的基于边缘计算的帕金森症辅助诊断系统。图2示出了本专利技术一个实施例的基于边缘计算的帕金森症辅助诊断系统的流程图。图3示出了本专利技术一个实施例的边缘端原始数据。图4示出了本专利技术一个实施例的多模态数据规整结果。图5示出了本专利技术一个实施例的规整数据的对象存储索引文件。具体实施方式下面结合附图和具体实施例对本专利技术加以说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。专利技术人在研究中认识到，采用数据上传云服务器的帕金森症辅助诊断方式存在多方面的负面影响，包括：第一，被诊断者的音视频对话数据有比较强的隐私性，数据上传容易造成数据泄露或数据滥用，极有可能侵犯个人的隐私；第二，通过音视频数据上传，会占用带宽并存在很大的延时，这将造成疾病诊断的响应速度降低；第三，面对音视频分析的大规模数据处理，云服务器并发处理的可靠性低。为解决以上技术问题，本专利技术提出了一种基于边缘计算的帕金森症辅助诊断系统，包括帕金森疾病诊断终端和提供边缘计算诊断服务的边缘端。通过终端与边缘端通信，可以实现低延时，高稳定性，隐私数据本地化的帕金森症辅助诊断，可完成大范围的帕金森疾病筛查工作，并能够通过本地训练不断提高帕金森症辅助诊断的准确率。本专利技术将边缘计算引入帕金森症辅助诊断，通过本地AI服务的方式实现快速、低功耗、隐私保护的帕金森病辅助诊断。根据本专利技术的一个实施例，系统整体架构如图1所示，包括终端、边缘本文档来自技高网...

【技术保护点】
1.基于边缘计算的帕金森症辅助诊断系统，包括：终端、边缘端，其中，/n所述终端用于数据采集，数据标注以及数据增量传输；/n所述边缘端用于接收所述终端采集的音视频数据以及诊断请求，提供音视频数据规整服务、数据管理服务、神经网络模型训练以及神经网络模型推理服务；所述边缘端包括神经网络运算装置，所述神经网络运算装置用于训练模型与预测帕金森症患病概率。/n

【技术特征摘要】
1.基于边缘计算的帕金森症辅助诊断系统，包括：终端、边缘端，其中，
所述终端用于数据采集，数据标注以及数据增量传输；
所述边缘端用于接收所述终端采集的音视频数据以及诊断请求，提供音视频数据规整服务、数据管理服务、神经网络模型训练以及神经网络模型推理服务；所述边缘端包括神经网络运算装置，所述神经网络运算装置用于训练模型与预测帕金森症患病概率。


2.根据权利要求1所述的系统，所述模型基于重复4次的3D深度可分离卷积神经网络提取视频特征，所述3D深度可分离卷积神经网络包括：3*3*3的深度卷积核，第一BN层，第一ReLU激活函数，1*1*1的点卷积核，第二BN层，第二ReLU激活函数，3D最大池化层。


3.根据权利要求1所述的系统，所述模型基于重复4次的2D深度可分离卷积神经网络提取音频特征，所述2D深度可分离卷积神经网络包括3*3的深度卷积核，第三BN层，第三ReLU激活函数，1*1的点卷积核，第四BN层，第四ReLU激活函数，2D最大池化层。


4.根据权利要求1所述的系统，所述终端包括触摸屏、音视频采集装置、音频播放装置、第一数据存储装置、第一数据传输装置、数据标注装置；
所述触摸屏用于人机交互，包括获取开始采集音视频数据的指令；
所述音视频采集装置用于根据所述开始采集音视频数据的指令采集用户面部视频及语音数据；
所述音频播放装置用于根据所述开始采集音视频数据的指令，播放预置的引导语音，以引导使用者做出面部表情和发出语音；
所述第一数据存储装置用于存储所述用户面部视频及语音数据；
所述第一数据传输装置用于向所述边缘端传输所述用户面部视频及语音数据；
所述数据标注装置用于对所述用户面部视频及语音数据标注数据标签；
所述边缘端包括第二数据传输装置，数据管理装置，第二数据存储装置，数据规整装置；

【专利技术属性】
技术研发人员：陈益强，李宜兵，蒋鑫龙，王健，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11