基于增强现实的全平台医学影像人工智能植入方法及系统技术方案

本发明专利技术公开了一种基于增强现实的全平台医学影像人工智能植入方法及系统，包括模型构建训练模块和增强现实眼镜；增强现实眼镜包括数据采集模块

【技术实现步骤摘要】
基于增强现实的全平台医学影像人工智能植入方法及系统


[0001]本专利技术涉及医学影像
，更具体的说是涉及基于增强现实的全平台医学影像人工智能植入方法及系统
。

技术介绍

[0002]医学影像领域，影像医生阅片任务繁重，且诊断准确性受年资影响巨大
。
医学影像人工智能研究是一大热点，文献报道的影像人工智能可辅助影像医生提高工作效率
、
降低工作负荷
、
改善诊疗水平
。
将影像人工智能巧妙地整合于临床应用环境是业界重大需求，目前鲜少有真正服务于临床者
。
[0003]目前尝试在临床中获得应用的影像人工智能存在以下问题：模型部署于影像终端，仅针对特定设备或服务于固定场景，无法做到全平台应用；增强现实的发展提供了关键的契机，其在外科手术
、
康复
、
急诊
、
医学教育等领域表现突出，可以提高手术精度
、
改善患者依从性
、
提高急诊救治效率
、
增强医学生实践能力等，而在医学影像领域，尚无有效应用场景；鉴于增强现实眼镜本体的算力限制，将影像人工智能部署于增强现实眼镜实现全平台应用受到限制
。
[0004]因此，如何将医学人工智能部署于增强现实眼镜，降低影像设备的技术屏障对医学人工智能跨平台应用的负面影响，以便于实现全平台可应用的医学人工智能对影像阅片的实时辅助，是本领域技术人员亟需解决的问题
。
专利
技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于增强现实的全平台医学影像人工智能植入方法及系统以解决
技术介绍
中提到的的问题
。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于增强现实的全平台医学影像人工智能植入方法，包括以下步骤：
[0008]S1.
基于增强现实眼镜拍摄历史医学影像，构建全平台影像数据集；
[0009]S2.
根据全平台影像数据集进行预处理获得实时帧频，以历史医学影像预处理获得的实时帧频为输入数据，目标病灶的检测框及病灶诊断结果为输出结果，基于卷积神经网络，训练获得轻量级医学人工智能模型；
[0010]S3.
将获得的轻量级模型植入增强现实眼镜；
[0011]S4.
通过增强现实眼镜的摄像头拍摄实时影像，处理获得实时帧频，输入植入的轻量级模型，输出每一帧图像对应的病灶位置检测框及恶性概率值；
[0012]S5.
将增强现实眼镜摄像头拍摄的实时帧频与对应帧频的病灶位置检测框及恶性概率值进行融合，融合后的图像投屏于增强现实眼镜镜片
。
[0013]优选的，步骤
S1
中，基于增强现实眼镜拍摄历史医学影像的具体内容为：模拟阅片环境的光照
、
视距和视角因素，针对显示屏展示的真实历史医学影像通过增强现实眼镜的摄像头拍摄历史医学影像
。
[0014]优选的，步骤
S2
中的轻量级模型通过直接训练轻量级模型获得或使用大模型训练后经模型压缩技术获得轻量级模型
。
[0015]优选的，步骤
S2
中预处理的内容为：
[0016]自动检测并截取增强现实眼镜所拍摄历史医学影像的像素域，裁剪掉显示屏边框及非显示屏区域，处理成
224
×
224
像素大小的实时帧频
。
[0017]优选的，步骤
S2
中训练获得轻量级医学人工智能模型的具体内容为：
[0018]在
MobileNet V3 Large
基础上
,
结合
yolov5
进行目标检测；
[0019]使用
NetAdapt
算法自动搜索每层的卷积核数量和通道数量
,
获得当前任务的最优网络配置；
[0020]在
MobileNet V3
的
inverted residual
模块中
,
使用深度可分离卷积替代普通卷积
,
包括逐点卷积和逐通道卷积；在
residual
连接上
,
引入线性瓶颈结构
,
使用1×1卷积调节通道数量；在模块中引入
SE
注意力机制
,
通过自适应重新校准通道注意力；采用
h
‑
swish
激活函数；最后
,
输入为
224
×
224
大小的影像
,
经过优化的
MobileNet V3 Large
网络提取特征
,
经过全连接层输出两个节点
,
表示良恶性概率预测；
[0021]设置模型参数训练模型，直至模型损失达到稳定，测试模型效能和模型运行参数，直至满足增强现实眼镜部署的实时处理需求，获得轻量级模型，即为轻量级医学人工智能模型
。
[0022]一种基于增强现实的全平台医学影像人工智能植入系统，基于所述的一种基于增强现实的全平台医学影像人工智能植入方法，包括模型构建训练模块和增强现实眼镜；
[0023]增强现实眼镜包括数据采集模块
、
数据处理模块
、
医学人工智能模块和结果显示模块；
[0024]数据采集模块，用于基于增强现实眼镜拍摄历史医学影像，构建全平台影像数据集，还用于通过增强现实眼镜的摄像头拍摄实时影像；
[0025]数据处理模块，用于根据全平台影像数据集和增强现实眼镜的摄像头拍摄实时影像进行预处理分别获得实时帧频；
[0026]模型构建训练模块，用于以历史医学影像预处理获得的实时帧频为输入数据，目标病灶的检测框及病灶诊断结果为输出结果，基于卷积神经网络，训练获得轻量级医学人工智能模型；
[0027]医学人工智能模块，用于植入获得的轻量级医学人工智能模型，通过轻量级医学人工智能模型，输入对增强现实眼镜摄像头拍摄实时影像预处理获得的的实时帧频，输出每一帧图像对应的病灶位置检测框及恶性概率值；
[0028]结果显示模块，用于将增强现实眼镜摄像头拍摄的实时帧频与对应帧频的病灶位置检测框及恶性概率值进行融合，融合后的图像投屏于增强现实眼镜镜片
。
[0029]优选的，数据处理模块包括检测单元和裁剪单元；
[0030]检测单元，用于自动检测增强现实眼镜所拍摄医学影像的像素域；
[0031]裁剪单元，用于裁剪掉显示屏边框及非显示屏区域，处理成
224
×
224
像素大小的实时帧频
。
[0032]优选的，模型构建训练模块包括构建单元
、
训练单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于增强现实的全平台医学影像人工智能植入方法，其特征在于，包括以下步骤：
S1.
基于增强现实眼镜拍摄历史医学影像，构建全平台影像数据集；
S2.
根据全平台影像数据集进行预处理获得实时帧频，以历史医学影像预处理获得的实时帧频为输入数据，目标病灶的检测框及恶性概率值为输出结果，基于卷积神经网络，训练获得轻量级医学人工智能模型；
S3.
将获得的轻量级模型植入增强现实眼镜；
S4.
通过增强现实眼镜的摄像头拍摄实时影像，处理获得实时帧频，输入植入的轻量级医学人工智能模型，输出每一帧图像对应的病灶位置检测框及恶性概率值；
S5.
将增强现实眼镜摄像头拍摄的实时帧频与对应帧频的病灶位置检测框及恶性概率值进行融合，融合后的图像投屏于增强现实眼镜镜片
。2.
根据权利要求1所述的一种基于增强现实的全平台医学影像人工智能植入方法，其特征在于，步骤
S1
中，基于增强现实眼镜拍摄历史医学影像的具体内容为：模拟阅片环境的光照
、
视距和视角因素，针对显示屏展示的真实历史医学影像通过增强现实眼镜的摄像头拍摄历史医学影像
。3.
根据权利要求1所述的一种基于增强现实的全平台医学影像人工智能植入方法，其特征在于，步骤
S2
中的轻量级医学人工智能模型通过直接训练轻量级模型获得或使用大模型训练后经模型压缩技术获得轻量级医学人工智能模型
。4.
根据权利要求1所述的一种基于增强现实的全平台医学影像人工智能植入方法，其特征在于，步骤
S2
中预处理的内容为：自动检测并截取增强现实眼镜所拍摄历史医学影像的像素域，裁剪掉显示屏边框及非显示屏区域，处理成
224
×
224
像素大小的实时帧频
。5.
根据权利要求4所述的一种基于增强现实的全平台医学影像人工智能植入方法，其特征在于，步骤
S2
中训练获得轻量级医学人工智能模型的具体内容为：在
MobileNet V3 Large
基础上
,
结合
yolov5
进行目标检测；使用
NetAdapt
算法自动搜索每层的卷积核数量和通道数量
,
获得当前任务的最优网络配置；在
MobileNet V3
的
inverted residual
模块中
,
使用深度可分离卷积替代普通卷积
,
包括逐点卷积和逐通道卷积；在
residual
连接上
,
引入线性瓶颈结构
,
使用1×1卷积调节通道数量；在模块中引入
SE
注意力机制
,
通过自适应重新校准通道注意力；采用
h
‑
swish
激活函数；最后
,
输入为
224
×
224
大小的影像
,
经过优化的
MobileNet V3 Large
网络提取特征
,
经...

【专利技术属性】
技术研发人员：匡铭，胡航通，吕明德，王伟，黄庆华，柯伟平，李铭德，肖晗，龙思哲，
申请(专利权)人：中山大学附属第一医院，
类型：发明
国别省市：