基于多模态的安全联锁控制方法和控制系统技术方案

本发明专利技术涉及一种基于多模态的安全联锁控制方法和控制系统

【技术实现步骤摘要】
基于多模态的安全联锁控制方法和控制系统


[0001]本专利技术涉及数据识别
，特别是涉及一种基于多模态的安全联锁控制方法和控制系统
。

技术介绍

[0002]硼中子俘获治疗
(BNCT)
是一种将放射与药物相结合的靶向
、
细胞级精准放疗系统，在放疗过程中，加速器室和治疗室会产生超安全剂量辐射
。
患者在放疗时，在心理或生理方面处于极度不适或痛苦等危险状态时，需要立即中断放疗
。
现有技术中，医护人员只能通过声音监控或视频监控得知患者在放疗中的状态
。
一方面，医护人员限于自身经验，往往难以及时发现患者处于危险状态中，导致不能及时中断放疗
。
另一方面，不同患者在心理或生理方面对放疗的反应的差异较大，医护人员仅凭经验判断患者是否处于痛苦中，或者判断患者的痛苦程度时，准确率较低
。

技术实现思路

[0003]鉴于上述问题，本专利技术提出了至少部分解决上述问题的一种基于多模态的安全联锁控制方法和控制系统，旨在解决现有技术中医护人员不能及时
、
准确发现放疗患者处于危险状态中的问题，实现在减少或避免医护人员干预的情况下，实时
、
较为准确地判断放疗患者的状态，在放疗患者的处于危险状态时及时中断放疗，达到减少放疗事故
、
提高放疗疗效的效果
。
[0004]具体地，本专利技术提供了如下技术方案：
[0005]一种基于多模态的安全联锁控制方法，包括：
[0006]获取放疗患者的患者数据，所述患者数据至少包括放疗患者的当前的图像数据和当前的声音数据；
[0007]获取基于多模态的深度学习模型；
[0008]将所述患者数据输入所述深度学习模型，并得到用于表征放疗患者的当前的痛苦程度的输出结果；
[0009]根据所述输出结果，控制放疗设备的运行状态
。
[0010]可选地，所述患者数据还包括文本数据，所述文本数据包括放疗患者的病历信息；所述病历信息至少包括性别信息和放疗部位信息
。
[0011]可选地，所述基于多模态的深度学习模型，包括：
[0012]多模态输入层，用于对所述患者数据进行特征向量化处理；
[0013]全连接层，用于对向量化特征进行多模态特征提取；
[0014]特征融合层，基于注意力机制对所述多模态特征进行融合；
[0015]深层特征提取层，通过
transformer
模型对融合后的所述多模态特征进行深层特征提取；
[0016]输出层，通过全连接层做特征映射，使用
sigmod
激活函数，输出概率最大的结果
。
[0017]可选地，所述的对所述患者数据进行特征向量化处理，包括对所述图像数据进行图像预处理
。
所述图像预处理包括：
[0018]缩放和归一化处理；通过卷积神经网络对所述图像预处理后的所述图像数据进行图像特征提取，并将所述图像特征向量化
。
[0019]可选地，所述的对所述患者数据进行特征向量化处理，包括对所述声音数据进行声音预处理
。
所述声音预处理包括：
[0020]采用梅尔频率倒谱系数处理；通过长短时记忆网络对所述声音预处理后的所述声音数据进行声音特征提取，并将所述声音特征向量化
。
[0021]可选地，所述的对所述患者数据进行特征向量化处理，包括对所述文本数据进行文本预处理
。
所述文本预处理包括：
[0022]提取所述文本数据中的关键词，对所述关键词进行
word2vec
编码，使用
BERT
进行特征计算，以形成文本特征向量化
。
[0023]可选地，所述的基于注意力机制对所述多模态特征进行融合，包括：通过融合注意力网络对所述多模态特征进行融合，以提升所述深度学习模型中所述图像数据的权重
。
[0024]可选地，所述的获取基于多模态的深度学习模型，包括：
[0025]获取多组历史患者数据，以形成训练数据集；
[0026]获取多组所述历史患者数据一一对应的所述痛苦程度；
[0027]获取初始参数，和基于所述初始参数的初始深度学习模型；
[0028]将所述训练数据集输入所述初始深度学习模型，并得到初始输出结果；
[0029]将所述初始输出结果与多组所述历史患者数据一一对应的所述痛苦程度进行比较，根据比较结果和预设规则改变所述初始参数，并迭代运行所述初始深度学习模型；
[0030]响应于所述比较结果满足预设结果，结束训练，得到所述深度学习模型
。
[0031]可选地，所述患者病历信息还包括年龄信息
。
[0032]可选地，所述患者病历信息还包括放疗次数信息
。
[0033]另一方面，本申请还提供一种基于多模态的安全联锁控制系统，包括患者数据获取系统
、
数据分析系统和
PLC
控制系统
。
[0034]所述患者数据获取系统配置成获取患者数据；所述患者数据包括放疗患者的当前的图像数据和当前的声音数据，和
/
或放疗患者的文本数据
。
[0035]所述数据分析系统设置有上述的基于多模态的深度学习模型，所述数据分析系统配置成接收所述患者数据，分析并得到输出结果
。
[0036]所述
PLC
控制系统配置成根据所述输出结果，自动控制放疗设备的运行状态
。
[0037]可选地，所述患者数据获取系统包括面部追踪摄像头和音频设备
。
所述面部追踪摄像头用于实时追踪
、
采集放疗患者的当前的所述面部数据
。
音频设备，用于实时采集放疗患者的当前的所述声音数据
。
[0038]可选地，所述数据分析系统包括图像缓存模块
、
图像处理模块
、
音频处理模块
、
文本处理模块和分析模块
。
所述图像缓存模块用于接收并缓存所述面部追踪摄像头传输的所述面部数据
。
所述图像处理模块用于接收所述图像缓存模块的所述面部数据，并进行图像预处理，得到图像特征向量
。
所述音频处理模块用于接收所述音频设备传输的所述声音数据，并进行声音预处理，得到声音特征向量
。
所述文本处理模块用于接收所述文本数据，并
进行文本预处理，得到文本特征向量
。
所述分析模块用于对所述图像特征向量
、
所述声音特征向量和所述文本特征向量进行分析，并输出所述输出结果
。
[0039]可选地，所述
PLC
控制系统用于接收所述输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态的安全联锁控制方法，其特征在于，包括：获取放疗患者的患者数据，所述患者数据至少包括放疗患者的当前的图像数据和当前的声音数据；获取基于多模态的深度学习模型；将所述患者数据输入所述深度学习模型，并得到用于表征放疗患者的当前的痛苦程度的输出结果；根据所述输出结果，控制放疗设备的运行状态
。2.
根据权利要求1所述的控制方法，其特征在于，所述患者数据还包括文本数据，所述文本数据包括放疗患者的病历信息；所述病历信息至少包括性别信息和放疗部位信息
。3.
根据权利要求1或2所述的控制方法，其特征在于，所述基于多模态的深度学习模型，包括：多模态输入层，用于对所述患者数据进行特征向量化处理；全连接层，用于对向量化特征进行多模态特征提取；特征融合层，基于注意力机制对所述多模态特征进行融合；深层特征提取层，通过
transformer
模型对融合后的所述多模态特征进行深层特征提取；输出层，通过全连接层做特征映射，使用
sigmod
激活函数，输出概率最大的结果
。4.
根据权利要求3所述的控制方法，其特征在于，所述的对所述患者数据进行特征向量化处理，包括：对所述图像数据进行图像预处理，所述图像预处理包括：缩放和归一化处理；通过卷积神经网络对所述图像预处理后的所述图像数据进行图像特征提取，并将所述图像特征向量化；和
/
或对所述声音数据进行声音预处理，所述声音预处理包括：采用梅尔频率倒谱系数处理；通过长短时记忆网络对所述声音预处理后的所述声音数据进行声音特征提取，并将所述声音特征向量化；和
/
或对所述文本数据进行文本预处理，所述文本预处理包括：提取所述文本数据中的关键词；对所述关键词进行
word2vec
编码，使用
BERT
进行特征计算，以形成文本特征向量化
。5.
根据权利要求3所述的控制方法，其特征在于，所述的基于注意力机制对所述多模态特征进行融合，包括：通过融合注意力网络对所述多模态特征进行融合，以提升所述深度学习模型中所述图像数据的权重
。...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：国重医疗科技重庆有限公司，
类型：发明
国别省市：