一种基于区块链和联邦域泛化的医学图像分割方法技术

本发明专利技术涉及一种基于区块链和联邦域泛化的医学图像分割方法，主要解决现有技术医学图像分割模型泛化性差、缺少可信的执行环境和隐私保护问题。其实现方案为：(1)从区块链中下载初始网络模型，使用本地数据的振幅谱与其他联邦域数据传递的振幅谱进行插值后的医学图像数据以及自身的本地数据进行训练，更新本地模型；(2)对本地模型添加经过灵敏度校准的差分隐私噪声后上传至星际文件系统(IPFS)，系统计算哈希并将其作为交易；(3)通过一个由几个诚实节点组成的委员会进行交易验证；(4)验证通过后，使用联邦平均算法对模型进行聚合平均，聚合平均后得到的全局模型上传至区块链；(5)将模型泛化至联邦外部医疗机构中进行医学图像分割使用。像分割使用。像分割使用。

【技术实现步骤摘要】
一种基于区块链和联邦域泛化的医学图像分割方法


[0001]本专利技术涉及一种基于区块链和联邦域泛化的医学图像分割方法，属于隐私保护条件下的医学图像分割领域。

技术介绍

[0002]将机器学习技术与分布在各医疗机构的医学数据相结合对推动智慧医疗发展有着巨大的作用。现阶段的医学图像分割普遍依赖于专家经验，诊疗的成本也随着患者样本的数量增加而不断增加。与之相比，基于人工智能和机器学习的方法可以使用训练好的自动化医学图像分割模型进行诊疗，在降低单个诊疗成本的同时能有效减少医生专家的重复性工作。
[0003]基于人工智能和机器学习的医学图像分割方法依赖于充足的数据样本，但是单个医疗机构的样本量不足以训练出一个可靠的模型。同时不同医疗机构之间的医学数据通常受地方法规、数据保护、隐私保护法的限制约束，无法进行交换，使得研究只能在本地进行。
[0004]联邦学习作为分布式机器学习的一种，可以通过上传模型参数如梯度信息等来实现跨越多个医疗机构进行协作的同时将数据保留在本地。在实际应用场景中，每个医疗机构之间由于医学图像采集设备不同以及环境存在差异等问题会造成不同医疗机构的医学图像数据存在差异，即域偏移的情况，这会导致模型在非联邦医疗机构中的泛化性差。
[0005]最新提出的联邦域泛化可以在数据保留于本地的隐私保护情况下用来解决上述泛化性问题，但是其中央服务器仍然存在单点故障、执行环境不可信以及梯度更新造成的隐私泄露问题。而隐私保护性、可靠性以及泛化性对于分布协作的医学图像分割是必要的，只有具备以上条件，对医学图像分割的研究才能真正应用到实处。
[0006]因此现有技术需要针对上述问题提出一种新的医学图像分割方法，在医学图像分割模型可泛化至不同医疗机构中使用的背景下解决攻击者利用学习到的模型推断出用户的敏感信息的隐私泄露问题。并且提供一种去中心化的结构与针对分散的各医疗机构提供的模型参数进行验证，以提高模型的鲁棒性。

技术实现思路

[0007]本专利技术的目的是在于针对已有技术存在的缺陷，提供一种基于区块链和联邦域泛化的医学图像分割方法。本专利技术可用于不同医疗机构联合参与使用，对于各医疗机构中医学图像采集设备不同以及所处环境不同的情况，可以保证较好适用性的同时加强其隐私安全性，并且提供一个可信的执行环境。
[0008]为达到上述目的，本专利技术采用技术方案如下：
[0009]一种基于区块链和联邦域泛化的医学图像分割方法，具体操作步骤如下：
[0010]步骤1，本地模型更新：用区块链存储初始网络模型，每个医疗机构作为参与者发送请求以获取模型；每个参与的医疗机构从区块链中获取最新的医学图像分割可用模型，通过连续的插值机制从频率空间跨医疗客户端交换分布信息，使每个本地医疗客户端都能
访问多源分布；使用本地数据的振幅谱和其他域数据的传递的振幅谱之间进行插值后的医学图像数据以及自身的本地数据进行训练，并更新本地模型；
[0011]步骤2，对本地模型添加差分隐私后上传至星际文件系统IPFS：将经过灵敏度校准的差分隐私噪声加入到训练好的局部医学图像分割模型中，对局部医学图像分割模型应用拉普拉斯机制实现差分隐私；添加噪声后的医学图像分割模型上传至星际文件系统IPFS中，星际文件系统IPFS计算模型参数，计算哈希并将其作为交易；
[0012]步骤3，交易验证打包：交易通过一个由几个诚实节点组成负责验证交易和区块生成的委员会进行验证，符合条件的交易进入下一步；
[0013]步骤4，模型聚合以及全局模型存储：在委员会验证并通过交易后，使用联邦平均算法对模型进行聚合平均；当医学图像分割模型参数收敛时，完全停止模型训练，将得到的全局模型上传到区块链并存储；
[0014]步骤5，将模型泛化至联邦外部医疗机构中进行医学图像分割使用。
[0015]与现有技术相比，本专利技术具有如下的优点：
[0016]本专利技术利用医学图像分割的算法，设计一种基于区块链和联邦域泛化的医学图像分割方法。该方法以各分散的医疗机构中的医学图像库为研究对象，使用区块链代替联邦学习框架中的中央服务器进行模型存储，通过连续频率空间插值机制得到的数据与本地医疗客户端数据进行训练以及本地模型更新，将本地模型添加噪声后上传至星际文件系统(IPFS)中，经过员会验证并通过交易后将本地模型参数进行聚合平均，得到的全局模型上传至区块链进行存储，最后将模型泛化至联邦外部医疗机构中进行医学图像分割使用。与现有技术相比，这种方法在提升医学图像分割领域泛化性的基础上具有更好的隐私保护性，同时区块链为联邦学习的医疗机构参与者提供了一种可信机制，去中心化的区块链使模型具有更好的鲁棒性。
附图说明
[0017]图1为本专利技术方法的流程图。
[0018]图2为不同医疗机构扫描仪获取的视网膜眼底图像实例。
[0019]图3为视网膜眼底图像分割实例结果。
具体实施方式
[0020]为使本专利技术的技术方案更加清楚，下面结合附图对本专利技术做进一步阐述。
[0021]本专利技术整体流程参见图1，基于区块链与联邦域泛化的医学图像分割，实例使用4个由不同医疗机构的扫描仪获取的公共视网膜眼底图像进行视盘和视杯分割，对初始眼底图像进行以视盘为中心的800
×
800ROI裁剪以及旋转缩放等数据增强预处理后，对随机选择3个医疗机构的眼底图像之间进行连续的频率空间插值，然后对3个医疗机构的眼底图像分别使用U
‑
Net网络模型进行训练，然后对训练好的模型添加差分隐私噪声，将添加噪声后的模型更新上传至星际文件系统(IPFS)，经过随机挑选的验证委员会验证通过之后进行模型聚合平均，将更新后的全局模型发送至区块链中进行存储。
[0022]视网膜眼底图像分割实例具体按以下步骤具体实现：
[0023]步骤1，本地模型更新。
[0024](1)数据准备。
[0025]准备4个由不同医疗机构的扫描仪获取的公共视网膜眼底图像数据集进行测试实验。将这些来自不同医疗机构的眼底图像裁剪为以视盘为中心的800
×
800ROI，同时对数据进行随机缩放、裁剪以及旋转等数据增强方式进行样本扩充，如图2所示。
[0026](2)在各医疗客户端间进行连续的频率空间插值。
[0027]考虑到联邦学习中各个医疗机构中的医学图像数据是分布式存储的，每个医疗本地客户端的学习只能访问单独的本地分布的特点，为了生成利用多源分布来学习可推广的参数，提高医学图像分割模型的泛化性，我们在客户端之间交换利用频率空间中固有的分布信息，使得每个本地客户端都可以访问多源数据分布以学习通用参数。
[0028]a)第k个客户端频率空间信号。第k个客户端的第i个图像样本对于RGB图像，C＝3，对于灰度图像，C＝1。通过傅立叶变换可以得到其频率空间信号。
[0029][0030]其中，表示第k个客户端的第i个图像样本，u、v、c表示图像傅里叶变换的空间频率，表示该图像，H、W、C分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区块链和联邦域泛化的医学图像分割方法，实现医学图像分割模型推广的泛化性前提下加入差分隐私，实现隐私保护，且引入区块链为模型构造一个可信的执行环境，其特征在于，具体操作步骤如下：步骤1，本地模型更新：用区块链存储初始网络模型，每个医疗机构作为参与者发送请求以获取模型；每个参与的医疗机构从区块链中获取最新的医学图像分割可用模型，通过连续的插值机制从频率空间跨医疗客户端交换分布信息，使每个本地医疗客户端都能访问多源分布；使用本地数据的振幅谱和其他域数据的传递的振幅谱之间进行插值后的医学图像数据以及自身的本地数据进行训练，并更新本地模型；步骤2，对本地模型添加差分隐私后上传至星际文件系统IPFS：将经过灵敏度校准的差分隐私噪声加入到训练好的局部医学图像分割模型中，对局部医学图像分割模型应用拉普拉斯机制实现差分隐私；添加噪声后的医学图像分割模型上传至星际文件系统IPFS中，星际文件系统IPFS计算模型参数，计算哈希并将其作为交易；步骤3，交易验证打包：交易通过一个由几个诚实节点组成负责验证交易和区块生成的委员会进行验证，符合条件的交易进入下一步；步骤4，模型聚合以及全局模型存储：在委员会验证并通过交易后，使用联邦平均算法对模型进行聚合平均；当医学图像分割模型参数收敛时，完全停止模型训练，将得到的全局模型上传到区块链并存储；步骤5，将模型泛化至联邦外部医疗机构中进行医学图像分割使用。2.根据权利要求1所述的基于区块链和联邦域泛化的医学图像分割方法，其特征在于，所述步骤1使用由不同医疗机构的扫描仪获取的医学图像数据，对数据进行随机缩放、裁剪以及旋转这些数据增强方式进行样本扩充；然后在本地医疗客户端之间交换利用频率空间中固有的分布信息，使得每个本地客户端都能访问多源数据分布以学习通用参数；具体实现方式为将医疗客户端的本地眼底图...

【专利技术属性】
技术研发人员：廖雪茹，周霁婷，何丹明，
申请(专利权)人：上海大学，
类型：发明
国别省市：