【技术实现步骤摘要】
本专利技术属于信息隐藏领域，尤其涉及基于全局和局部特征自适应融合的零水印在虚拟医疗服务中的应用方法，具体为一种基于全局和局部特征自适应融合的零水印应用方法及装置。
技术介绍
1、零水印技术是水印保护技术中的一种，能够在不篡改图像的同时保护数据信息不被篡改和泄露，能够很好应用于虚拟医疗服务中。传统的零水印构成方式，采用的是低级特征，该特征对一些噪声和几何攻击的鲁棒性较差。随着深度学习的兴起，利用神经网络强大的特征提取能力，进一步提高了零水印的鲁棒性。
2、随着深度学习的进步，神经网络模型可以提取更高级、更深层的特征去构建零水印，相比纹理、颜色等低级特征，对于噪声和几何攻击更具有鲁棒性。现有技术的方案之一是采用预训练的vgg19来提取深层特征，该方法能够有效减少训练模型的时间，但是当预训练模型应用于医学图像特征提取时，因为医学图像特征不同于自然图像，有着更多的噪声，会导致模型性能降低，不能提取有效特征，导致构成的零水印鲁棒性较差。尽管已收集了一百多种的医学图像，但样本依然稀少，所以通过数据增强得到一个大的数据集去训练自己的模型，耗时费力，并且因为针对性训练，导致其泛化性较差。现有技术的方案之二是采用传统方式提取出5种互补特征作为构建零水印的特征，有效增强了水印对于各种攻击的鲁棒性，但是提取特征的方法复杂且困难，不适用现代医学。现有技术的方案之三是利用预训练的swim-transformer模型来提取更加深层次的特征，能够提取全局特征，但是缺乏局部相关性，导致局部细节特征丢失，使得提取的特征缺少区分度，导致模型训练结果不佳
3、目前现有的方案中还未有能够有效解决提高医学图像特征提取的鲁棒性和医学样本稀缺导致模型性能下降的解决方案。
技术实现思路
1、为克服上述现有技术的不足，本专利技术提供一种基于全局和局部特征自适应融合的零水印应用方法及装置，用以实现更加准确、更鲁棒的医学图像特征提取。
2、根据本专利技术说明书的一方面，提供一种基于全局和局部特征自适应融合的零水印应用方法，应用于虚拟医疗服务中，所述方法包括：
3、获取待处理的医疗载体图像；
4、将所述医疗载体图像输入训练好的特征提取模型，输出特征提取结果；
5、对所述特征提取结果进行处理，得到一串二值序列；
6、将所述二值序列和加密后的水印进行异或处理，得到最终的零水印；
7、其中，所述特征提取模型的训练包括：
8、搭建具有预设特征提取框架的特征提取模型，所述预设特征提取框架采用hifuse模型的三层支路结构，上支路用于提取全局特征，下支路用于提取局部特征，中支路用于将提取的全局特征和局部特征进行自适应融合；
9、采用小样本类增量的方法处理数据并训练模型，得到训练好的特征提取模型。
10、上述技术方案设计了基于全局和局部特征自适应融合的零水印在虚拟医疗服务中的应用方法，采用全局和局部特征块并行，并在中间层实现多尺度自适应特征融合的框架，减少冗余，更适用于医学图像特征提取，能提取出更加准确的特征，提高模型的鲁棒性；同时利用小样本类增量的学习方法，采用更完善的数据集进行预训练的同时，并为新任务保留足够的存储空间，能够在旧任务上继续学习，该方法能够在没有大量数据集样本的情况下，能够学习到不错的效果，提高了模型的鲁棒性和泛化性。
11、作为进一步的技术方案，所述上支路采用transformer模型构建全局特征提取模块，利用swim-transformer模型中的滑动窗口多头注意力机制sw-msa提取全局特征；所述下支路采用卷积神经网络cnn模型构建局部特征提取模型，利用convnext模型中的倒瓶颈层结构设计提取局部特征；所述中支路采用自适应分层特征融合块iahff block，将提取的全局特征和局部特征进行自适应融合。
12、作为进一步的技术方案，所述自适应分层特征融合块iahff block，采用图像自适应融合的方式，提出利用超参数来控制全局特征、局部特征和中间层特征的三者进行自适应特征融合，公式如下：
13、，
14、，
15、，
16、，
17、，
18、其中，表示上支路提取的全局特征经过通道注意力机制后的特征，表示下支路提取的局部特征经过通道注意力机制后的特征，表示中间层特征经过通道注意力机制后的特征，表示自适应融合后的特征，，，分别表示三个特征嵌入的指数且为超参数，表示自适应融合后的特征经过空间注意力机制后的融合特征。
19、作为进一步的技术方案，对所述特征提取结果进行处理，得到一串二值序列，进一步包括：提取特征提取模型的最后平均池化层前的复杂特征图作为特征提取结果，利用图像融合策略对所述复杂特征图进行处理，得到深度融合图；利用均值哈希算法对所述深度融合图进行处理，得到一串二值序列。
20、可选地，利用图像融合策略对所述复杂特征图进行处理，得到深度融合图，包括：
21、，
22、其中表示深度融合图，由复杂特征图按通道相加而得到，分别表示复杂特征图的高、宽和通道数，表示通道数量，768表示hifuse模型中采用的通道数。
23、作为进一步的技术方案，所述方法还包括：获取原始水印，利用逻辑映射随机生成一串序列，对获得的原始水印进行加密，得到加密后的水印。
24、作为进一步的技术方案，采用小样本类增量的方法处理数据并进行模型训练，进一步包括：
25、数据集准备，包括：将数据集中的样本以会话的形式表现，分为基本会话和增量会话，在基本会话中，采用足够样本的分类数据集；在增量会话中，采用不同类别的少样本的医学图像构成数据集；最终由基本会话和增量会话组成一个新的数据集；
26、分类器选择，包括：在整个会话中，利用余弦分类器作为相似度的度量标准，依据样本嵌入和类原型之间的相似度，用类原型代替分类器的权重；
27、损失函数选择，包括：在基本会话中，给每个类别安排除真实标签外的一个额外类的标签，额外类的标签表示为新类保留的类空间，并采用双峰分布的损失函数实现两个类空间的位置合理性，满足模型可增长性和模型的可预见性；
28、根据所述的数据集和损失函数对模型进行训练，得到训练好的特征提取模型。
29、作为进一步的技术方案，所述方法还包括：
30、在实现模型可增长时，预先分配几个虚拟原型去嵌入空间，将虚拟原型看作虚拟的类，在训练基本会话中真实类别的同时，为这些虚拟的类保留嵌入空间并进行损失函数优化：
31、，
32、，
33、表示优化的损失函数，表示虚拟原型的数量，表示样本，表示类别的真实标签，表示样本为的模型输出和之间的损失，表示控制变量且为超参数，表示带有掩膜函数和类别的虚拟标签之间的损失，其中函数表示去掉类别的真实标签后的模型输出，表示矩阵的运算方式哈达本文档来自技高网...
【技术保护点】
1.基于全局和局部特征自适应融合的零水印应用方法，其特征在于，应用于虚拟医疗服务中，所述方法包括：
2.根据权利要求1所述基于全局和局部特征自适应融合的零水印应用方法，其特征在于，所述上支路采用Transformer模型构建全局特征提取模块，利用Swim-Transformer模型中的滑动窗口多头注意力机制SW-MSA提取全局特征；所述下支路采用卷积神经网络CNN构建局部特征提取模型，利用ConvNeXt模型中的倒瓶颈层结构设计提取局部特征；所述中支路采用自适应分层特征融合块iAHFF Block，将提取的全局特征和局部特征进行自适应融合。
3.根据权利要求1所述基于全局和局部特征自适应融合的零水印应用方法，其特征在于，对所述特征提取结果进行处理，得到一串二值序列，进一步包括：提取特征提取模型的最后平均池化层前的复杂特征图作为特征提取结果，利用图像融合策略对所述复杂特征图进行处理，得到深度融合图；利用均值哈希算法对所述深度融合图进行处理，得到一串二值序列。
4.根据权利要求1所述基于全局和局部特征自适应融合的零水印应用方法，其特征在于，所述方法
5.根据权利要求1所述基于全局和局部特征自适应融合的零水印应用方法，其特征在于，采用小样本类增量的方法处理数据并训练模型，进一步包括：
6.根据权利要求5所述基于全局和局部特征自适应融合的零水印应用方法，其特征在于，所述方法还包括：
7.根据权利要求1所述基于全局和局部特征自适应融合的零水印应用方法，其特征在于，所述方法还包括：将最终的零水印作为水印秘钥，存储在第三方安全机构中。
8.基于全局和局部特征自适应融合的零水印应用装置，其特征在于，应用于虚拟医疗服务中，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的基于全局和局部特征自适应融合的零水印应用方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于全局和局部特征自适应融合的零水印应用方法的步骤。
...【技术特征摘要】
1.基于全局和局部特征自适应融合的零水印应用方法，其特征在于，应用于虚拟医疗服务中，所述方法包括：
2.根据权利要求1所述基于全局和局部特征自适应融合的零水印应用方法，其特征在于，所述上支路采用transformer模型构建全局特征提取模块，利用swim-transformer模型中的滑动窗口多头注意力机制sw-msa提取全局特征；所述下支路采用卷积神经网络cnn构建局部特征提取模型，利用convnext模型中的倒瓶颈层结构设计提取局部特征；所述中支路采用自适应分层特征融合块iahff block，将提取的全局特征和局部特征进行自适应融合。
3.根据权利要求1所述基于全局和局部特征自适应融合的零水印应用方法，其特征在于，对所述特征提取结果进行处理，得到一串二值序列，进一步包括：提取特征提取模型的最后平均池化层前的复杂特征图作为特征提取结果，利用图像融合策略对所述复杂特征图进行处理，得到深度融合图；利用均值哈希算法对所述深度融合图进行处理，得到一串二值序列。
4.根据权利要求1所述基于全局和局部特征自适应融合的零水印应用方法，其特征在于，所述方法还包括：获取原始水印；利用逻辑映射随机生...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。