一种用于唇裂手术分析的图像预测生成方法技术

本发明专利技术公开了一种用于唇裂手术分析的图像预测生成方法，属于图像处理技术领域，该图像预测生成方法包括去除图像内容：对图像中需要去除的对象进行选择、分割和删除；填充图像内容：根据输入文本提示，对图像中的对象进行填充；通过输入文本提示，如手术步骤的调整，可以对预测图像进行图像局部区域的删除和内容填充的方法，提供准确的经过手术特定调整后的预测图像，为患者和医生在手术方案上的选择与实施提供更有力的参考依据。实施提供更有力的参考依据。实施提供更有力的参考依据。

【技术实现步骤摘要】
一种用于唇裂手术分析的图像预测生成方法


[0001]本专利技术涉及图像处理
，特别涉及一种用于唇裂手术分析的图像预测生成方法。

技术介绍

[0002]目前，随着算力、算法、数据三大能力的快速提升，人工智能的发展也越来越快，并逐步应用到金融、医疗、营销、教育、交通等各大行业领域的不同场景，在风险控制、医疗诊断、行为分析等许多方面取得了令人满意的应用效果。其中，人工智能技术越来越多地被国内外学者应用到医疗手术预测分析场景当中。目前，针对唇裂手术预测分析的系统主要基于BP(Back
‑
Propagation)神经网络的应用，建立预测模型，将患者术前唇裂图片作为输入值，经过模型输出术后预测图像，为患者选择手术方法和医生实施手术提供了有力的参考。BP算法是前馈神经网络最常用的学习算法，其主要思想是把学习过程分为两个阶段:第一阶段为正向传播过程，输入信息从输入层经隐层逐层处理并计算个单元的实际输出值，第二阶段为反向传播过程，若在输出层不能得到期望的输出，则逐层计算实际输出与要求输出的差值，以此差值调整权值，重复若干轮次直至得出期望输出。但是，此类系统仅能提供术后预测效果图像，当由于患者对预测效果不满意并提出意见，医生对手术方式、步骤等进行调整时，系统无法提供经过特定调整后的预测图像，从而不能给予充分的参考依据，因此，本专利技术提出一种用于唇裂手术分析的图像预测生成方法。

技术实现思路

[0003]本专利技术的目的是提供一种预测图像生成，通过输入文本提示，如手术步骤的调整，可以对预测图像进行图像局部区域的删除和内容填充的方法，提供准确的经过手术特定调整后的预测图像，为患者和医生在手术方案上的选择与实施提供更有力的参考依据。
[0004]针对上述技术问题，本专利技术采用的技术方案为：一种用于唇裂手术分析的图像预测生成方法，包括以下步骤：
[0005]S100、去除图像内容：对图像中需要去除的对象进行选择、分割和删除；
[0006]S200、填充图像内容：根据输入文本提示，对图像中的对象进行填充。
[0007]进一步地，S100中去除图像内容包括以下步骤：
[0008]S110、点击选择图像中需要删除的局部对象；
[0009]S120、根据点击位置自动分割目标并创建掩码(Mask)；
[0010]S130、利用掩码对去除的对象位置进行绘制填充，填充的内容以图像背景为基础。
[0011]进一步地，S102中对图像进行分割的模型包括检测部分和分割部分，所述的检测部分包括以下步骤：
[0012]S121、将输入的图像分为多个patch；
[0013]S122、将每个patch投影为定长向量送入Transformer；
[0014]S123、后续Transformer进行和原始Transformer中一样的操作；同时在输入序列
中加入一个token，该token表示对图像类别的预测，Transformer对输入序列进行编码，包括位置编码、多头注意力和多层感知三类操作。
[0015]进一步地，所述的Transformer的具体结构为：
[0016](1)patch嵌入：将输入图片分为固定大小的patch，通过线性映射层之后，再加上一个表示类别的token；
[0017](2)位置编码层：实现嵌入向量与位置编码相加；
[0018](3)多头自注意力层(MSA)：用于处理经过位置编码的向量；
[0019](4)多层感知层(MLP)：用于处理经过多头自注意力的向量。
[0020]进一步地，所述的分割部分包括以下步骤：
[0021]S124、使用神经网络提取图像特征；
[0022]S125、将图像特征分为两个分支，其中一个分支通过像素解码器模块生成掩码的预测，将预测输入另一个分支的Transformer解码器和线性分类器，另一个分支通过Transformer解码器，表示类别的特殊token得到了类别的概率估计，其余token与像素解码器的最后一层输出逐元素相乘再通过sigmoid激活得到掩码预测；
[0023]其中，模型的损失计算是用二分图匹配来配对预测和真值构造集合损失，在获得图像掩码预测后，模型能够对输入的图像进行分割任务，并对掩码指示对象进行去除。
[0024]进一步地，S200中使用图像填充模型实现填充图像内容，所述的图像填充模型包括文本理解组件、图像信息生成器和图像解码器；
[0025]所述的文本理解组件用于捕获文本信息，通过文本向量化将文本信息转换成数字表示，对齐图像空间，文本理解组件包含CLIP模型的文本编码器，该编码器接受输入文本，输出代表每个词汇或token的向量，并将信息传达到图像生成器；
[0026]所述的图像信息生成器由U
‑
Net神经网络和调度算法组成，用于将图像压缩到潜在空间，在潜在空间中利用算法调度逐步处理扩散信息，加快预测图像的生成；
[0027]图像信息生成器在获取token嵌入和一个随机初始化的图像信息张量(潜变量)后，通过一步步地给该随机张量添加一点文本相关信息，使之逐渐符合输入的信息；
[0028]所述的图像解码器使用由图像信息生成器输出的信息张量绘制出最终的图像。
[0029]进一步地，所述的图像填充模型通过迭代添加高斯噪声来模糊训练数据，再学习如何消除噪声来实现数据的恢复，运作过程包括前向和后向两个阶段，目标是计算出每一步的分布概率，在前行阶段，图像填充模型通过一步步地添加噪声来模糊图像，直到图像变成完全随机的噪声；在后向阶段，使用一系列马尔可夫链逐步去除预测噪声，从噪声中实现数据的恢复。
[0030]本专利技术与现有技术相比的有益效果为：本专利技术实现了更灵活的预测图像生成：根据用户输入的提示文本，如手术步骤的调整，生成经过调整后的预测图像，使得预测图像可以根据指导而灵活变化，可以帮助患者和医生更好地做出手术选择和实施决策，从而减少手术风险，提高手术成功率。同时，患者可以根据预测图像提出意见，本专利技术的技术方案在经过手术方式、步骤等调整后提供进一步的预测图像，更好地适应患者的个性化需求，提升医疗诊治满意度，协调与缓和了医患关系，同时，本专利技术在图像分割、内容填补等方面达到更高的精度和稳定性，从而提高了预测结果的准确性，为医生和患者提供更有力度的参考依据。
附图说明
[0031]图1为本专利技术Transformer的具体结构示意图。
[0032]图2为本专利技术分割部分结构示意图。
[0033]图3为本专利技术图像填充模型结构示意图。
[0034]图4为本专利技术使用的马尔可夫链示意图。
具体实施方式
[0035]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0036]实施例：一种用于唇裂手术分析的图像预测生成方法，其特征在于，包括以下步骤：
[0037]S100、去除图像内容：对图像中需要去除的对象进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于唇裂手术分析的图像预测生成方法，其特征在于，包括以下步骤：S100、去除图像内容：对图像中需要去除的对象进行选择、分割和删除；S200、填充图像内容：根据输入文本提示，对图像中的对象进行填充。2.根据权利要求1所述的一种用于唇裂手术分析的图像预测生成方法，其特征在于，S100中去除图像内容包括以下步骤：S110、点击选择图像中需要删除的局部对象；S120、根据点击位置自动分割目标并创建掩码(Mask)；S130、利用掩码对去除的对象位置进行绘制填充，填充的内容以图像背景为基础。3.根据权利要求2所述的一种用于唇裂手术分析的图像预测生成方法，其特征在于，S102中对图像进行分割的模型包括检测部分和分割部分，所述的检测部分包括以下步骤：S121、将输入的图像分为多个patch；S122、将每个patch投影为定长向量送入Transformer；S123、对多个patch投影得到的定长嵌入向量构成一个输入序列，同时在输入序列中加入一个token，该token表示对图像类别的预测；Transformer对输入序列进行编码，包括位置编码、多头注意力和多层感知三类操作。4.根据权利要求3所述的一种用于唇裂手术分析的图像预测生成方法，其特征在于，所述的Transformer的具体结构为：(1)patch嵌入：将输入图片分为固定大小的patch，通过线性映射层之后，再加上一个表示类别的token；(2)位置编码层：实现嵌入向量与位置编码相加；(3)多头自注意力层(MSA)：用于处理经过位置编码的向量；(4)多层感知层(MLP)：用于处理经过多头自注意力的向量。5.根据权利要求3所述的一种用于唇裂手术分析的图像预测生成方法，其特征在于，所述的分割部分包括以下步骤：S124、使用神经网络提取图像特征；S125、将图像特征分为两个分支，其中一个分支通过像素解码器模块生成掩码的预...

【专利技术属性】
技术研发人员：李文波，易忠杰，章为，王先成，
申请(专利权)人：中南大学湘雅二医院，
类型：发明
国别省市：