一种视频图像增强方法技术

本发明专利技术提供一种视频图像增强方法，包括：基于图像灰度变换对医疗视频图像训练集扩充增强，得到深度学习所需的视频图像数据训练集；对输入的测试图像进行图像降采样处理，得到低分辨率图像；基于深度学习卷积神经网络对所述低分辨率图像进行照射分量预测，得到二维的低分辨率图像照射分量图；基于双边网格与引导滤波对所述低分辨率图像照射分量图进行全分辨率图像照度分量预测，得到全分辨率图像照度分量；对全分辨率图像照度分量进行图像增强，得到增强后的图像。本发明专利技术解决了现有技术中的光照不足与不均匀性问题和基于深度学习的方法对数据的需求量大，同时图像视频数据不足的问题，提升了视频图像质量，实现了视频图像实时增强处理。

【技术实现步骤摘要】
一种视频图像增强方法
本专利技术属于图像处理领域，特别涉及一种视频图像增强方法。
技术介绍
现有的微创介入手术过程中，经常出现视频图像光线不足与光照不均匀的情况，造成手术风险急剧增加。因此，如何增强视频图像的清晰度具有重要的临床应用价值。由于现有的医疗手术视频技术中数据采集不足，模型运算速度不够，模型泛化能力不强等现象，使得现有的深度学习图像增强方法较少被用于处理手术图像增强问题。同时，传统的图像增强方法存在着只能用于处理某些特定的问题，容易产生噪音等现象的问题。随着深度学习的发展，基于深度学习的图像增强方法，可提取图像深层信息，根据深层信息预测增强后的图像，取得了很好的效果。但是深度学习图像增强方法依赖于大量训练数据集、损失函数的选择，对设备运算能力要求过高，难以达到实时处理效果。这些问题导致基于深度学习的视频图像增强方法的设计与实施尤为困难。
技术实现思路
针对上述问题，本专利技术提供一种视频图像增强方法。本专利技术的视频图像增强方法，包括步骤：一、基于图像灰度变换对医疗视频图像训练集扩充增强，得本文档来自技高网...

【技术保护点】
1.一种视频图像增强方法，其特征在于，包括步骤：/n一、基于图像灰度变换对医疗视频图像训练集扩充增强，得到深度学习所需的视频图像数据训练集；/n二、对输入的测试图像进行图像降采样处理，得到低分辨率图像；/n三、基于深度学习卷积神经网络对所述低分辨率图像进行照射分量预测，得到二维的低分辨率图像照射分量图；/n四、基于双边网格与引导滤波对所述低分辨率图像照射分量图进行全分辨率图像照度分量预测，得到全分辨率图像照度分量；/n五、对所述全分辨率图像照度分量基于多尺度Retinex模型进行图像增强，得到增强后的图像。/n

【技术特征摘要】
1.一种视频图像增强方法，其特征在于，包括步骤：
一、基于图像灰度变换对医疗视频图像训练集扩充增强，得到深度学习所需的视频图像数据训练集；
二、对输入的测试图像进行图像降采样处理，得到低分辨率图像；
三、基于深度学习卷积神经网络对所述低分辨率图像进行照射分量预测，得到二维的低分辨率图像照射分量图；
四、基于双边网格与引导滤波对所述低分辨率图像照射分量图进行全分辨率图像照度分量预测，得到全分辨率图像照度分量；
五、对所述全分辨率图像照度分量基于多尺度Retinex模型进行图像增强，得到增强后的图像。


2.根据权利要求1所述的一种视频图像增强方法，其特征在于，在所述步骤五后执行步骤：
六、基于深度学习卷积神经网络对所述增强后的图像进行图像增强效果判别。


3.根据权利要求2所述的一种视频图像增强方法，其特征在于，
在所述步骤六中，引入卷积神经网络作为图像增强效果判别器，所述图像增强效果判别器包括块以及全连接层，所述块包括卷积层、激活函数和归一化层；
所述图像增强效果判别器的输入为3通道的彩色图片，所述图像增强效果判别器的输出为一个数值。


4.根据权利要求3所述的一种视频图像增强方法，其特征在于，
所述块的数目取为2～100。


5.根据权利要求3所述的一种视频图像增强方法，其特征在于，
所述块的数目取为3。


6.根据权利要求3-5任一所述的一种视频图像增强方法，其特征在于，
利用所述视频图像数据训练集对所述图像增强效果判别器进行训练。


7.根据权利要求6所述的一种视频图像增强方法，其特征在于，
对所述图像增强效果判别器进行训练的输入方法为：输入光照不足不均匀的第二视频图像集X后，再输入与所述第二视频图像集X所对应的光照充足均匀的第一视频图像集Y。


8.根据权利要求7所述的一种视频图像增强方法，其特征在于，
采用所述输入方法后，在对所述图像增强效果判别器进行训练时，
把所述第二视频图像集X中的图像x变换或映射到所述第一视频图像集Y中的图像GX(x),x∈X；
利用所述图像增强效果判别器(GX(x))来判别所述第二视频图像集X中的图像x是否为真实图像。


9.根据权利要求8所述的一种视频图像增强方法，其特征在于，
根据卷积神经网络生成器和所述图像增强效果判别器，训练损失函数，
所述损失函数为均方误差函数、结构相似性损失函数、平滑损失函数、梯度损失函数、平均绝对误差函数以及下面的混合损失函数之一，
混合损失函数＝权重系数1×梯度损失函数+权重系数2×结构相似性损失函数+权重系数3×平均绝对误差函数。


10.根据权利要求9所述的一种视频图像增强方法，其特征在于，
采用所述图像增强效果判别器，对所述步骤五中得到的增强后的图像进行判别，
若所述图像增强效果判别器输出的损失数值太大，则重复所述步骤三、步骤四、步骤五、步骤六；
若所述图像增强效果判别器输出的损失数值收敛至预期值，则所述步骤五中得到的增强后的图像为图像增强的最终结果。


11.根据权利要求7-10任一所述的一种视频图像增强方法，其特征在于，
所述步骤一包括：
利用所述图像灰度变换方法对光照充足均匀的第一视频图像进行空间变换，生成对应的光照不足不均匀的第二视频图像，从而形成由所述第一视频图像和第二视频图像构成的视频图像对；
通过对所述视频图像进行数据扩充操作，形成深度学习所需的所述视频图像数据...

【专利技术属性】
技术研发人员：罗雄彪，万英，
申请(专利权)人：罗雄彪，万英，曾志明，忞惪医疗机器人苏州有限公司，
类型：发明
国别省市：福建;35