一种用于模糊视频文本信息增强的多光谱融合方法技术

本发明专利技术公开了一种用于模糊视频文本信息增强的多光谱融合方法，包括以下步骤：步骤1，输入一个待增强文字信息的模糊视频帧；步骤2，将输入视频帧分别转化为灰度图、R值图、G值图和B值图，并分别进行简单的增强操作；步骤3，将灰度图、R值图、G值图和B值图的增强图按照最小值、最大值、和值、均值、中值操作融合成五幅图；步骤4，将五幅融合图分别进行k等于2的k-means操作，得到五幅二值图；步骤5，将五幅二值图按照中值操作融合成增强图，完成增强工作。

【技术实现步骤摘要】
一种用于模糊视频文本信息增强的多光谱融合方法
本专利技术涉及一种文本信息的增强方法，特别是一种用于模糊视频文本信息增强的多光谱融合方法。
技术介绍
在图像处理、模式识别和视频文档分析领域，视频文本检测和识别是当前研究工作中的一项新兴分支。这对于一些实时应用是很有用的，比如：基于语义的事件检索、突出事件提取、盲人协助、安全驾驶、导航和监测。典型的算法有，鲁棒的二值化方法，超分辨率方法和提取降级不变特征等。在视频文本检测和识别任务中，多种因素会影响检测和识别的结果，比如：光照、遮挡和退化等。因此，一个鲁棒的文本信息增强算法对于退化的视频文本检测和识别工作是很有必要的。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种用于模糊视频文本信息增强的多光谱融合方法，从而使模糊视频帧中的文本信息得到增强。为了解决上述技术问题，本专利技术公开了一种用于模糊视频文本信息增强的多光谱融合方法，包括以下步骤：步骤1，输入一个待增强文字信息的模糊视频帧作为目标视频帧，所述待增强文字信息的模糊视频帧由模糊的文字和非文字构成；步骤2，将输入视频帧分别转化为四个通道图，分别是灰度图、R值图、G值图和B值图，分别计算各幅图的局部最小值和局部最大值，通过局部最大值和局部最小值计算得到四个通道图的简单增强图；步骤3，将灰度图、R值图、G值图和B值图的简单增强图按照最小值、最大值、和值、均值、中值操作融合成五幅图；步骤4，将五幅融合图分别进行k＝2的k-means操作，得到五幅二值图；步骤5，将五幅二值图按照中值操作融合成增强图，完成增强工作。本专利技术步骤2中包括如下步骤：将输入视频帧转化为灰度图、R值图、G值图、B值图，分别记为Igray(x,y)，IR(x,y)，IG(x,y)和IB(x,y)，这里(x,y)代表图的像素点；对于灰度图Igray(x,y)，计算其局部最小值和局部最大值，分别记为Imin(x,y)和Imax(x,y)，计算公式为：Imin(x,y)＝min({I(xk,yk):(xk,yk)∈W})，Imax(x,y)＝max({I(xk,yk):(xk,yk)∈W})，其中W表示以像素点(x,y)为圆心，两个像素为半径的圆形窗口，k表示窗口W内像素位置；计算灰度图Igray(x,y)的增强图，公式为：其中，μmin和μmax分别表示局部最小值图Imin(x,y)和局部最大值图Imax(x,y)的平均像素值，σmin和σmax分别表示局部最小值图Imin(x,y)和局部最大值图Imax(x,y)的像素值的标准差；同样的方法求得IR(x,y)，IG(x,y)和IB(x,y)的增强图，分别为ER(x,y)，EG(x,y)和EB(x,y)：其中，μmin1和μmax1分别表示R值图IR(x,y)局部最小值图的平均像素值和局部最大值图的平均像素值，σmin1和σmax1分别表示R值图IR(x,y)局部最小值图的像素值的标准差和局部最大值图的像素值的标准差；μmin2和μmax2分别表示G值图IG(x,y)局部最小值图的平均像素值和局部最大值图的平均像素值，σmin2和σmax2分别表示G值图IG(x,y)局部最小值图的像素值的标准差和局部最大值图的像素值的标准差；μmin3和μmax3分别表示B值图IB(x,y)局部最小值图的平均像素值和局部最大值图的平均像素值，σmin3和σmax3分别表示B值图IB(x,y)局部最小值图的像素值的标准差和局部最大值图的像素值的标准差。本专利技术步骤3中，所述最小值操作的计算方法如下：fsMin(x,y)＝min({Ej(xj,yj):j＝1,2,3,4})，其中Ej(xj,yj)按照j取值从1到4分别表示灰度增强图、R值增强图、G值增强图、B值增强图；最大值操作的计算方法如下：fsMax(x,y)＝max({Ej(xj,yj):j＝1,2,3,4})，其中Ej(xj,yj)按照j取值从1到4分别表示灰度增强图、R值增强图、G值增强图、B值增强图；和值操作的计算方法如下：其中Ej(xj,yj)按照j取值从1到4分别表示灰度增强图、R值增强图、G值增强图、B值增强图；均值操作的计算方法如下：中值操作的计算方法如下：fsMed＝median({Ej(xj,yj):j＝1,2,3,4})，其中，median操作即取集合中元素的中位数；本专利技术步骤5中，所述中值操作的计算方法如下:F(x,y)＝median({Br(xr,yr):r＝1,2,3,4,5})，其中Br(xr,yr)按照r取值从1到5分别表示最小值融合图、最大值融合图、和值融合图、均值融合图和中值融合图。附图说明下面结合附图和具体实施方式对本专利技术做更进一步的具体说明，本专利技术的上述和或其他方面的优点将会变得更加清楚。图1为本专利技术流程图。图2为含有模糊文本信息的视频帧。图3为最后的增强图。具体实施方式：本专利技术所述的一种用于模糊视频文本信息增强的多光谱融合方法的基本出发点是通过对模糊视频帧的多个通道分别进行增强，按照一定融合规则将几个通道的结果进行融合，对不同规则下的融合结果分别进行聚类操作，并再次进行融合，得到最终的图像增强结果。下面结合附图对本专利技术做更加详细的解释：如图1所示，步骤1，输入一个待增强文字信息的模糊视频帧作为目标视频帧，记为目标视频帧I。步骤2，将目标视频帧分别转化为四个通道图，分别是灰度图、R值图、G值图、B值图，分别记为Igray(x,y)，IR(x,y)，IG(x,y)和IB(x,y)，这里(x,y)代表图的像素点。步骤3，分别将灰度图、R值图、G值图和B值图做简单增强。对于灰度图Igray(x,y)，计算其局部最小值和局部最大值，分别记为Imin(x,y)和Imax(x,y)，计算公式为：Imin(x,y)＝min({I(xk,yk):(xk,yk)∈W})，Imax(x,y)＝max({I(xk,yk):(xk,yk)∈W})，其中W表示以像素点(x,y)为圆心，两个像素为半径的圆形窗口；计算灰度图Igray(x,y)的增强图，公式为：其中，μmin和μmax分别表示局部最小值图Imin(x,y)和局部最大值图Imax(x,y)的平均像素值，σmin和σmax分别表示局部最小值图Imin(x,y)和局部最大值图Imax(x,y)的像素值的标准差；同样的方法求得IR(x,y)，IG(x,y)和IB(x,y)的增强图，分别为ER(x,y)，EG(x,y)和EB(x,y)：其中，μmin1和μmax1分别表示R值图IR(x,y)局部最小值图的平均像素值和局部最大值图的平均像素值，σmin1和σmax1分别表示R值图IR(x,y)局部最小值图的像素值的标准差和局部最大值图的像素值的标准差；μmin2和μmax2分别表示G值图IG(x,y)局部最小值图的平均像素值和局部最大值图的平均像素值，σmin2和σmax2分别表示G值图IG(x,y)局部最小值图的像素值的标准差和局部最大值图的像素值的标准差；μmin3和μmax3分别表示B值图IB(x,y)局部最小值图的平均像素值和局部最大值图的平均像素值，σmin3和σmax3分别表示B值图IB(x,y)局部最小值图的像素值的标准差和局部最大值图的像素值的标准本文档来自技高网...

【技术保护点】
一种用于模糊视频文本信息增强的多光谱融合方法，其特征在于，包括以下步骤：步骤1，输入一个待增强文字信息的模糊视频帧作为目标视频帧，所述待增强文字信息的模糊视频帧包含有模糊的文字；步骤2，将目标视频帧分别转化为四个通道图，分别是灰度图、R值图、G值图和B值图，分别计算各个通道图的局部最小值和局部最大值，通过局部最大值和局部最小值计算得到四个通道图的简单增强图；步骤3，将灰度图、R值图、G值图和B值图的简单增强图按照最小值、最大值、和值、均值、中值操作融合成五幅图；步骤4，将五幅融合图分别进行k＝2的k‑means聚类处理，得到五幅二值图；步骤5，将五幅二值图按照中值操作融合成增强图，完成增强工作。

【技术特征摘要】
1.一种用于模糊视频文本信息增强的多光谱融合方法，其特征在于，包括以下步骤：步骤1，输入一个待增强文字信息的模糊视频帧作为目标视频帧，所述待增强文字信息的模糊视频帧包含有模糊的文字；步骤2，将目标视频帧分别转化为四个通道图，分别是灰度图、R值图、G值图和B值图，分别计算各个通道图的局部最小值和局部最大值，通过局部最大值和局部最小值计算得到四个通道图的简单增强图；步骤3，将灰度图、R值图、G值图和B值图的简单增强图按照最小值、最大值、和值、均值、中值操作融合成五幅图；步骤4，将五幅融合图分别进行k＝2的k-means聚类处理，得到五幅二值图；步骤5，将五幅二值图按照中值操作融合成增强图，完成增强工作。2.根据权利要求1所述的一种用于模糊视频文本信息增强的多光谱融合方法，其特征在于，步骤2中包括如下步骤：将输入的目标视频帧转化为灰度图、R值图、G值图、B值图，分别记为Igray(x,y)，IR(x,y)，IG(x,y)和IB(x,y)，其中(x,y)代表目标视频帧的像素点；对于灰度图Igray(x,y)，计算其局部最小值和局部最大值，分别记为Imin(x,y)和Imax(x,y)，计算公式为：Imin(x,y)＝min({I(xk,yk):(xk,yk)∈W})，Imax(x,y)＝max({I(xk,yk):(xk,yk)∈W})，其中W表示以像素点(x,y)为圆心，两个像素为半径的圆形窗口，k表示窗口W内像素位置；计算灰度图Igray(x,y)的增强图Egray(x,y)，公式为：其中，μmin和μmax分别表示局部最小值图Imin(x,y)的平均像素值和局部最大值图Imax(x,y)的平均像素值，σmin和σmax分别表示局部最小值图Imin(x,y)的像素值的标准差和局部最大值图Imax(x,y)的像素值的标准差；计算R值图IR(x,y)，G值图IG(x,y)和B值图IB(x,y)的增强图，分别为ER(x,y)，EG(x,y)和EB(x,y)：

【专利技术属性】
技术研发人员：路通，翁炀冰，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32