图像补偿方法和装置、存储介质及电子装置制造方法及图纸

本发明专利技术公开了一种图像补偿方法和装置、存储介质及电子装置。其中，该方法包括：获取待处理视频中包括内嵌字幕的第一帧图像以及该内嵌字幕在该第一帧图像中所在的第一区域；查找该待处理视频中与该第一帧图像的像素距离符合目标条件的无内嵌字幕的第二帧图像；使用该第二帧图像中与该第一区域对应的第二区域上的像素点对该第一区域上的像素点进行图像补偿。采用上述方案，在保证字幕清除效果的前提下，与相关技术中采用机器学习的字幕清除方案相比节省了大量计算资源，大幅提升了图像补偿速度，避免了在视频播放过程由于消除字幕造成的卡顿，进而解决了相关技术中的内嵌清除字幕方案需要耗费大量计算资源的技术问题。

Image compensation method and device, storage medium and electronic device

【技术实现步骤摘要】
图像补偿方法和装置、存储介质及电子装置
本专利技术涉及视频处理领域，具体而言，涉及一种图像补偿方法和装置、存储介质及电子装置。
技术介绍
在相关技术中，字幕已成为用户观看视频时不可或缺的元素，一般情况下，以字幕的存储位置作为分类手段，视频源介质可分为外挂字幕(字幕与视频源分离，后期字幕可更换)，以及内嵌字幕两种类型(字幕在编码时被压入视频，后期无法替换字幕)。对于内嵌字幕，由于字幕在编码时已压制入视频源，若用户希望字幕变的更大(例如老年用户)，或将字幕更换为其他语言(例如外国用户)，则需要先对内嵌字幕进行涂抹。相关技术中可使用机器学习方案，将字幕涂抹后补全图像。但是，存在以下缺点：计算量大，对于流媒体播放场景，需要在后台对视频逐帧进行处理，成本较高。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种图像补偿方法和装置、存储介质及电子装置，以至少解决相关技术中的内嵌清除字幕方案需要耗费大量计算资源的技术问题。根据本专利技术的另一个实施例，还提供了一种图像补偿方法，包括：获取待处理视频中包括内嵌字幕的第一帧图像以及所述内嵌字幕在所述第一帧图像中所在的第一区域；查找所述待处理视频中与所述第一帧图像的像素距离符合目标条件的无内嵌字幕的第二帧图像；在查找到所述第二帧图像的情况下，使用所述第二帧图像中与所述第一区域对应的第二区域上的像素点对所述第一区域上的像素点进行图像补偿，以消除所述第一区域上的所述内嵌字幕。根据本专利技术的另一个实施例，还提供了一种图像补偿装置，包括：获取模块，用于获取待处理视频中包括内嵌字幕的第一帧图像以及所述内嵌字幕在所述第一帧图像中所在的第一区域；查找模块，用于查找所述待处理视频中与所述第一帧图像的像素距离符合目标条件的无内嵌字幕的第二帧图像；补偿模块，用于在查找到所述第二帧图像的情况下，使用所述第二帧图像中与所述第一区域对应的第二区域上的像素点对所述第一区域上的像素点进行图像补偿，以消除所述第一区域上的所述内嵌字幕。可选地，所述查找模块还用于在所述待处理视频中从所述第一帧图像开始向前或向后搜索无内嵌字幕的目标帧图像，其中，所述目标帧图像与所述第一帧图像之间的时间间隔小于第一目标阈值，所述目标帧图像的像素点与所述第一帧图像的像素点之间的像素距离小于第二目标阈值；以及用于在搜索到所述无内嵌字幕的目标帧图像的情况下，将所述目标搜索帧图像确定为所述第二帧图像。可选地，所述装置还包括更新模块，用于在未查找到所述第二帧图像时，在所述第一帧图像中对所述内嵌字幕中的字符进行区域分割，得到一组字符区域；对于每个所述字符区域中的每个第一像素点执行以下步骤，其中，在执行以下步骤时所述每个第一像素点被视为当前像素点：获取所述第一帧图像中与所述当前像素点在上下左右四个方向的距离最近的四个第二像素点的第二像素值，以及获取所述当前像素点所在的所述字符区域内所有所述第一像素点的第一像素值的均值，其中，所述第二像素点不位于所述一组字符区域内；根据所述四个第二像素点的所述第二像素值和所述均值确定所述当前像素点的目标像素值，将所述当前像素点的像素值更新为所述目标像素值。可选地，所述更新模块还用于获取所述第一区域中的每列像素点的像素值的和；以及用于将所述第一区域中所述像素值的和小于第三目标阈值的目标列上的像素点确定为相邻所述字符之间的分割线上的像素点；以及用于根据所述分割线以及所述第一区域的边界确定出所述一组字符区域，其中，每个所述字符区域中包括一个或多个字符。可选地，所述更新模块还用于通过以下公式组合计算出所述当前像素点的目标像素值P：Gh＝abs(Pleft-Pright)；Gv＝abs(Pup-Pdown)；其中，所述ATi为所述均值，所述Pleft为所述四个第二像素点中位于所述当前像素点左边的像素点的所述第二像素值，所述Pright为所述四个第二像素点中位于所述当前像素点右边的像素点的所述第二像素值，所述Pup为所述四个第二像素点中位于所述当前像素点上边的像素点的所述第二像素值，所述Pdown为所述四个第二像素点中位于所述当前像素点下边的像素点的所述第二像素值，所述abs()为绝对值函数。可选地，所述获取模块还用于对所述待处理视频中的每个帧图像执行以下步骤，其中，在执行以下步骤时所述每个帧图像被视为当前帧图像：还用于将所述当前帧图像中的部分区域裁剪掉，得到第一局部帧图像；还用于对所述第一局部帧图像进行图像二值化处理，得到第二局部帧图像，其中，所述第二局部帧图像中的像素点为黑色像素点或白色像素点；还用于获取所述第二局部帧图像中每列像素点的像素值的和，以及所述第二局部帧图像中每行像素点的像素值的和；还用于在所述第二局部帧图像中查找起始列、终止列、起始行、终止行，其中，所述起始列是所述第二局部帧图像中从左到右的第一个第一目标列，所述第一目标列上像素点的像素值的和与位于所述第一目标列左边且相邻的列上像素点的像素值的和的差值大于第四目标阈值；所述终止列是所述第二局部帧图像中从右到左的第一个第二目标列，所述第二目标列上像素点的像素值的和与位于所述目标列右边且相邻的列上像素点的像素值的和的差值大于所述第四目标阈值；所述起始行是所述第二局部帧图像中从上到下的第一个第一目标行，所述第一目标行上像素点的像素值的和与位于所述第一目标行上边且相邻的行上像素点的像素值的和的差值大于所述第四目标阈值；所述终止行是所述第二局部帧图像中从下到上的第一个第二目标行，所述第二目标行上像素点的像素值的和与位于所述第二目标行下边且相邻的行上像素点的像素值的和的差值大于所述第四目标阈值；以及用于在查找到所述起始列、所述终止列、所述起始行以及所述终止行的情况下，将所述当前帧图像确定为所述内嵌字幕的第一帧图像，并将所述起始列、所述终止列、所述起始行以及所述终止行围成的区域确定为所述内嵌字幕在所述第一帧图像中所在的第一区域。可选地，所述补偿模块还用于将所述第一区域上的像素点的像素值替换为所述第二区域上的像素点的像素值。根据本专利技术的另一个实施例，还提供了一种字幕定位方法，包括：对待处理的第一帧图像进行图像二值化处理，得到处理后的第三图像，其中，所述第三图像中的像素点为黑色像素点或白色像素点；获取所述第三图像中每列像素点的像素值的和，以及所述第三图像的每行像素点的像素值的和；检测所述第三图像是否存在目标例和目标行，其中，其中，所述目标列上像素点的像素值的和与相邻列上像素点的像素值的和的差值大于第四目标阈值；所述目标行上像素点的像素值的和与相邻行上像素点的像素值的和的差值大于所述第四目标阈值；在所述第三图像中查找到所述目标列和所述目标行时，确定所述第一帧图像中包括内嵌字幕，以及将所述目标列和所述目标行围成的区域确定为所述内嵌字幕的第一字幕区域。根据本专利技术的另一个实施例，还提供了一种字幕定位装置，包括：第一处理模块，用于对待处理的第一帧图像进行图像二值化处理，得到处理后的第三图像，其中，所述第三图像中的像素本文档来自技高网...

【技术保护点】
1.一种图像补偿方法，其特征在于，包括：/n获取待处理视频中包括内嵌字幕的第一帧图像以及所述内嵌字幕在所述第一帧图像中所在的第一区域；/n查找所述待处理视频中与所述第一帧图像的像素距离符合目标条件的无内嵌字幕的第二帧图像；/n在查找到所述第二帧图像的情况下，使用所述第二帧图像中与所述第一区域对应的第二区域上的像素点对所述第一区域上的像素点进行图像补偿，以消除所述第一区域上的所述内嵌字幕。/n

【技术特征摘要】
1.一种图像补偿方法，其特征在于，包括：
获取待处理视频中包括内嵌字幕的第一帧图像以及所述内嵌字幕在所述第一帧图像中所在的第一区域；
查找所述待处理视频中与所述第一帧图像的像素距离符合目标条件的无内嵌字幕的第二帧图像；
在查找到所述第二帧图像的情况下，使用所述第二帧图像中与所述第一区域对应的第二区域上的像素点对所述第一区域上的像素点进行图像补偿，以消除所述第一区域上的所述内嵌字幕。


2.根据权利要求1所述的方法，其特征在于，所述查找所述待处理视频中与所述第一帧图像的像素距离符合目标条件的无内嵌字幕的第二帧图像，包括：
在所述待处理视频中从所述第一帧图像开始向前或向后搜索无内嵌字幕的目标帧图像，其中，所述目标帧图像与所述第一帧图像之间的时间间隔小于第一目标阈值，所述目标帧图像的像素点与所述第一帧图像的像素点之间的像素距离小于第二目标阈值；
在搜索到所述无内嵌字幕的目标帧图像的情况下，将所述目标搜索帧图像确定为所述第二帧图像。


3.根据权利要求1所述的方法，其特征在于，所述查找所述待处理视频中与所述第一帧图像的像素距离符合目标条件的无内嵌字幕的第二帧图像之后，所述方法还包括：
在未查找到所述第二帧图像时，在所述第一帧图像中对所述内嵌字幕中的字符进行区域分割，得到一组字符区域；
对于每个所述字符区域中的每个第一像素点执行以下步骤，其中，在执行以下步骤时所述每个第一像素点被视为当前像素点：获取所述第一帧图像中与所述当前像素点在上下左右四个方向的距离最近的四个第二像素点的第二像素值，以及获取所述当前像素点所在的所述字符区域内所有所述第一像素点的第一像素值的均值，其中，所述第二像素点不位于所述一组字符区域内；根据所述四个第二像素点的所述第二像素值和所述均值确定所述当前像素点的目标像素值，将所述当前像素点的像素值更新为所述目标像素值。


4.根据权利要求3所述的方法，其特征在于，所述在所述第一帧图像中对所述内嵌字幕中的字符进行区域分割，得到一组字符区域，包括：
获取所述第一区域中的每列像素点的像素值的和；
将所述第一区域中所述像素值的和小于第三目标阈值的目标列上的像素点确定为相邻所述字符之间的分割线上的像素点；
根据所述分割线以及所述第一区域的边界确定出所述一组字符区域，其中，每个所述字符区域中包括一个或多个字符。


5.根据权利要求3所述的方法，其特征在于，根据所述四个第二像素点的所述第二像素值和所述均值确定所述当前像素点的目标像素值，包括：
通过以下公式组合计算出所述当前像素点的目标像素值P：



Gh＝abs(Pleft-Pright)；
Gv＝abs(Pup-Pdown)；
其中，所述ATi为所述均值，所述Pleft为所述四个第二像素点中位于所述当前像素点左边的像素点的所述第二像素值，所述Pright为所述四个第二像素点中位于所述当前像素点右边的像素点的所述第二像素值，所述Pup为所述四个第二像素点中位于所述当前像素点上边的像素点的所述第二像素值，所述Pdown为所述四个第二像素点中位于所述当前像素点下边的像素点的所述第二像素值，所述abs()为绝对值函数。


6.根据权利要求1所述的方法，其特征在于，所述获取待处理视频中内嵌字幕的第一帧图像以及所述内嵌字幕在所述第一帧图像中所在的第一区域，包括：
对所述待处理视频中的每个帧图像执行以下步骤，其中，在执行以下步骤时所述每个帧图像被视为当前帧图像：
将所述当前帧图像中的部分区域裁剪掉，得到第一局部帧图像；
对所述第一局部帧图像进行图像二值化处理，得到第二局部帧图像，其中，所述第二局部帧图像中的像素点为黑色像素点或白色像素点；
获取所述第二局部帧图像中每列像素点的像素值的和，以及所述第二局部帧图像中每行像素点的像素值的和；
在所述第二局部帧图像中查找起始列、终止列、起始行、终止行，其中，所述起始列是所述第二局部帧图像中从左到右的第一个第一目标列，所述第一目标列上像素点的像素值的和与位于所述第一目标列左边且相邻的列上像素点的像素值的和的差值大于第四目标阈值；所述终止列是所述第二局部帧图像中从右到左的第一个第二目标列，所述第二目标列上像素点的像素值的和与位于所述目标列右边且相邻的列上像素点的像素值的和的差值大于所述第四目标阈值；所述起始行是所述第二局部帧图像中从上到下的第一个第一目标行，所述第一目标行上像素点的像素值的和与位于所述第一目标行上边且相邻的行上像素点的像素值的和的差值大于所述第四目标阈值；所述终止行是所述第二局部帧图像中从下到上的第一个第二目标行，所述第二目标行上像素点的像素值的和与位于所述第二目标行下边且相邻的行上像素点的像素值的和的差值大于所述第四目标阈值；
在查找到所述起始列、所述终止列、所述起始行以及所述终止行的情况下，将所述当前帧图像确定为所述内嵌字幕的第一帧图像，并将所述起始列、所述终止列、所述起始行以及所述终止行围成的区域确定为所述内嵌字幕在所述第一帧图像中所在的第一区域。


7.根据权利要求1所述的方法，其特征在于，所述使用所述第二帧图像中与所述第一区域对应的第二区域上的像素点对所述第一区域上的像素点进行图像补偿，包括：
将所述第一区域上的像素点的像素值替换为所述第二区域上的像素点的像素值。


8.一种字幕定位方法，其特征在于，包括：

【专利技术属性】
技术研发人员：邓朔，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44