对终端屏显内容进行翻译处理的方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种对终端屏显内容进行翻译处理的方法、装置、设备及存储介质，相关实施例可应用于移动终端、电脑、车载终端等场景。方法包括：获取终端当前屏显内容，并进行屏幕截图处理以得到终端当前屏显内容中包括文本内容信息的待翻译图像帧，对待翻译图像帧中的文本内容信息进行翻译处理，得到文本翻译结果；根据文本属性信息对述文本翻译结果进行渲染处理后覆盖至终端当前屏显内容页面，由此，能够对终端屏显内容中待翻译图像帧进行准确的翻译，同时在呈现文本翻译结果时，文本颜色信息和文本字号信息，以及背景信息和前景信息可以经过渲染处理覆盖至终端屏显内容中，与终端屏显内容的画面风格相匹配，保证用户获得更加舒适的使用体验。舒适的使用体验。舒适的使用体验。

【技术实现步骤摘要】
对终端屏显内容进行翻译处理的方法、装置、设备及介质


[0001]本专利技术涉及视频处理技术，尤其涉及对终端屏显内容进行翻译处理的方法、装置、电子设备及存储介质。

技术介绍

[0002]随着机器翻译的发展，神经网络机器翻译(NMT，Neural Machine Translation)作为新一代的翻译技术得到普通应用。神经网络机器翻译系统基于编码器
‑
解码器框架搭建，然而，在神经网络机器翻译系统的翻译过程中，终端显示屏中的外文文字翻译虽然能够准确翻译内容，但是经过翻译的文字在直接显示在终端的屏幕中时，文字的表现形式与原有的外文页面的显示效果不能够相匹配，往往造成模糊和重影，影响用户的使用体验。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供对终端屏显内容进行翻译处理的方法、装置、电子设备及存储介质，不但能够对终端屏显内容中待翻译图像帧中的文本内容信息进行准确的翻译，同时在呈现待翻译图像帧时，文本颜色信息和文本字号信息，以及背景信息和前景信息可以经过渲染处理后覆盖至终端当前屏显内容页面，与终端屏显内容的画面风格相匹配，避免由于对文本内容翻译所造成的重影与模糊文字，保证用户获得更加舒适的使用体验。
[0004]本专利技术实施例的技术方案是这样实现的：
[0005]本专利技术实施例提供了一种对终端屏显内容进行翻译处理的方法，包括：
[0006]接收对终端当前屏显内容进行翻译处理的翻译触发指令；
[0007]响应于所述针对终端当前屏显内容的翻译处理指令，获取所述终端当前屏显内容，并进行屏幕截图处理以得到所述终端当前屏显内容中包括文本内容信息的待翻译图像帧；其中，所述待翻译图像帧包括文本内容信息以及与所述文本内容信息对应的文本属性信息；
[0008]对所述待翻译图像帧中的文本内容信息进行翻译处理，得到文本翻译结果；
[0009]获取所述待翻译图像帧的文本内容信息对应的文本属性信息，其中，所述文本属性信息包括文本颜色信息和文本字号信息；
[0010]根据所述文本属性信息对所述文本翻译结果进行渲染处理后覆盖至所述终端当前屏显内容页面，以实现在所述终端中实时的呈现经过渲染处理的所述文本翻译结果。
[0011]本专利技术实施例还提供了一种对终端屏显内容进行翻译处理的装置，包括：
[0012]信息传输模块，用于接收对终端当前屏显内容进行翻译处理的翻译触发指令；
[0013]信息处理模块，用于响应于所述针对终端当前屏显内容的翻译处理指令，获取所述终端当前屏显内容，并进行屏幕截图处理以得到所述终端当前屏显内容中包括文本内容信息的待翻译图像帧；其中，所述待翻译图像帧包括文本内容信息以及与所述文本内容信息对应的文本属性信息；
[0014]所述信息处理模块，用于对所述待翻译图像帧中的文本内容信息进行翻译处理，
得到文本翻译结果；
[0015]所述信息处理模块，用于获取所述待翻译图像帧的文本内容信息对应的文本属性信息，其中，所述文本属性信息包括文本颜色信息和文本字号信息；
[0016]所述信息传输模块，根据所述文本属性信息对所述文本翻译结果进行渲染处理后覆盖至所述终端当前屏显内容页面，以实现在所述终端中实时的呈现经过渲染处理的所述文本翻译结果。
[0017]上述方案中，
[0018]所述信息处理模块，用于响应于所述针对终端当前屏显内容的翻译处理指令，触发对应的翻译模型；
[0019]所述信息处理模块，用于通过翻译模型的编码器，确定与文本内容信息所对应的至少一个词语级的隐变量；
[0020]所述信息处理模块，用于通过所述翻译模型的解码器，根据所述至少一个词语级的隐变量，生成与所述词语级的隐变量相对应的翻译词语以及所述翻译词语的被选取概率；
[0021]所述信息处理模块，用于根据所述翻译结果的被选取概率，选取至少一个翻译词语组成与所述文本内容信息相对应的文本翻译结果。
[0022]上述方案中，
[0023]所述信息处理模块，用于对所述待翻译图像帧的格式进行转化处理，得到位图格式的待翻译图像帧；
[0024]所述信息处理模块，用于对所述图格式的待翻译图像帧进行颜色空间转换处理，并且根据颜色空间转换处理的结果，对所述待翻译图像帧中的背景颜色进行标识处理，得到所述背景颜色对应的像素点的颜色值；
[0025]所述信息处理模块，用于提取所述待翻译图像帧中的文本内容信息所处区域的像素点的颜色值；
[0026]所述信息处理模块，用于对所述背景颜色对应的像素点的颜色值，与所述文本内容信息所处区域的像素点的颜色值进行比较处理，得到所述文本颜色信息；
[0027]所述信息处理模块，用于通过对所述位图格式的待翻译图像帧进行分割处理，得到所述文本字号信息。
[0028]上述方案中，
[0029]所述信息处理模块，用于根据所述文本内容信息的位置，对所述待翻译图像帧进行分割处理，得到至少两个文本识别片段，
[0030]所述信息处理模块，用于对所述少两个文本识别片段中所涉及的单一字符的文本对应的文本字号进行统计，得到每一个文本识别片段中的文本字号信息；
[0031]所述信息处理模块，用于对不同文本识别片段中的文本字号信息进行比较，当确定不同文本识别片段的水平起始位置小于等于水平位置阈值，并且所述不同文本识别片段的高度小于等于高度阈值时，对所述不同文本识别片段进行汇总处理；
[0032]所述信息处理模块，用于统计经过汇总处理得到的文本识别片段的文本字号信息，并根据统计结果筛选所述待翻译图像帧中的相应文本字号信息。
[0033]上述方案中，
[0034]所述信息处理模块，用于根据所述文本内容信息在所述待翻译图像帧中的位置，确定所述文本内容信息相对应的背景信息和前景信息；
[0035]所述信息处理模块，用于根据所述文本属性信息中的文本颜色信息和文本字号信息，分别对所述文本翻译结果进行匹配处理，得到第一文本翻译结果，其中，所述第一文本翻译结果与所述当前屏显内容的画面风格相匹配；
[0036]所述信息处理模块，用于基于所述文本内容信息相对应的背景信息和前景信息，对所述第一文本翻译结果进行渲染处理，得到经过渲染处理的所述文本翻译结果。
[0037]上述方案中，
[0038]所述信息处理模块，用于将所述待翻译图像帧由红绿蓝RGB模式转换为色调饱和度明度HSV模式；
[0039]所述信息处理模块，用于在所述HSV模式的待翻译图像帧，根据所述文本内容信息在所述待翻译图像帧中的位置，对所述待翻译图像帧中的文本内容信息进行剪裁处理；
[0040]所述信息处理模块，用于根据剪裁处理的结果，确定所述文本内容信息相对应的背景信息；
[0041]所述信息处理模块，用于根据所述剪裁处理的结果，以及所述文本内容信息在所述待翻译图像帧中的位置，确定所述文本内容信息的边缘位置，并且根据所述文本内容信息的边缘位置确定所述前景本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对终端屏显内容进行翻译处理的方法，其特征在于，所述方法包括：接收对终端当前屏显内容进行翻译处理的翻译触发指令；响应于针对终端当前屏显内容的翻译处理指令，获取所述终端当前屏显内容，并进行屏幕截图处理以得到所述终端当前屏显内容中包括文本内容信息的待翻译图像帧；其中，所述待翻译图像帧包括文本内容信息以及与所述文本内容信息对应的文本属性信息；对所述待翻译图像帧中的文本内容信息进行翻译处理，得到文本翻译结果；获取所述待翻译图像帧的文本内容信息对应的文本属性信息，其中，所述文本属性信息包括文本颜色信息和文本字号信息；根据所述文本属性信息对所述文本翻译结果进行渲染处理后覆盖至所述终端当前屏显内容页面，以实现在所述终端中实时的呈现经过渲染处理的所述文本翻译结果。2.根据权利要求1所述的方法，其特征在于，所述对所述待翻译图像帧中的文本内容信息进行翻译处理，得到文本翻译结果，包括：响应于所述针对终端当前屏显内容的翻译处理指令，触发对应的翻译模型；通过所述翻译模型的编码器，确定与文本内容信息所对应的至少一个词语级的隐变量；通过所述翻译模型的解码器，根据所述至少一个词语级的隐变量，生成与所述词语级的隐变量相对应的翻译词语以及所述翻译词语的被选取概率；根据所述翻译结果的被选取概率，选取至少一个翻译词语组成与所述文本内容信息相对应的文本翻译结果。3.根据权利要求1所述的方法，其特征在于，所述获取所述待翻译图像帧的文本内容信息对应的文本属性信息，包括：对所述待翻译图像帧的格式进行转化处理，得到位图格式的待翻译图像帧；对所述图格式的待翻译图像帧进行颜色空间转换处理，并且根据颜色空间转换处理的结果，对所述待翻译图像帧中的背景颜色进行标识处理，得到所述背景颜色对应的像素点的颜色值；提取所述待翻译图像帧中的文本内容信息所处区域的像素点的颜色值；对所述背景颜色对应的像素点的颜色值，与所述文本内容信息所处区域的像素点的颜色值进行比较处理，得到所述文本颜色信息；通过对所述位图格式的待翻译图像帧进行分割处理，得到所述文本字号信息。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述文本内容信息的位置，对所述待翻译图像帧进行分割处理，得到至少两个文本识别片段，对所述少两个文本识别片段中所涉及的单一字符的文本对应的文本字号进行统计，得到每一个文本识别片段中的文本字号信息；对不同文本识别片段中的文本字号信息进行比较，当确定不同文本识别片段的水平起始位置小于等于水平位置阈值，并且所述不同文本识别片段的高度小于等于高度阈值时，对所述不同文本识别片段进行汇总处理；统计经过汇总处理得到的文本识别片段的文本字号信息，并根据统计结果筛选所述待翻译图像帧中的相应文本字号信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述文本属性信息对所述文本翻译结果进行渲染处理后覆盖至所述终端当前屏显内容页面，以实现在所述终端中实时的呈现经过渲染处理的所述文本翻译结果，包括：根据所述文本内容信息在所述待翻译图像帧中的位置，确定所述文本内容信息相对应的背景信息和前景信息；根据所述文本属性信息中的文本颜色信息和文本字号信息，分别对所述文本翻译结果进行匹配处理，得到第一文本翻译结果，其中，所述第一文本翻译结果与所述当前屏显内容的画面风格相匹配；基于所述文本内容信息相对应的背景信息和前景信息，对所述第一文本翻译结果进行渲染处理，得到经过渲染处理的所述文本翻译结果。6.根据权利要求5所述的方法，其特征在于，所述根据所述文本内容信息在所述待翻译图像帧中的位置，确定所述文本内容信息相对应的背景信息和前景信息，包括：将所述待翻译图像帧由红绿蓝RGB模式转换为色调饱和度明度HSV模式；在所述HSV模式的待翻译图像帧，根据所述文本内容信息在所述待翻译图像帧中的位置，对所述待翻译图像帧中的文本内容信息进行剪裁处理；根据剪裁处理的结果，确定所述文本内容信息相对应的背景信息；根据所述剪裁处理的结果，以及所述文本内容信息在所述待翻译图像帧中的位置，确定所述文本内容信息的边缘位置，并且根据所述文本内容信息的边缘位置确定所述前景...

【专利技术属性】
技术研发人员：黄辉煌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：