基于增强现实的翻译显示方法、装置、计算设备及介质制造方法及图纸

本发明专利技术公开了一种基于增强现实的翻译显示方法、装置、计算设备及介质，包括：获取实时拍摄的图像；识别获取的所述图像中包含的待识别对象；将识别出的待识别对象翻译成目标语言对象；以及使用AR技术将目标语言对象叠加在当前图像中所述待识别对象的位置上进行显示。由此，通过AR技术的引入提升翻译显示的实时性与沉浸程度，从而改善用户体验。

【技术实现步骤摘要】
基于增强现实的翻译显示方法、装置、计算设备及介质
本专利技术涉及增强现实(AR)技术，尤其涉及一种基于增强现实的翻译显示方法、装置、计算设备及存储介质。
技术介绍
近年来，业已开发出关于从照相机所拍摄的图像中提取、识别出文字后将其翻译成规定的语言进行显示的翻译显示装置的技术。当前主流的翻译类软件的交互主要有两种，一种是用户输入文本后，实时给出对应的译文。另一种是用户输入图像后，软件给出图片中文字对应的译文。图1示出了现有技术中翻译显示的一个例子。如图1所示，将西班牙的源词“APAGUE”、和一一对应地翻译成英语“TURNOFF”、“TELEPHONE”和“MOBILE”(即，“关闭移动电话”)。由上可知，现有翻译软件适用于简单背景中的逐词翻译。换句话说，现有技术多是针对单词的逐条翻译，翻译效果差，精度低，用户体验不佳，且无法适应跨语系的实时场景下的翻译。有鉴于此，需要一种改进的翻译显示方案。
技术实现思路
为了解决如上的至少一个问题，本专利技术提出了一种基于增强现实的翻译显示方案，该方案通过对待识别对象及其相关属性的识别以及对目标语言对象的增强显示，提升了翻译显示的实时性与沉浸程度，从而改善了用户体验。根据本专利技术的一个方面，提供了一种基于增强现实(AR)的翻译显示方法，包括：获取实时拍摄的图像；识别获取的所述图像中包含的待识别对象；将识别出的待识别对象翻译成目标语言对象；以及使用AR技术将目标语言对象叠加在当前图像中所述待识别对象的位置上进行显示。由此，通过AR技术的引入提升翻译显示的实时性与沉浸度，提升用户体验。在一个实施例中，获取实时拍摄的图像包括：获取实时拍摄的视频的图像帧，并且所述方法还包括：对所述图像帧进行处理以对所述图像帧中的待识别对象进行追踪，从而确定在所述当前图像中待识别对象的位置。在另一个实施例中，所述翻译显示方法还可以包括：对拍摄并显示所述图像的设备位移进行持续修正，以确定在所述当前图像中待识别对象的位置。由此，可以基于对象追踪或位置修正实现显示对象的准确覆盖与替换。优选地，识别获取的所述图像中包含的待识别对象可以包括：基于如下至少一项，确定所述图像中要识别的待识别对象的范围和/或语言：所述实时拍摄所处的地理位置；载有所述待识别对象的物体；以及所述物体在所述图像中的位置。由此，可以基于对实时翻译所处具体情景的判定，进行更为准确的翻译显示。优选地，所述翻译显示方法还可以包括：基于用户后续操作，修改所述图像中待识别对象的范围和/或语言。由此，可以依用户选择对上述判定进行修改。优选地，待识别对象包括源语言的句子或词组，并且，将识别出的待识别对象翻译成目标语言对象包括：根据目标语言的语法规则重排所述目标语言对象。由此，提升对全文翻译，尤其是跨语系全文翻译的正确显示的概率。优选地，使用AR技术将目标语言对象叠加在当前图像中所述待识别对象的位置上进行显示可以包括：基于所述待识别对象的格式显示叠加的所述目标语言对象。从而最大化地保留源语言信息。优选地，识别获取的所述图像中包含的待识别对象还包括：识别所述待识别对象的背景；并且使用AR技术将目标语言对象叠加在当前图像中所述待识别对象的位置上进行显示包括：以所述待识别对象的背景显示叠加的所述目标语言对象。由此提升AR显示的融入程度。优选地，根据如下至少一项确定使用AR技术显示所述目标语言对象的样式：当前用户选择；大数据用户选择；所述实时拍摄所处的地理位置；以及载有所述待识别对象的物体。由此，通过样式的恰当设置，提升用户的使用体验。根据本专利技术的另一个方面，提供了一种基于增强现实(AR)的翻译显示装置，包括：图像获取单元，用于获取实时拍摄的图像；对象识别单元，用于识别获取的所述图像中包含的待识别对象；翻译单元，用于将识别出的待识别对象翻译成目标语言对象；以及显示单元，用于使用AR技术将目标语言对象叠加在当前图像中所述待识别对象的位置上进行显示。优选地，所述图像获取单元获取实时拍摄的视频的图像帧，并且所述装置还包括：对象追踪单元，用于对所述图像帧进行处理以对所述图像帧中的待识别对象进行追踪，从而确定在所述当前图像中待识别对象的位置。优选地，所述装置还包括：位移修正单元，用于对拍摄并显示所述图像的设备位移进行持续修正，以确定在所述当前图像中待识别对象的位置。优选地，所述对象识别单元基于如下至少一项，确定所述图像中要识别的待识别对象的范围、所属语言和/或语言属性：所述实时拍摄所处的地理位置；载有所述待识别对象的物体；以及所述物体在所述图像中的位置。优选地，所述装置还包括：对象修改单元，用于基于用户后续操作，修改所述图像中待识别对象的范围和/或语言。优选地，所述待识别对象包括源语言的句子或词组，并且，所述翻译单元根据目标语言的语法规则重排所述目标语言对象。优选地，所述显示单元基于所述待识别对象的格式显示叠加的所述目标语言对象。优选地，所述识别单元还用于识别所述待识别对象的背景；并且所述显示单元以所述待识别对象的背景显示叠加的所述目标语言对象。优选地，所述显示单元根据如下至少一项确定使用AR技术显示所述目标语言对象的样式：当前用户选择；大数据用户选择；所述实时拍摄所处的地理位置；载有所述待识别对象的物体。根据本专利技术的另一方面，还提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。根据本专利技术的另一方面，还提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。由此，通过对待识别对象及其相关属性的识别以及对目标语言对象的增强显示，提升了翻译显示的实时性与沉浸程度，从而改善用户体验。附图说明通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。图1示出了现有技术中翻译显示的一个例子。图2示出了用于实现本专利技术实施例的环境的示意图。图3示出了根据本专利技术一个实施例的基于AR技术的翻译显示方法的流程示意图。图4示出了根据本专利技术一个实施例的翻译显示装置的结构示意图。图5示出了根据本专利技术一个实施例的计算设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。随着对外交流的日益增多，在越来越多的场景中涉及不同语言之间的翻译。近年来，业已开发出关于从照相机所拍摄的图像中提取、识别出文字后将其翻译成规定的语言进行显示的翻译显示装置的技术。当前主流的翻译类软件的交互主要有两种，一种是用户输入文本后，实时给出对应的译文。另一种是用户输入图像后，软件给出图片中文字对应的译文。现有的翻译实现有着诸多问题。例如，针对用户通常连字母都不认识的阿拉伯语，就无法通过文本输入进行翻译。另外，针对图像输入的翻译具有译文对应不准确，背景覆盖生硬等问题。有鉴于此，本专利技术通过创造性地引入AR技术，提升实时翻译显本文档来自技高网...

【技术保护点】
1.一种基于增强现实(AR)的翻译显示方法，包括：获取实时拍摄的图像；识别获取的所述图像中包含的待识别对象；将识别出的待识别对象翻译成目标语言对象；以及使用AR技术将目标语言对象叠加在当前图像中所述待识别对象的位置上进行显示。

【技术特征摘要】
1.一种基于增强现实(AR)的翻译显示方法，包括：获取实时拍摄的图像；识别获取的所述图像中包含的待识别对象；将识别出的待识别对象翻译成目标语言对象；以及使用AR技术将目标语言对象叠加在当前图像中所述待识别对象的位置上进行显示。2.如权利要求1所述的方法，其中，获取实时拍摄的图像包括：获取实时拍摄的视频的图像帧，并且所述方法还包括：对所述图像帧进行处理以对所述图像帧中的待识别对象进行追踪，从而确定在所述当前图像中待识别对象的位置。3.如权利要求1所述的方法，还包括：对拍摄并显示所述图像的设备位移进行持续修正，以确定在所述当前图像中待识别对象的位置。4.如权利要求1所述的方法，其中，识别获取的所述图像中包含的待识别对象包括：基于如下至少一项，确定所述图像中要识别的待识别对象的范围、所属语言和/或语言属性：所述实时拍摄所处的地理位置；载有所述待识别对象的物体；以及所述物体在所述图像中的位置。5.如权利要求4所述的方法，还包括：基于用户后续操作，修改所述图像中待识别对象的范围和/或语言。6.如权利要求1所述的方法，其中，所述待识别对象包括源语言的句子或词组，并且，将识别出的待识别对象翻译成目标语言对象包括：根据目标语言的语法规则重排所述目标语言对象。7.如权利要求6所述的方法，其中，使用AR技术将目标语言对象叠加在当前图像中所述待识别对象的位置上进行显示包括：基于所述待识别对象的格式显示叠加的所述目标语言对象。8.如权利要求1所述的方法，其中，识别获取的所述图像中包含的待识别对象还包括：识别所述待识别对象的背景；并且使用AR技术将目标语言对象叠加在当前图像中所述待识别对象的位置上进行显示包括：以所述待识别对象的背景显示叠加的所述目标语言对象。9.如权利要求1所述的方法，其中，根据如下至少一项确定使用AR技术显示所述目标语言对象的样式：当前用户选择；大数据用户选择；所述实时拍摄所处的地理位置；载有所述待识别对象的物体。10.一种基于增强现实(AR)的翻译显示装置，包括：图像获取单元，用于获取实时拍摄的图像；对象识别单元，用于识别获取的所述图...

【专利技术属性】
技术研发人员：翁粤东，
申请(专利权)人：优视科技有限公司，
类型：发明
国别省市：北京,11