翻译显示装置及翻译显示方法制造方法及图纸

既维持显示帧率又将从图像中提取的文字翻译并进行显示。翻译处理部(5)当不是正在进行不同的其它图像的翻译处理时执行翻译处理。图像运动解析部(7)给定最近结束了翻译处理的基准图像中的被拍摄物体的位置与最近取得图像中的被拍摄物体的位置之间的偏移。基于在基准图像中提取出文字的位置和上述偏移的信息，将在基准图像中翻译出的文字重叠到最近取得的图像进行显示。

【技术实现步骤摘要】
【国外来华专利技术】翻译显示装置及翻译显示方法
本专利技术涉及将图像中的文字翻译后进行显示的翻译显示装置、翻译显示方法以及控制程序。
技术介绍
近年来，已开发出关于从照相机所拍摄的图像中提取、识别出文字后将其翻译成规定的语言进行显示的翻译显示装置的技术。例如，专利文献1公开了一种信息显示装置，其将从图像中通过光学式文字识别(OCR(opticalcharacterreader))提取出的外文或图形符号实时地翻译或者转换后显示到恰当的显示位置。另外，专利文献2记载了：为了迅速进行显示，在连续的2个帧间解析图像，跟踪在前一帧中提取/翻译后的文字进行显示，并且仅对新拍摄的区域执行文字提取/翻译处理。现有技术文献专利文献专利文献1：日本公开专利公报“特开2011-134144号公报(2011年7月7日公开)”专利文献2：日本公开专利公报“特开2010-103694号公报(2010年5月6日公开)”
技术实现思路
专利技术要解决的问题翻译显示装置的高功能化在推进，随着可提取的文字种类的增加、多语言翻译，文字提取处理和翻译处理的时间变长了。在该情况下，在如上述的专利文献1和2所示的现有技术中，是按每个图像对整个图像或者图像的一部分进行文字提取处理和翻译处理，因此，存在显示帧率会变低的问题。本专利技术是鉴于上述的问题而完成的，其目的在于，实现既维持显示帧率又将从图像中提取的文字进行翻译并显示的翻译显示装置、翻译显示方法以及控制程序。用于解决问题的方案为了解决上述的问题，本专利技术的一方式的翻译显示装置具备：图像取得单元，其依次取得图像；以及翻译单元，其翻译从图像中提取出的文字，上述翻译单元是在上述图像取得单元取得某图像时，当不是正在对该某图像以外的其它图像进行翻译处理的情况下对该某图像执行翻译处理的单元，上述翻译显示装置还具备：运动信息给定单元，其给定运动信息，上述运动信息表示以基准图像中的被拍摄物体的位置为基准的、上述图像取得单元最近取得的图像中的上述被拍摄物体的位置偏移，上述基准图像是最近结束了由上述翻译单元进行的上述翻译处理的图像；以及显示单元，其基于在上述基准图像中提取出文字的位置和上述运动信息，将在上述基准图像中翻译出的文字重叠到上述图像取得单元最近取得的图像进行显示。另外，本专利技术的一方式的翻译显示方法包含：图像取得步骤，依次取得图像；以及翻译步骤，翻译从图像中提取出的文字，上述翻译步骤是在上述图像取得步骤中取得某图像时，当不是正在对该某图像以外的其它图像进行翻译处理的情况下对该某图像执行翻译处理的步骤，上述翻译显示方法还包含：运动信息给定步骤，给定运动信息，上述运动信息表示以基准图像中的被拍摄物体的位置为基准的、在上述图像取得步骤中最近取得的图像中的被拍摄物体的位置偏移，上述基准图像是最近结束了上述翻译步骤的图像；以及显示步骤，基于在上述基准图像中提取出文字的位置和上述运动信息，将在上述基准图像中翻译出的文字重叠到在上述图像取得步骤中最近取得的图像进行显示。专利技术效果根据本专利技术的一方式，起到不使显示定时延迟(不使帧率降低)，即能够将翻译内容和翻译出的文字的显示位置维持在一定程度以上的准确性进行显示的效果。附图说明图1是示出本专利技术的实施方式1的翻译显示装置的主要部分构成的框图。图2是示出翻译显示装置的控制部的处理的流程的一例的流程图。图3是示出翻译显示处理的流程的一例的序列图。图4是示出本专利技术的实施方式2的翻译显示装置的主要部分构成的框图。图5是示出翻译显示装置的控制部的处理的流程的一例的流程图。具体实施方式〔实施方式1〕基于图1至图3如下说明本专利技术的一实施方式。图1是示出翻译显示装置1的主要部分构成的一例的框图。如图1所示，翻译显示装置1具备照相机2、控制部3、OCR处理部4、翻译处理部(翻译单元)5、存储部6、图像运动解析部(运动信息给定单元)7以及显示部(显示单元)8。翻译显示装置1例如是智能手机、功能手机、数码照相机、数码摄像机、汽车导航系统、PC(Personalcomputer：个人计算机)、PDA(PersonalDigitalAssistant：个人数字助理)等。照相机2是用于拍摄文字等被拍摄物体的装置。例如，1秒钟拍摄数个至数十个图像，并将所拍摄的图像发送给照相机图像取得部(图像取得单元)31。控制部3通过执行从存储部6读出到临时存储部(未图示)的程序来进行各种运算并且对翻译显示装置1所具备的各部进行总体控制。在本实施方式中，控制部3是具备作为功能块的照相机图像取得部31、OCR/翻译指示部32、运动解析指示部33以及图像生成部34的构成。照相机图像取得部31依次取得照相机2所拍摄的拍摄图像，并将该拍摄图像发送给OCR/翻译指示部32和运动解析指示部33。OCR/翻译指示部32从照相机图像取得部31接收到拍摄图像后，指示OCR处理部4和翻译处理部5对该拍摄图像执行OCR处理和翻译处理。具体地说，OCR/翻译指示部32，首先，将接收到的拍摄图像作为处理开始的指示发送给OCR处理部4，以对接收到的拍摄图像执行OCR处理。在此，将OCR/翻译指示部32发送到OCR处理部4的拍摄图像称为翻译图像。接着，OCR/翻译指示部32从翻译处理部5接收作为处理结束报告的翻译文本和文本位置数据。翻译文本是将从翻译图像提取出的文字翻译后的文本，文本位置数据是表示从翻译图像提取出的文字的位置的信息。OCR/翻译指示部32在接收到翻译文本和位置数据时，使存储部6存储将翻译图像、翻译文本以及文本位置数据相关联后的翻译信息。另外，OCR/翻译指示部32在接收到处理结束报告时，将表示结束OCR处理和翻译处理后的翻译图像的图像识别信息(图像ID等)发送给运动解析指示部33。此外，翻译图像也可以与多个翻译文本相对应，在该情况下，与该多个翻译文本分别对应的多个文本位置数据是与翻译图像相对应的。另外，如后所述，翻译处理部5对OCR处理部4提取出的文字执行翻译处理，因此，在本实施方式中，OCR/翻译指示部32不向翻译处理部5发送具体的指示。不过，OCR/翻译指示部32是指在OCR处理部4或者翻译处理部5不是正在对接收到的拍摄图像以外的其它图像进行处理的情况下，对OCR处理部4和翻译处理部5进行指示。例如，OCR/翻译指示部32可以将从对OCR处理部4进行处理开始的指示到从翻译处理部5接收到处理结束报告为止的期间判断为OCR处理部4或者翻译处理部5正在进行处理。此外，OCR/翻译指示部32在OCR处理部4或者翻译处理部5正在进行处理的情况下，即使从照相机图像取得部31接收到拍摄图像，也不指示OCR处理部4对接收到的拍摄图像执行处理。运动解析指示部33在从照相机图像取得部31接收到拍摄图像时，指示图像运动解析部7对接收到的拍摄图像的图像运动进行解析。在此，将运动解析指示部33指示给图像运动解析部7的作为解析对象的拍摄图像称为运动解析图像。具体地说，运动解析指示部33将从OCR/翻译指示部32最近接收到的图像识别信息所表示的图像给定为用来与运动解析图像进行比较的基准图像。然后，运动解析指示部33指示图像运动解析部7以基准图像为基准对运动解析图像进行解析。更详细地说，运动解析指示部33将接收到的拍摄图像和表示基准图像的图像识别信息发送给图像运动解析部7。图像生成部本文档来自技高网...

【技术保护点】
一种翻译显示装置，其特征在于，具备：图像取得单元，其依次取得图像；以及翻译单元，其翻译从图像中提取出的文字，上述翻译单元是在上述图像取得单元取得某图像时，当不是正在对该某图像以外的其它图像进行翻译处理的情况下对该某图像执行翻译处理的单元，上述翻译显示装置还具备：运动信息给定单元，其给定运动信息，上述运动信息表示以基准图像中的被拍摄物体的位置为基准的、上述图像取得单元最近取得的图像中的上述被拍摄物体的位置偏移，上述基准图像是最近结束了由上述翻译单元进行的上述翻译处理的图像；以及显示单元，其基于在上述基准图像中提取出文字的位置和上述运动信息，将在上述基准图像中翻译出的文字重叠到上述图像取得单元最近取得的图像进行显示。

【技术特征摘要】
【国外来华专利技术】2013.11.27 JP 2013-2454551.一种翻译显示装置，其特征在于，具备：图像取得单元，其依次取得图像；以及翻译单元，其翻译从图像中提取出的文字，上述翻译单元是在上述图像取得单元取得某图像时，当不是正在对该某图像以外的其它图像进行翻译处理的情况下对该某图像执行翻译处理的单元，上述翻译显示装置还具备：运动信息给定单元，其给定运动信息，上述运动信息表示以基准图像中的被拍摄物体的位置为基准的、上述图像取得单元最近取得的图像中的上述被拍摄物体的位置偏移，上述基准图像是最近结束了由上述翻译单元进行的上述翻译处理的图像；以及显示单元，其基于在上述基准图像中提取出文字的位置和上述运动信息，将在上述基准图像中翻译出的文字重叠到上述图像取得单元最近取得的图像进行显示，上述图像取得单元取得照相机所拍摄的图像，上述翻译显示装置还具备检测上述照相机的运动的检测单元，在以上述基准图像的拍摄时为基准，上述照相机的运动超过规定的范围的情况下，上述运动信息给定单元不给定上述运动信息，上述显示单元将上述图像取得单元所取得的图像原样显示。2.根据权利要求1所述的翻译显示装置，其特征在于，在上述照相机满足从上述...

【专利技术属性】
技术研发人员：光永隆昭，岸本达雄，大塚健文，石川博一，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本;JP