便携终端式图像处理系统、便携终端和服务器技术方案

本发明专利技术公开一种便携终端式图像处理系统、便携终端和服务器，以便携终端的摄像机所拍摄的图像为基础提供便利性高的翻译功能。为此，发送由便携终端１０１的摄像机所拍摄的图像或者键输入部１０３所输入的关键字、处理服务的种类以及便携终端的关联信息组成的数据，在服务器１０９中，通过图像内字符串识别部１１４和翻译部１１５来翻译对包含在接收图像中的１个字符串所抽取出的多个字符串，或者翻译对接收关键字所生成的关联文后将翻译结果发送给便携终端１０１。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及对包含在用便携终端的摄像机所拍摄的图像中的字符进行翻译的便携终端式图像处理系统、便携终端和服务器。
技术介绍
近年来，装备了摄像机的便携电话的产品化不断盛行。在日本专利申请公开特开平9-138802号公报中就以下系统进行了公开，即对包含在由这样的便携终端的摄像机所拍摄的图像中的字符串进行字符识别，然后对识别结果的文本进行翻译。此方式就是在便携终端内部具有字符识别处理和翻译处理，使用这些处理对由摄像机所拍摄的图像内的字符串进行识别·翻译。但是在此方式中由于便携终端尺寸上的限制，而存在很难进行高级的字符识别处理和翻译处理的问题。另一方面，在日本专利申请公开特开平10-134004号公报中提出了将由便携终端(便携电话)的摄像机所拍摄的图像一次发送给外部的服务器，然后将在服务器侧对图像内的字符进行了识别·翻译的结果送回便携终端的方式。根据此方式由于在处理性能高的服务器侧进行字符识别和翻译，故可进行高级的处理。下面使用图25对此方式的动作进行说明。图25是表示与以往的便携终端式图像处理系统有关的处理过程的流程图。此处理过程被分成便携终端中的处理和服务器中的处理两部分。首先，在便携终端侧，用户使用内置或者连接于便携终端的摄像机拍摄图像。在这里，读取手写在纸面上的笔记或者被打印的文档的一部分(步骤ST1)。关于所读取的图像指定想处理的服务。作为服务例如指定包含于在步骤ST1所拍摄的图像中的字符串的翻译、或者将该字符作为关键字的数据库检索等。在这里，设指定字符串的翻译服务(步骤ST2)。之后，将所拍摄的图像和所指定的服务请求发送给服务器(步骤ST3)。接着在服务器侧，若接收到来自便携终端的图像和服务请求(步骤ST4)，则启动对接收到的图像进行处理的应用程序(步骤ST5)。通过所启动的应用程序对包含在接收到的图像中的字符串进行识别而得到文本(步骤ST6)。接着，执行在便携终端所指定的服务。在这里，由于指定了翻译服务故对所抽取出的文本进行翻译(步骤ST7)。将翻译的处理结果发送给便携终端(步骤ST8)。之后，在便携终端侧接收从服务器发送来的处理结果(步骤ST9)。将接收到的处理结果的内容即翻译文显示在便携终端的显示器上(步骤ST10)。通过以上的处理，就能够得到包含在由便携终端的摄像机所拍摄的图像中的字符串的翻译结果。如以上所述那样，以往的方式是通过翻译对图像内的字符串进行了字符识别的结果的字符串(文本)，而得到对于图像内的字符串的翻译结果。但是，由便携终端的摄像机所拍摄的图像，与由一般的OCR(字符识别装置)为识别对象的扫描器所读取的图像相比分辨率低，图像的品质差。另外假设在国外用摄像机拍摄以他国语言所写的广告牌中的字符串，翻译成本国语言这样的使用方法，但广告牌的字符串装饰字符较多。对于这样的品质差的图像内的字符串或装饰字符，现状的字符识别处理的性能低，误识别的可能性高。为此，就存在即便原样翻译由字符识别处理所得到的文本，也很难获得正确的结果这样的问题。另外，在一次翻译多个字符串的情况下，用户就需要反复多次使摄像机的视场移动到想翻译的字符串上按下快门这样的操作，就存在需要费时间这样的问题。进而，由于便携终端的摄像机所拍摄的图像其分辨率低，无法将长字符串或文章收纳在1幅图像内。相对于此，如果将摄像机朝后拉动等以拍摄宽广范围，则长字符串也可收纳在1幅图像中，但表达单个字符的像素数变少，字符识别率降低。为此，就存在可翻译的字符串的长度受到限制这样的问题。再有，在将便携终端所拍摄的图像发送给服务器的情况下，由于要发送的数据量大，故存在用一般的电话线路在数据发送上花费时间这样的问题。加之在以往的方式中，认为服务器具有的字符识别处理或翻译处理是以一般用语为对象，在此情况下就存在对菜单上所记载的本地料理的名称或在诊断书上所写的病名等专业性较高的用语很难获得充分的字符识别性能和翻译性能这样的问题。另外，除了在国外旅行等中使用这样的系统的情况下，将包含在图像中的他国语言的字符串翻译成本国语言的使用形态，还假设反过来将用本国语言所输入的文本翻译成他国语言的要求。但是在便携终端中就有在文本的输入上花费时间等问题。此专利技术就是为了解决上述那样的问题而完成的，目的是获得在进行翻译上便利性高的便携终端式图像处理系统、便携终端和服务器。
技术实现思路
本专利技术的第1技术方案提供一种由便携终端和与此便携终端进行数据交换的服务器组成的便携终端式图像处理系统，上述便携终端具备，图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；键输入部，输入关键字；处理指示部，指定委托给上述服务器的处理服务的种类；数据发送部，将由存储在上述图像缓冲器中的图像或者由上述键输入部所输入的关键字、所指定的处理服务的种类以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备，数据接收部，接收从上述便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串并生成各自的翻译结果；文本翻译部，生成对应于接收到的上述关键字的关联文，翻译所生成的上述关联文后生成翻译结果；处理控制部，按照包含在接收到的数据中的上述所指定的处理服务的种类切换控制是由上述图像内字符串识别·翻译部进行处理还是由上述文本翻译部进行处理；以及结果发送部，基于上述关联信息将由上述图像内字符串识别·翻译部或者上述文本翻译部所生成的翻译结果发送给上述便携终端。本专利技术的第2技术方案提供一种由便携终端和与该便携终端进行数据交换的服务器组成的便携终端式图像处理系统，上述便携终端具备，图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由存储在上述图像缓冲器中的图像、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备，数据接收部，接收从上述便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串后生成各自的翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述图像内字符串识别·翻译部动作；以及结果发送部，基于上述关联信息将所生成的上述翻译结果发送给上述便携终端。本专利技术的第3技术方案提供一种由便携终端和与此便携终端进行数据交换的服务器组成的便携终端式图像处理系统，上述便携终端具备，键输入部，输入关键字；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由上述键输入部所输入的关键字、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备，数据接收部，接收从上述便携终端发送的数据；文本翻译部，生成对应于包含在接收到数据中的上述关键字的关联文，翻译所生成的上述关联文后生成上述翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务本文档来自技高网...

【技术保护点】
一种由便携终端和与该便携终端进行数据交换的服务器组成的便携终端式图像处理系统，其特征在于，上述便携终端具备：图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；键输入部，输入关键字；处理指示部，指 定委托给上述服务器的处理服务的种类；数据发送部，将由存储在上述图像缓冲器中的图像或者由上述键输入部所输入的关键字、所指定的处理服务的种类以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行 翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备：数据接收部，接收从上述便携终端发送的数据；图像内字符串识别.翻译部，对包含在接收到的上述图像中的１个字符串抽取多个字符串，翻译抽取出 的上述多个字符串后生成各自的翻译结果；文本翻译部，生成对应于接收到的上述关键字的关联文，翻译所生成的上述关联文后生成翻译结果；处理控制部，按照包含在接收到的数据中的上述所指定的处理服务的种类来切换控制是由上述图像内字符串识别 .翻译部进行处理还是由上述文本翻译部进行处理；以及结果发送部，基于上述关联信息将由上述图像内字符串识别.翻译部或者上述文本翻译部所生成的翻译结果发送给上述便携终端。...

【技术特征摘要】
JP 2001-12-10 376254/20011.一种由便携终端和与该便携终端进行数据交换的服务器组成的便携终端式图像处理系统，其特征在于，上述便携终端具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；键输入部，输入关键字；处理指示部，指定委托给上述服务器的处理服务的种类；数据发送部，将由存储在上述图像缓冲器中的图像或者由上述键输入部所输入的关键字、所指定的处理服务的种类以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备数据接收部，接收从上述便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串后生成各自的翻译结果；文本翻译部，生成对应于接收到的上述关键字的关联文，翻译所生成的上述关联文后生成翻译结果；处理控制部，按照包含在接收到的数据中的上述所指定的处理服务的种类来切换控制是由上述图像内字符串识别·翻译部进行处理还是由上述文本翻译部进行处理；以及结果发送部，基于上述关联信息将由上述图像内字符串识别·翻译部或者上述文本翻译部所生成的翻译结果发送给上述便携终端。2.一种由便携终端和与该便携终端进行数据交换的服务器组成的便携终端式图像处理系统，其特征在于，上述便携终端具备图像摄像部；图像缓冲器，存储由该图像摄像部所拍摄的图像；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由存储在上述图像缓冲器中的图像、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备数据接收部，接收从上述便携终端发送的数据；图像内字符串识别·翻译部，对包含在接收到的上述图像中的1个字符串抽取多个字符串，翻译抽取出的上述多个字符串后生成各自的翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述图像内字符串识别·翻译部动作；以及结果发送部，基于上述关联信息将所生成的上述翻译结果发送给上述便携终端。3.一种由便携终端和与该便携终端进行数据交换的服务器组成的便携终端式图像处理系统，其特征在于，上述便携终端具备键输入部，输入关键字；处理指示部，指示委托给上述服务器的处理服务；数据发送部，将由上述键输入部所输入的关键字、上述处理服务的指示以及上述便携终端的关联信息组成的数据发送给上述服务器；结果接收部，接收在上述服务器中进行翻译处理后的翻译结果；以及显示部，显示接收到的上述翻译结果；上述服务器具备数据接收部，接收从上述便携终端发送的数据；文本翻译部，生成对应于包含在接收到数据中的上述关键字的关联文，翻译所生成的上述关联文后生成上述翻译结果；处理控制部，按照包含在接收到的数据中的上述处理服务的指示使上述文本翻译部动作；以及结果发送部，基于上述关联信息将所生成的上述翻译结果发送给上述便携终端。4.根据权利要求1或2所述的便携终端式图像处理系统，其特征在于，服务器的图像内字符串识别·翻译部具有图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果；以及图像内字符串翻译部，生成分别对所生成的上述多个字符串识别结果进行翻译后的多个翻译结果。5.根据权利要求1或2所述的便携终端式图像处理系统，其特征在于，服务器的图像内字符串识别·翻译部具有图像内字符串识别部，通过以不同的多个条件识别图像内的1个字符串而生成多个字符串识别结果，并且使用语言辞典对上述多个字符串识别结果生成拼写类似的类似字符串；以及图像内字符串翻译部，通过分别翻译所生成的上述字符串识别结果和上述类似字符串而生成多个翻译结果。6.根据权利要求1或3所述的便携终端式图像处理系统，其特征在于，服务器的文本翻译部具有关联文生成部，基于接收到的关键字参照关联文辞典生成与上述关键字关联性高的多个文章；以及关联文翻译部，通过翻译所生成的上述多个文章而生成翻译结果。7.根据权利要求1或2所述的便携终端式图像处理系统，其特征在于便携终端具备发送图像控制部，依次选择由图像摄像部按一定的时间间隔连续拍摄并存储在图像缓冲器中的各图像后输出给数据发送部；服务器依次生成包含在接收到的上述各图像中的字符串的各翻译结果后将其发送给上述便携终端；上述便携终端的显示部，每当接收上述各翻译结果就进行显示。8.根据权利要求7所述的便携终端式图像处理系统，其特征在于便携终端的发送控制部，对于从图像缓冲器依次读出的图像，比较新拍摄的图像与其前一次所拍摄的图像之差，在其差为阈值以下的情况下选择上述新拍摄的图像并发送给数据发送部。9.根据权利要求7或8所述的便携终端式图像处理系统，其特征在于服务器具备图像统合部，合成连续接收的多个图像以创建1个合成图像；图像内字符串识别·翻译部生成对应于包含在所创建的上述合成图像中的字符串的翻译结果。10.根据权利要求1～9中任意一项所述的便携终端式图像处理系统，其特征在于便携终端具备GPS部，用于在取得该便携终端的当前位置后将其添加到发送给服务器的数据中；上述服务器具备保存了各设施的位置的地图数据；上述服务器的处理控制部基于接收到的上述当前位置，通过参照上述地图数据来确定持有该便携终端的用户现在所处的设施，将在该服务器内所用的各种辞典置换成对应于所确定的上述设施的专用辞典。11.根据权利要求1～9中任意一项所述的便携终端式图像处理系统，其特征在于便携终端的处理指示部构成为能够由用户来指定专用辞典的种类，并将所指定的上述专用辞典的种类添加到发送给服务器的数据中；上述服务器的处理控制部基于接收到的上述专用辞典的种类，将在该服务器内所用的各种辞典置换成被指定的专用辞典。12.根据权利要求1、3～5、7～11中任意一项所述的便携终端式图像处理系统，其特征在于便携终端具备图像前处理部，为了从存储在图像缓冲器中的彩色图像或者灰度等级图像分离字符串和背景而创建进行了二值化的前处理后图像并将其存储在上述图像缓冲器中；将上述前处理后图像发送给服务器以获得翻译结果。13.根据权利要求12所述的便携终端式图像处理系统，其特征在于便携终端构成为当在前处理后图像中包含噪声的情况下能够通过键输入来指定包围上述噪声的噪声除去对象区域；图像前处理部，将上述噪声除去对象区域内的黑像素变换成白像素来编辑前处理后图像。14.一种与进行翻译处理的服...

【专利技术属性】
技术研发人员：平野敬，冈田康裕，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]