便携终端装置以及信息处理系统制造方法及图纸

具备：存储部，存储嘴唇动作辨别数据；摄像部，对包含操作者的至少嘴唇部分的影像进行摄影；嘴唇动作辨别部，通过比较从摄像部得到的操作者的嘴唇部分的动作数据与嘴唇动作辨别数据，来辨别要执行的操作；以及控制部，依照嘴唇动作辨别部，进行能够执行的操作。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及便携终端装置以及信息处理系统。
技术介绍
近年来，在移动电话、汽车导航系统、家庭AV设备等终端中，能够不使用键盘、鼠标等操作部件，而通过辨别语音来容易地进行操作的用户界面正受到关注。现有技术文献专利文献1:日本特开2007-41089公报
技术实现思路
但是，在这些通过语音辨别来进行操作的终端的情况下，产生在图书馆那样的不适宜发出声音的环境、噪音大的环境中无法操作这样的问题。本专利技术的目的在于，考虑上述课题，提供在不适宜发出声音的环境、噪音大的环境中，使用便利性也更好的便携终端装置以及信息处理系统。作为用于解决上述课题的手段，例如采用权利要求书中记载的结构即可。如果列举一个例子的话，采用如下结构，具备:存储部，存储嘴唇动作辨别数据；摄像部，对包含操作者的至少嘴唇部分的影像进行摄影；嘴唇动作辨别部，通过对从摄像部得到的操作者的嘴唇部分的动作数据与嘴唇动作辨别数据进行比较，来辨别要执行的操作；以及控制部，依照嘴唇动作辨别部，进行能够执行的操作。通过使用本专利技术的技术，能够提供在不适宜发出声音的环境、噪音大的环境中，使用便利性也更好的便携终端装置以及信息处理系统。【附图说明】图1是示出本专利技术的实施例的便携终端装置的结构例的框图。图2是通过语音辨别或者嘴唇动作辨别来进行便携终端的操作的处理的流程图的例子。图3是示出与便携终端的状态对应的操作选项表格的例子的图。图4是说明操作决定处理的流程图的例子。图5是说明获取操作者的语音以及影像的处理的流程图的例子。图6是示出获取操作者的语音以及影像的处理中的便携终端的显示例的图。图7是说明语音辨别操作决定处理的流程图的例子。图8是说明嘴唇动作辨别操作决定处理的流程图的例子。图9是示出嘴唇的大小的定义的例子的图。图10是示出嘴唇动作辨别操作决定处理中的嘴唇动作辨别数据与取得嘴唇动作数据的例子的图。图11是说明嘴唇动作辨别数据更新处理的例子的图。图12是说明操作对象决定处理的流程图的例子。图13是说明嘴唇动作辨别类型决定处理的流程图的例子。图14是示出与操作对应的类型选项表格的例子的图。图15是说明语音辨别类型决定处理的流程图的例子。图16是说明嘴唇动作辨别操作对象决定处理的流程图的例子。图17是说明基于嘴唇动作辨别的操作对象选择处理的流程图的例子。图18是示出操作对象选择处理中的便携终端的显示例的图。图19是示出嘴唇动作辨别操作对象决定处理中的嘴唇动作辨别数据与嘴唇动作取得数据的例子的图。图20是说明语音辨别操作对象决定处理的流程图的例子。图21是说明嘴唇动作辨别操作决定处理的流程图的第2例。图22是示出对应于操作选项的元音序列的表格的例。图23是说明音节元音序列变换处理的流程图的例子。图24是示出与元音对应的嘴唇形状的一个例子的图。图25是示出与元音对应的嘴唇的大小的表格的例子的图。图26是说明获取语音以及影像的处理的流程图的第2例。图27是示出获取语音以及影像的处理中的显示例的图。图28是示出本专利技术的第2实施例的便携终端装置的结构例的框图。图29是说明本专利技术的实施例2的操作决定处理的流程图的例子。图30是示出本专利技术的第3实施例的便携终端装置的结构例的框图。图31是示出本专利技术的第3实施例的由便携终端装置与语音/嘴唇动作辨别服务器构成的信息处理系统的概略结构的框图。图32(a)是示出本专利技术的信息处理系统的处理的一个例子的流程图。图32(b)是示出本专利技术的信息处理系统的处理的一个例子的流程图。图33是示出语音/嘴唇动作辨别服务器中的语音/嘴唇动作辨别处理的一个例子的流程图。图34是示出语音/嘴唇动作辨别服务器中的语音辨别处理的一个例子的流程图。图35是示出语音/嘴唇动作辨别服务器中的嘴唇动作辨别处理的一个例子的流程图。符号说明100:便携终端装置，101:控制部，102:语音辨别部，103:嘴唇动作辨别部，104:存储器，105:存储设备，110:基站通信部，111:无线通信部，112:话筒，113:语音处理部，114:扬声器，115:外部语音输出部，116:触摸面板，117:操作输入部，118:显示部，119:图像处理部，120:摄像部，122:操作者辨别部，400:基站，500:无线路由器，600:外部网络，700:语音/嘴唇动作辨别服务器，701:控制部，702:语音辨别部，703:嘴唇动作辨别部，705:存储设备，706:通信部【具体实施方式】以下，使用附图来说明本专利技术的实施方式的例子。实施例1图1是示出本专利技术的一实施例的便携终端装置100的内部结构例的框图。在这里，以智能手机的情况为例来说明。便携终端100具备控制部101、语音辨别部102、嘴唇动作辨别部103、存储器104、存储设备105、GPS (Global Posit1ning System，全球定位系统)接收部106、地磁传感器107、加速度传感器108、陀螺传感器109、基站通信部110、无线通信部111、话筒112、语音处理部113、扬声器114、语音输出部115、触摸面板116、操作输入部117、显示部118、图像处理部119、摄像部120以及输入输出I/F121，分别与总线150相互连接。基站通信部110 是与 W-CDMA (Wideband Code Divis1n Multiple Access，宽带码分多址)、GSM(注册商标)(Global System for Mobile communicat1ns，全球移动通信系统)等基站400进行远距离的无线通信的通信接口。由此，通过基站500而与外部网络600连接，也能够进行信息的发送接收。控制部101由CPU(Central Processing Unit，中央处理单元)等构成，通过执行存储器104中存储了的程序，从而控制各结构部，进行各种处理。语音辨别部102辨别从话筒112经由语音处理部113而获取到的操作者的语音，辨别由语音指示的操作。另外，嘴唇动作辨别部103辨别从摄像部120经由图像处理部119而获取到的包含操作者的嘴唇的影像，辨别由操作者的嘴唇的动作指示的操作。控制部101选择根据从操作者的语音辨别出的结果来执行操作，还是根据从操作者的嘴唇的动作辨别出的结果来执行操作，根据所选择的结果来执行操作。存储器104是闪存存储器等，存储了程序、数据等。为了通过上述的语音辨别部102、嘴唇动作辨别部103进行辨别而使用的数据保存在存储器104的规定的区域104a、104b 中。进而，便携终端100具备存储卡等存储设备105，在存储设备105中还能够保存电子邮件地址、音乐、视频、照片的数据等。关于存储器104或者存储设备105中存储的程序或者数据，通过基站通信部110与基站进行无线通信，从未图示的外部服务器等下载，从而能够随时更新/追加。另外，也能够经由输入输出I/F121而与个人计算机等外部设备300连接，对数据、程序等进行更新、追加。GPS接收部106接收来自位于天空的GPS卫星的信号。由此，能够检测便携终端100的当前位置。地磁传感器107是检测便携终端100所朝向的方向的传感器。加速度传感器108是检测便携终端100的加速度的传感器，陀螺传感器109是检测便携终端100的角速度的传感器。通过它们，能够详本文档来自技高网...

【技术保护点】
一种便携终端装置，其特征在于，具备：存储部，存储嘴唇动作辨别数据；摄像部，对包含操作者的至少嘴唇部分的影像进行摄影；嘴唇动作辨别部，通过对从所述摄像部得到的操作者的嘴唇部分的动作数据与所述嘴唇动作辨别数据进行比较，来辨别要执行的操作；以及控制部，依照所述嘴唇动作辨别部，进行能够执行的操作。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：铃木基之，西岛英男，
申请(专利权)人：日立麦克赛尔株式会社，
类型：发明
国别省市：日本;JP