按键识别方法、装置、终端设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供了按键识别方法、装置、终端设备及计算机可读存储介质，该按键识别方法包括：通过摄像装置对软体键盘进行拍摄，得到M个键盘图像帧，M为大于1的整数；分别确定M个键盘图像帧中的每一键盘图像帧对应的手部区域；依据每一键盘图像帧对应的手部区域以及预设按键区域排列顺序，分别确定每一键盘图像帧对应的被遮挡按键的序列；将M个键盘图像帧对应的M个被遮挡按键的序列输入到训练好的循环神经网络中，得到按键识别结果。通过本发明专利技术，基于对用户在方便携带的软体键盘上的操作动作进行拍摄得到图像，且将图像转化为一维的序列，将序列输入循环神经网络得到按键识别结果，降低了循环神经网络处理数据的难度，从而提高了识别效率。

【技术实现步骤摘要】
按键识别方法、装置、终端设备及计算机可读存储介质
本专利技术属于智能终端
，尤其涉及一种按键识别方法、装置、设备及计算机可读存储介质。
技术介绍
十指键盘是重要的输入设备，是传统电脑的必不可少的组成。随着智能终端技术的发展，十指键盘已经不局限于在电脑上使用，还可以是与平板、手机连接后，供用户使用。但这种键盘是硬键盘，对用户来说不方便随身携带。
技术实现思路
有鉴于此，本专利技术实施例提供了按键识别方法、装置、设备及计算机可读存储介质，以解决现有技术中硬键盘不方便随时携带的问题。本专利技术实施例的第一方面提供了一种按键识别方法，包括：S1：通过摄像装置对软体键盘进行拍摄，得到视频流，所述视频流包括M个键盘图像帧，M为大于1的整数；S2：分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域；S3：依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序，分别确定所述每一键盘图像帧对应的被遮挡按键的序列；S4：将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中，得到按键识别结果。本专利技术实施例的第二方面提供了一种按键识别装置，包括：拍摄模块，用于通过摄像装置对软体键盘进行拍摄，得到视频流，所述视频流包括M个键盘图像帧，M为大于1的整数；确定模块，用于分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域；生成模块，用于依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序，分别确定所述每一键盘图像帧对应的被遮挡按键的序列；识别模块，用于将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中，得到按键识别结果。本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述方法的步骤。本专利技术实施例中，通过摄像装置对软体键盘进行拍摄，得到视频流，所述视频流包括M个键盘图像帧，M为大于1的整数；分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域；依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序，分别确定所述每一键盘图像帧对应的被遮挡按键的序列；将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中，得到按键识别结果。通过本专利技术实施例，用户可在软体键盘上操作，基于对操作动作进行拍摄得到的图像识别出被按下的按键，其中，软体键盘造价低廉且方便携带。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的按键识别方法的第一实施例的流程示意图；图2为一实施例中软体键盘的示意图；图3为一实施例中摄像装置及手部所处位置的示意图；图4为一实施例中各个按键区域在软体键盘中的排列示意图；图5为一实施例中一键盘图像帧的示意图；图6为对图5所示的键盘图像帧进行透视变换处理得到的新的键盘图像帧的示意图；图7为一实施例中二值图像的示意图；图8为一实施例中对按键进行区域划分的示意图；图9为一实施例中被遮挡按键的序列的编码示意图；图10为本专利技术的按键识别装置的第一实施例的功能模块示意图；图11是本专利技术一实施例提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。在本专利技术实施例中，流程的执行主体为终端设备，该终端设备包括但不限于笔记本电脑、计算机、服务器、平板电脑以及智能手机等具有数据处理功能的终端设备。图1为本专利技术的按键识别方法的第一实施例的流程示意图，详述如下：S1：通过摄像装置对软体键盘进行拍摄，得到视频流，所述视频流包括M个键盘图像帧，M为大于1的整数；本实施例中，通过摄像装置对软体键盘进行拍摄，便可得到包含M个键盘图像帧的视频流。其中，软体键盘可以是纸质键盘或其他软体材料(柔性材料)制成的键盘，这种材质的键盘折叠后体积很小，便于携带。其中键盘的图样由普通键盘按键组成。如图2所示，图2为一实施例中软体键盘的示意图。摄像装置的位置以及取景角度根据实际情况进行设置。例如，高清摄像头(摄像装置)离桌面一定高度，倾斜30°～60°从纸质键盘前方对着纸质键盘，角度根据键盘大小设定，将所有按键收入取景范围内，其位置相对纸质键盘较为固定。其中，摄像装置可以在终端设备上，还可以是与终端设备外接。为了保证拍摄效果，还可以设置光源。其中，光源与拍摄装置平行，用于提供光源，减少由于外界光的产生影响，例如：其他物体投影或者光线不足等。另外，对按键按下过程的定义为：手指在摄像头视野下遮挡按键，在接触按键后，手指离开按键并将手悬空移开，使手指在摄像头视角中不遮挡到任一按键。因此在没有输入时候，用户双手不遮挡到任一按键，设置和调整摄像头的倾角应能完全拍摄到键盘，并在手部舒适状态下符合上述要求。参照图3，图3为一实施例中摄像装置及手部所处位置的示意图。S2：分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域；本实施例中，通过图像识别技术识别出每一键盘图像帧对应的手部区域。其中，图像识别技术是人工智能的一个重要领域。它是指对图像进行对象识别，以识别各种不同模式的目标和对象的技术。本实施例中，即以手为识别对象，识别出键盘图像帧中手所在的手部区域。S3：依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序，分别确定所述每一键盘图像帧对应的被遮挡按键的序列；本实施例中，被遮挡按键的序列用于标识各个按键是否被手部区域遮挡。参照图4，图4为一实施例中各个按键区域在软体键盘中的排列示意图。如图4所示，每个按键区域均有其对应的排列序号。此处仅为示意性说明，并不限于以此种方式设置每个按键区域对应的排列序号。若以不同的字符表示不同的遮挡状态，则每个按键区域均有其对应的字符，基于每个按键区域的排列序号(即基于预设按键区域排列顺序)，对每个按键区域对应的字符进行排列，即可得到被遮挡按键的序列。对每一键盘图像帧做同样处理，即可得到每一键盘图像帧对应的被遮挡按键的序列。S4：将所本文档来自技高网...

【技术保护点】
1.一种按键识别方法，其特征在于，包括：/nS1：通过摄像装置对软体键盘进行拍摄，得到视频流，所述视频流包括M个键盘图像帧，M为大于1的整数；/nS2：分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域；/nS3：依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序，分别确定所述每一键盘图像帧对应的被遮挡按键的序列；/nS4：将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中，得到按键识别结果。/n

【技术特征摘要】
1.一种按键识别方法，其特征在于，包括：
S1：通过摄像装置对软体键盘进行拍摄，得到视频流，所述视频流包括M个键盘图像帧，M为大于1的整数；
S2：分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域；
S3：依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序，分别确定所述每一键盘图像帧对应的被遮挡按键的序列；
S4：将所述M个键盘图像帧对应的M个所述被遮挡按键的序列输入到训练好的循环神经网络中，得到按键识别结果。


2.如权利要求1所述的按键识别方法，其特征在于，所述软体键盘上设置有标志位，所述分别确定所述M个键盘图像帧中的每一键盘图像帧对应的手部区域的步骤包括：
分别识别出每一键盘图像帧中的标志位，并根据所述标志位对每一键盘图像帧进行透视变换处理，得到每一键盘图像帧对应的新的键盘图像帧，所述新的键盘图像帧的观看角度为正上方垂直观看；
基于预设像素值，将所述新的键盘图像帧转换为二值图像；
基于最大连通域算法，在所述二值图像中确定手部区域。


3.如权利要求2所述的按键识别方法，其特征在于，所述依据所述每一键盘图像帧对应的手部区域以及预设按键区域排列顺序，分别确定所述每一键盘图像帧对应的被遮挡按键的序列的步骤包括：
确定每一键盘图像帧对应的二值图像中被所述手部区域遮挡的第一按键区域，以及未被所述手部区域遮挡的第二按键区域；
基于预设按键区域排列顺序，对每一键盘图像帧的第一按键区域对应的第一字符以及第二按键区域对应的第二字符进行排序，得到每一键盘图像帧对应的被遮挡按键的序列。


4.如权利要求3所述的按键识别方法，其特征在于，所述确定每一键盘图像帧对应的二值图像中被所述手部区域遮挡的第一按键区域，以及未被所述手部区域遮挡的第二按键区域的步骤包括：
获取每一键盘图像帧对应的二值图像中各个按键区域的坐标以及长宽；
基于每个按键区域的长宽将每个按键区域分为若干子区域，并基于每个按键区域的坐标，确定每个按键区域中各个子区域的中心点坐标；
基于每个按键区域中各个子区域的中心点坐标，分别检测每个按键区域对应的中心点中，是否存在至少Q个中心点位于所述手部区域中，其中，Q为正整数；
以存在至少Q个中心点位于所述手部区域中的按键区域为被所述手部区域遮挡的第一按键区域；
以不存在至少Q个中心点位于所述手部区域中的按键区域为未被所述手部区域遮挡的第二按键区域。


5.如权利要求1至4中任一项所述的按键识别方法，其特征在于，在所述通过摄像装置对软体键盘进行拍摄，得到视频流的步骤之前，还包括：
S5：通过摄像装置对...

【专利技术属性】
技术研发人员：陈永康，姜迪，王力锋，黄金玲，
申请(专利权)人：佛山长光智能制造研究院有限公司，
类型：发明
国别省市：广东;44