一种基于嘴部口型的键盘操作方法、装置及终端设备制造方法及图纸

本发明专利技术公开了一种基于嘴部口型的键盘操作方法、装置及终端设备，所述方法包括：采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。本发明专利技术可通过识别用户的嘴部口型来实现对按键的操作，实现无需手动操作即可进行文字输入，给用户的使用提供了方便。给用户的使用提供了方便。给用户的使用提供了方便。

【技术实现步骤摘要】
一种基于嘴部口型的键盘操作方法、装置及终端设备


[0001]本专利技术涉及文字输入
，尤其涉及一种基于嘴部口型的键盘操作方法、装置及终端设备。

技术介绍

[0002]现有技术中，无论是手机等移动终端还是电脑等终端设备在进行键盘操作时(比如文字输入)时，基本都是需要手指按压键盘或者实体键盘，用户的操作很不方便。并且，基于用户手指按压操作来实现文字输入的技术方案，容易受到用户的操作熟练度以及速度的影响，导致文字输入的效率不高。
[0003]因此，现有技术还有待改进和提高。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于嘴部口型的键盘操作方法、装置及终端设备，旨在解决现有技术中基于用户手指按压操作来实现文字输入的技术方案，容易受到用户的操作熟练度以及速度的影响，导致文字输入的效率不高的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0006]第一方面，本专利技术提供一种基于嘴部口型的键盘操作方法，其中，所述方法包括：
[0007]采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；
[0008]将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；
[0009]基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。
[0010]在一种实现方式中，所述采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，包括：
[0011]基于所述嘴部图像数据，确定唇部区域；
[0012]基于所述唇部区域，确定两侧的唇角位置；
[0013]基于所述唇角位置，确定所述唇形特征。
[0014]在一种实现方式中，所述基于所述唇角位置，确定所述唇形特征，包括：
[0015]获取两侧的所述唇角位置所对应的坐标信息，并基于所述坐标信息，确定两侧的所述唇角位置的位置差异数据；
[0016]基于所述位置差异数据，确定所述唇形特征。
[0017]在一种实现方式中，所述口型识别模型的训练过程包括：
[0018]采集唇形样本数据以及每一个唇形样本数据对应的口型样本数据；
[0019]采集按键样本数据以及每一个按键样本数据对应的发声口型数据，所述发声口型
数据用于反映用户读取所述按键样本数据时的嘴部口型；
[0020]将所述口型样本数据与所述发声口型数据对应，并构建所述唇形样本数据、所述口型样本数据以及所述按键样本数据三者之间的映射关系；
[0021]根据所述映射关系，训练预设的神经网络模型，得到所述口型识别模型。
[0022]在一种实现方式中，所述将所述口型样本数据与所述发声口型数据对应，包括：
[0023]从所述口型样本数据中获取用于反映相同嘴部口型的发声口型数据，并将用于反映相同嘴部口型的口型样本数据与发声口型数据映射并建立对应关系。
[0024]在一种实现方式中，所述基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作，包括：
[0025]获取按键信息所对应的目标按键，并针对所述目标按键生成所述敲击指令；
[0026]针对所述目标按键执行所述敲击指令，以控制所述目标按键模拟被敲击事件；
[0027]获取所述目标按键所对应的显示内容，并基于所述显示内容进行文字输入。
[0028]在一种实现方式中，所述方法还包括：
[0029]基于所述嘴部口型，确定与所述嘴部口型所对应的发声音频数据，并基于所述发声音频数据确定所述按键信息。
[0030]第二方面，本专利技术实施例还提供一种基于嘴部口型的键盘操作装置，其中，所述装置包括：
[0031]唇形特征确定模块，用于采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；
[0032]按键信息确定模块，用于将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；
[0033]按键操作控制模块，用于基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。
[0034]第三方面，本专利技术实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于嘴部口型的键盘操作程序，处理器执行基于嘴部口型的键盘操作程序时，实现上述方案中任一项的基于嘴部口型的键盘操作方法的步骤。
[0035]第四方面，本专利技术实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有基于嘴部口型的键盘操作程序，所述基于嘴部口型的键盘操作程序被处理器执行时，实现上述方案中任一项所述的基于嘴部口型的键盘操作方法的步骤。
[0036]有益效果：与现有技术相比，本专利技术提供了一种基于嘴部口型的键盘操作方法，首先，本专利技术首先采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状。然后，将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息。最后，基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。本专利技术可基于口型识别模型来识别出嘴部口型，然后根据嘴部口型来确定按键信息，并生成敲击指令来控制按键信息对应的按键来模拟被敲击操作，以便实现文字输入。因此，本专利技术无需手动操作就可以对按键进行操作，方便用户的使用，也提高了操作
效率。
附图说明
[0037]图1为本专利技术实施例提供的基于嘴部口型的键盘操作方法的具体实施方式的流程图。
[0038]图2为本专利技术实施例提供的基于嘴部口型的键盘操作装置的功能原理图。
[0039]图3为本专利技术实施例提供的终端设备的原理框图。
具体实施方式
[0040]为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0041]本实施例提供一种基于嘴部口型的键盘操作方法，基于本实施例的方法，可解放用户双手，无需手动操作键盘，只需通过不同的嘴部口型即可控制键盘上的案件执行被敲击操作，方便用户使用。具体应用时，本实施例首先采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状。然后，将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息。最后，基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。本实施例可基于口型识别模型来识别出嘴部口型，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于嘴部口型的键盘操作方法，其特征在于，所述方法包括：采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，所述唇形特征用于反映嘴唇的形状；将所述唇形特征输入至已训练的口型识别模型，基于所述口型识别模型输出与所述唇形特征对应的嘴部口型以及与所述嘴部口型对应的按键信息；基于所述按键信息，生成敲击指令，并基于所述敲击指令对所述按键信息对应的按键执行被敲击操作。2.根据权利要求1所述的基于嘴部口型的键盘操作方法，其特征在于，所述采集嘴部图像数据，并基于所述嘴部图像数据确定唇形特征，包括：基于所述嘴部图像数据，确定唇部区域；基于所述唇部区域，确定两侧的唇角位置；基于所述唇角位置，确定所述唇形特征。3.根据权利要求2所述的基于嘴部口型的键盘操作方法，其特征在于，所述基于所述唇角位置，确定所述唇形特征，包括：获取两侧的所述唇角位置所对应的坐标信息，并基于所述坐标信息，确定两侧的所述唇角位置的位置差异数据；基于所述位置差异数据，确定所述唇形特征。4.根据权利要求1所述的基于嘴部口型的键盘操作方法，其特征在于，所述口型识别模型的训练过程包括：采集唇形样本数据以及每一个唇形样本数据对应的口型样本数据；采集按键样本数据以及每一个按键样本数据对应的发声口型数据，所述发声口型数据用于反映用户读取所述按键样本数据时的嘴部口型；将所述口型样本数据与所述发声口型数据对应，并构建所述唇形样本数据、所述口型样本数据以及所述按键样本数据三者之间的映射关系；根据所述映射关系，训练预设的神经网络模型，得到所述口型识别模型。5.根据权利要求4所述的基于嘴部口型的键盘操作方法，其特征在于，所述将所述口型样本数据与所述发声口型数据对应，包括：从所述口型样本数据中获取用于反映相同嘴部口型的发声口型数据，并将用于反映相同嘴部口型的口型样本数据与发声口型...

【专利技术属性】
技术研发人员：韩璧丞，
申请(专利权)人：浙江强脑科技有限公司，
类型：发明
国别省市：