基于手势的交互方法和装置制造方法及图纸

本申请实施例公开了一种基于手势的交互方法和装置，属于智能交互、图像识别技术领域。所述方法包括：在第一终端和第二终端建立视频连接之后，获取第一终端通过摄像头采集到的第一图像数据，识别第一图像数据中的手势类型，根据手势类型确定对应的表情数据，该手势类型对应的表情数据在第二终端上显示。在视频场景下，通过对摄像头采集到的图像数据中的手势自动进行识别，根据手势自动显示对应的表情数据，不需要用户通过对话框选择表情数据并进行点击等一系列繁琐操作才能完成表情数据的发送，能够方便快捷的完成表情数据的发送，提高了用户体验。了用户体验。了用户体验。

【技术实现步骤摘要】
基于手势的交互方法和装置


[0001]本申请涉及智能交互领域，尤其涉及一种基于手势的交互方法和装置。

技术介绍

[0002]随着互联网技术的快速发展，教育方式也随之发生变化，家长对孩子的作业辅导不再限于面对面，也可以通过一些学习应用(application，简称APP)提供的视频功能进行远程指导。
[0003]家长和孩子可以通过学习APP进行视频连接，为了不打扰孩子学习，家长可以通过点击APP上的反馈按钮向孩子发送表情，以便与孩子进行互动。
[0004]但是，上述互动方式较为繁琐，不能满足用户需求。

技术实现思路

[0005]本申请实施例提供了一种基于手势的交互方法和装置，用户之间能够通过手势进行互动，避免了对终端的复杂操作。
[0006]第一方面，本申请实施例提供了一种基于手势的交互方，包括：
[0007]在第一终端和第二终端建立视频连接之后，获取所述第一终端通过摄像头采集到的第一图像数据；
[0008]识别所述第一图像数据中的手势类型；
[0009]根据所述手势类型确定对应的表情数据，所述手势类型对应的表情数据用于在所述第二终端上显示。
[0010]可选的，所述识别所述第一图像数据中的手势类型，包括：
[0011]从所述第一图像数据中截取手部图像；
[0012]将所述手部图像变换到规定尺寸；
[0013]从所述规定尺寸的手部图像中提取手部图像的关键点；
[0014]根据所述手部图像的关键点，将所述手部图像调整到规定方向；
[0015]将规定方向的手部图像的关键点输入到预先训练得到的手势识别模型中，得到所述手势类型。
[0016]可选的，所述将规定方向的手部图像的关键点输入到预先训练得到的手势识别模型中，得到所述手势类型，包括：
[0017]将规定方向的所述手部图像的关键点坐标与预设的手势类型库中各手势的关键点的坐标取值范围进行匹配，得到所述手部图像与各手势的相似度；
[0018]根据所述手部图像与所述各手势的相似度，确定所述手势类型。
[0019]可选的，所述手部图像包括N个关键点，所述N个关键点包括一个掌根关键点和N
‑
1个手指关键点；
[0020]根据所述手部图像的关键点，将所述手部图像调整到规定方向，包括：
[0021]计算所述手部图像中的手势在垂直方向的第一判决参数，所述第一判决参数为各
手指的指尖关键点的横坐标与所述掌根关键点的横坐标的差值的总和或者所述差值的总和的均值；
[0022]当所述第一判决参数大于0时，确定无需调整所述手部图像的垂直方向；
[0023]当所述第一判断参数小于0时，在垂直方向上调整所述手部图像；
[0024]计算所述手势在水平方向的第二判决参数，所述第二判决参数为大拇指指根横坐标和小拇指指根横坐标的差值；
[0025]当所述第二判决参数大于0时，确定无需调整所述手部图像的水平方向；
[0026]当所述第二判断参数小于0时，在水平方向上调整所述手部图像。
[0027]可选的，所述从所述第一图像数据中截取手部图像，包括：
[0028]采用手部检测算法从所述第一图像数据中检测手部所在位置；
[0029]根据所述手部所在位置从所述第一图像数据中截取所述手部图像。
[0030]可选的，所述提取所述手部图像的关键点，包括：
[0031]将所述手部图像输入预先训练得到的神经网络，得到所述N个手部关键点的坐标，所述神经网络是基于带有N个手势关键点标签的训练图片训练得到的。
[0032]可选的，所述手势类型包括以下类型中的任意一个：“OK”手势、点赞手势、比心手势、向上握拳手势、鼓掌。
[0033]可选的，所述识别所述第一图像数据中的手势类型之前，还包括：
[0034]根据所述第一终端对应的用户信息确定所述第一终端开启了手势识别功能。
[0035]第二方面，本申请实施例提供了一种基于手势的交互装置，包括：
[0036]获取模块，用于在第一终端和第二终端建立视频连接之后，获取所述第一终端通过摄像头采集到的第一图像数据；
[0037]手势识别模块，用于识别所述第一图像数据中的手势类型；
[0038]第一确定模块，用于根据所述手势类型确定对应的表情数据，所述手势类型对应的表情数据用于在所述第二终端上显示。
[0039]可选的，所述手势识别模块具体用于：
[0040]从所述第一图像数据中截取手部图像；
[0041]将所述手部图像变换到规定尺寸；
[0042]从所述规定尺寸的手部图像中提取手部图像的关键点；
[0043]根据所述手部图像的关键点，将所述手部图像调整到规定方向；
[0044]将规定方向的手部图像的关键点输入到预先训练得到的手势识别模型中，得到所述手势类型。
[0045]可选的，在将规定方向的手部图像的关键点输入到预先训练得到的手势识别模型中，得到所述手势类型时，所述手势识别模块具体用于：
[0046]将规定方向的所述手部图像的关键点坐标与预设的手势类型库中各手势的关键点的坐标取值范围进行匹配，得到所述手部图像与各手势的相似度；
[0047]根据所述手部图像与所述各手势的相似度，确定所述手势类型。
[0048]可选的，所述手部图像包括N个关键点，所述N个关键点包括一个掌根关键点和N
‑
1个手指关键点；
[0049]在根据所述手部图像的关键点，将所述手部图像调整到规定方向时，所述手势识
别模块具体用于：
[0050]计算所述手部图像中的手势在垂直方向的第一判决参数，所述第一判决参数为各手指的指尖关键点的横坐标与所述掌根关键点的横坐标的差值的总和或者所述差值的总和的均值；
[0051]当所述第一判决参数大于0时，确定无需调整所述手部图像的垂直方向；
[0052]当所述第一判断参数小于0时，在垂直方向上调整所述手部图像；
[0053]计算所述手势在水平方向的第二判决参数，所述第二判决参数为大拇指指根横坐标和小拇指指根横坐标的差值；
[0054]当所述第二判决参数大于0时，确定无需调整所述手部图像的水平方向；
[0055]当所述第二判断参数小于0时，在水平方向上调整所述手部图像。
[0056]可选的，在从所述第一图像数据中截取手部图像时，所述手势识别模块具体用于：
[0057]采用手部检测算法从所述第一图像数据中检测手部所在位置；
[0058]根据所述手部所在位置从所述第一图像数据中截取所述手部图像。
[0059]可选的，在提取所述手部图像的关键点时，所述手势识别模块具体用于：
[0060]将所述手部图像输入预先训练得到的神经网络，得到所述N个手部关键点的坐标，所述神经网络是基于带有N个手势关键点标签的训练图片训练得到的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手势的交互方法，其特征在于，包括：在第一终端和第二终端建立视频连接之后，获取所述第一终端通过摄像头采集到的第一图像数据；识别所述第一图像数据中的手势类型；根据所述手势类型确定对应的表情数据，所述手势类型对应的表情数据用于在所述第二终端上显示。2.根据权利要求1所述的方法，其特征在于，所述识别所述第一图像数据中的手势类型，包括：从所述第一图像数据中截取手部图像；将所述手部图像变换到规定尺寸；从所述规定尺寸的手部图像中提取手部图像的关键点；根据所述手部图像的关键点，将所述手部图像调整到规定方向；将规定方向的手部图像的关键点输入到预先训练得到的手势识别模型中，得到所述手势类型。3.根据权利要求2所述的方法，其特征在于，所述将规定方向的手部图像的关键点输入到预先训练得到的手势识别模型中，得到所述手势类型，包括：将规定方向的所述手部图像的关键点坐标与预设的手势类型库中各手势的关键点的坐标取值范围进行匹配，得到所述手部图像与各手势的相似度；根据所述手部图像与所述各手势的相似度，确定所述手势类型。4.根据权利要求2所述的方法，其特征在于，所述手部图像包括N个关键点，所述N个关键点包括一个掌根关键点和N
‑
1个手指关键点；根据所述手部图像的关键点，将所述手部图像调整到规定方向，包括：计算所述手部图像中的手势在垂直方向的第一判决参数，所述第一判决参数为各手指的指尖关键点的横坐标与所述掌根关键点的横坐标的差值的总和或者所述差值的总和的均值；当所述第一判决参数大于0时，确定无需调整所述手部图像的垂直方向；当所述第一判断参数小于0时，在垂直方向上调整所述手部图像；计算所述手势在水平方向的第二判决参数，所述第二判决参数为大拇指指根横坐标和小拇指指根横坐标的差值；当所述第二判决参数大于0时，确定无需调整所述手部图像的水平方向；当所述第二判断参数小于0时，在水平方向上调整所述手部图像。5.根据权利要求2所述的方法，其特征在于，所述从所述第一图像数据中截取手部图像，包括：采用手部检测算法从所述第一图像数据中检测手部所在位置；根据所述手部所在位置从所述第一图像数据中截取所述手部图像。6.根据权利要求2所述的方法，其特征在于，所述提取所述手部图像的关键点，包括：将所述手部图像输入预先训练得到的神经网络，得到所述N个手部关键点的坐标，所述神经网络是基于带有N个手势关键点标签的训练图片训练得到的。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述手势类型包括以下类型中的
任意一个：“OK”手势、点赞手势、比心手势、向上握拳手势、鼓掌。8.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述识别所述第一图像数据中的手势类型之前，还包括：根据所述第一终端对应的用户信息确定所述第一终端开启了手势识别功能。9.一种基于手势的交互装置，其特征在于，包括：获取模块，用于在第一终端和第二终端建立视频连接之后，获取所述第一终端通过摄像头采集到的第一图像数据；手势识别模块，用于识别所述第一图像数据中的手势类型；第一确定模块，用于根据所述手势类型确定对应的表情数据，所述手势类型对应的表情数据用于在所述第二终端上显示。10.根据权利要求9所述的装置，其特征在于，所述手势识别模块具体用于：从所述第一图像数据中截取手部图像；将所述手部图像变换到规定尺寸；从所述规定尺寸的手部图像中提取手部图像的关键点；根据所述手部图像的关键点，将所述手部图像调整到规定方向；将规定方向的手部图像的关键点输入到预先训练得到的手势识别模型中，得到所述手势类型。11.根据权利要求10所述的装置，其特征在于，在将规定方向的手部图像的关键点输入到预先训练得到的手势识别模型中，得到所述手势类型时，所述手势识别模块具体用于：将规定方向的所述手部图像的关键点坐标与预设的手势类型库中各手势的关键点的坐标取值范围进行匹配，得到所述...

【专利技术属性】
技术研发人员：唐正，王红梅，
申请(专利权)人：广州视睿电子科技有限公司，
类型：发明
国别省市：