基于手势识别的交互方法及系统技术方案

本发明专利技术提供了一种基于手势识别的交互方法及系统，所述基于手势识别的交互方法，包括：获取监控区域的视频数据流，并从所述视频数据流中获取图像帧；对所述图像帧执行人形检测，以确定所述图像帧中的人形区域；对所述人形区域执行手势检测，并根据所述手势检测的结果确定聚焦区域。本发明专利技术通过根据所述手势检测的结果确定聚焦区域，以实时聚焦会议中的目标区域。若目标区域设置为主讲人或参会者的人形区域，则可以有效实时聚焦会议中的主讲人或参与者。者。者。

【技术实现步骤摘要】
基于手势识别的交互方法及系统


[0001]本专利技术涉及人工智能识别交互
，尤其涉及一种基于手势识别的交互方法及系统。

技术介绍

[0002]随着人工智能技术的高速发展，视觉领域取得重大突破，人脸识别、目标检测、目标跟踪等视觉算法技术在各行各业应用广泛。目前在会议交互方式上，智能会议交互模式是未来发展的趋势。传统线上会议中的纯语音纯视频交互模式显得太过于单调，并且当传统线上会议中显示的画面包含的背景太多时，不能有效的聚焦参会者，以及在多人会议场景下，不能突显主讲人。
[0003]因此，本专利技术提出了一种基于手势识别的交互方法及系统，以有效聚焦会议中的主讲人和参会者。

技术实现思路

[0004]本专利技术提出了一种基于手势识别的交互方法及系统，以有效聚焦会议中的主讲人和参会者。
[0005]第一方面，本专利技术通过一种基于手势识别的交互方法，包括：获取监控区域的视频数据流，并从所述视频数据流中获取图像帧；对所述图像帧执行人形检测，以确定所述图像帧中的人形区域；对所述人形区域执行手势检测，并根据所述手势检测的结果确定聚焦区域。
[0006]其有益效果在于：本专利技术通过根据所述手势检测的结果确定聚焦区域，以实时聚焦会议中的目标区域。若目标区域设置为主讲人或参会者的人形区域，则可以有效实时聚焦会议中的主讲人或参与者。
[0007]可选地，所述对所述人形区域执行手势检测，包括：对所述人形区域执行手势检测，若检测到第一手势，则确定包含所述第一手势的人形区域为主讲人的人形区域，不包含所述第一手势的人形区域为参会者的人形区域，并对所述主讲人的人形区域执行实时聚焦处理；若检测到第二手势，则对所述参会者的人形区域执行聚焦处理。其有益效果在于：根据主讲人比划的第一手势和第二手势，可以实现对聚焦区域的自由切换，以达到线上会议的效果。
[0008]进一步可选地，所述对所述人形区域执行手势检测，还包括：若既未检测到所述第一手势，也未检测到所述第二手势，则对所述参会者的人形区域执行实时聚焦处理。其有益效果在于：通过对所述参会者的人形区域执行实时聚焦处理，可以保护参会者的隐私，并且可以有效屏蔽一些无用信息或干扰信息。
[0009]可选地，所述对所述主讲人的人形区域执行实时聚焦处理，包括：对所述主讲人的人形区域执行人脸检测，并根据所述人脸检测的结果确定所述主讲人的面部特征；当未检测到所述主讲人的人形区域时，基于所述主讲人的面部特征对所述图像帧执行人脸识别；
基于所述人脸识别的结果确定包含所述主讲人的人形区域，并对包含所述主讲人的人形区域执行实时聚焦处理。其有益效果在于：当由于遮挡等原因造成主讲人的人形检测失败的时候，可以根据人脸识别的结果重新确定所述主讲人的人形区域，并进行实时聚焦，以防止聚焦目标的丢失。
[0010]进一步可选地，所述基于所述主讲人的面部特征对所述图像帧执行人脸识别，包括：若未识别到所述主讲人的人脸，则退出对主讲人的人形区域的实时聚焦处理，并对所述参会者的人形区域执行实时聚焦处理。其有益效果在于：若主讲人的人脸都检测不到，那说明主讲人可能暂时离开会议，则切换为对参会者的人形区域的聚焦。
[0011]可选地，所述基于手势识别的交互方法，还包括：在所述主讲人的人形区域和所述参会者的人形区域周围设置防抖区域；若所述主讲人的人形的位置超出所述防抖区域，则对所述图像帧重新进行人形检测，并根据检测结果，重新确定所述主讲人的人形区域；若所述参会者的人形的位置超出所述防抖区域，则对所述图像帧重新进行人形检测，并根据检测结果重新确定所述参会者的人形区域。其有益效果在于：因为人的位置是会发生变化的，比如低头做笔记、或者拿水杯、或者突然站立或坐下，因此，有必要设置防抖范围，以将人形区域控制在一个合理的范围内，并可减少重新人形检测的次数。
[0012]进一步可选地，若所述主讲人的位置未超出所述防抖区域，则锁定所述主讲人的人形区域；若所述参会者的位置未超出所述防抖区域，则锁定所述参会者的人形区域。
[0013]可选地，所述对所述主讲人的人形区域执行实时聚焦处理，包括：对所述主讲人的人形区域进行特征提取，并基于检测到的所述第一手势，预测所述主讲人在下一帧的行动轨迹，以实现对所述主讲人的人形区域的实时聚焦处理。
[0014]第二方面，本专利技术通过一种基于手势识别的交互系统，被配置为执行如第一方面中任一项所述的基于手势识别的交互方法，所述系统包括执行上述第一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
[0015]关于上述第二方面的有益效果可以参见上述第一方面中的描述。
附图说明
[0016]图1为本专利技术提供的一种基于手势识别的交互方法实施例流程图；
[0017]图2为本专利技术提供的一种基于手势识别的交互系统实施例结构示意图；
[0018]图3为本专利技术提供的一种线上会议画面截图示意图。
具体实施方式
[0019]下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“该”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，
单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
[0020]在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
[0021]在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
[0022]本专利技术提供了一种基于手势识别的交互方法，其流程如图1所示，包括：
...

【技术保护点】

【技术特征摘要】
1.一种基于手势识别的交互方法，其特征在于，包括：获取监控区域的视频数据流，并从所述视频数据流中获取图像帧；对所述图像帧执行人形检测，以确定所述图像帧中的人形区域；对所述人形区域执行手势检测，并根据所述手势检测的结果确定聚焦区域。2.根据权利要求1所述的基于手势识别的交互方法，其特征在于，所述对所述人形区域执行手势检测，包括：对所述人形区域执行手势检测，若检测到第一手势，则确定包含所述第一手势的人形区域为主讲人的人形区域，不包含所述第一手势的人形区域为参会者的人形区域，并对所述主讲人的人形区域执行实时聚焦处理；若检测到第二手势，则对所述参会者的人形区域执行聚焦处理。3.根据权利要求2所述的基于手势识别的交互方法，其特征在于，所述对所述人形区域执行手势检测，还包括：若既未检测到所述第一手势，也未检测到所述第二手势，则对所述参会者的人形区域执行实时聚焦处理。4.根据权利要求2所述的基于手势识别的交互方法，其特征在于，所述对所述主讲人的人形区域执行实时聚焦处理，包括：对所述主讲人的人形区域执行人脸检测，并根据所述人脸检测的结果确定所述主讲人的面部特征；当未检测到所述主讲人的人形区域时，基于所述主讲人的面部特征对所述图像帧执行人脸识别；基于所述人脸识别的结果确定包含所述主讲人的人形区域，并对包含所述主讲人的人形区域执行实时聚焦处理。5.根据权利要求4所述的基于手势识别的交互方法，其特征在于，所述基于所述主讲人的面部特征对所述图像帧执行人脸识别，包括：若未识别到所述主讲人的人脸，则退出对主讲人的人形区域的实时聚焦处理，并对所述参会者的人形区域执行实时聚焦处理。6.根据权利要求2所述的基于手势识别的交互方法，其特征在于，还包括：在所述主讲人的人形区域和所述参会者的人形区域周围设置防抖区域；若所述主讲人的人形的位置...

【专利技术属性】
技术研发人员：徐东升，丁为国，朱雷震，
申请(专利权)人：上海庄生晓梦信息科技有限公司，
类型：发明
国别省市：