确定交互手势的方法、装置及电子设备制造方法及图纸

本申请实施例涉及人机交互技术领域，公开了一种确定交互手势的方法、装置及电子设备，先进行目标部件检测，然后在目标部件附近的局部区域(边界框的周围)进行手势检测识别。此外，对于当前视频帧中的N个手势检测框(多个用户)，从中选取M个目标手势检测框进行手部件的定位和手势识别处理，也能够减少检测耗时，提高实时性。在此基础上，根据当前视频帧的手势检测结果和回溯多个历史视频帧的手势检测结果确定交互手势，即在连续多个视频帧中对每帧中的用户选择性地进行手势识别，确定交互手势，能够降低算力，减少耗时，提高实时性，还能够提高交互手势的准确性和稳定性。即在多用户的人机交互场景下，能够准确且实时地确定交互手势。手势。手势。

Method, device and electronic device for determining interactive gesture

【技术实现步骤摘要】
确定交互手势的方法、装置及电子设备


[0001]本申请实施例涉及人机交互
，尤其涉及一种确定交互手势的方法、装置及电子设备。

技术介绍

[0002]随着产品智能化、电子化以及互联化的不断发展和普及，出现了很多越来越智能化的人机交互方式，例如手势控制，以满足人们追求个性化和时尚化的需求。其中，手势控制是一种新型的人机交互技术，它使用摄像头作为输入设备，利用计算机视觉/图像处理技术来识别人的手势，转化为对设备的控制指令。手势交互能够克服传统交互方式(鼠标、键盘、触摸屏等)中用户需要与输入设备接触，活动空间受到限制的弊端，提高交互的灵活性。
[0003]在实际应用中，手势识别的准确率和高实时性是实现手势交互的关键。如果设备不能及时对用户手势给出响应，或者经常出现误识别，执行错误的响应，会严重影响手势交互的准确性和实时性，降低用户体验。

技术实现思路

[0004]本申请实施例主要解决的技术问题是提供一种确定交互手势的方法、装置及电子设备，在多用户的人机交互场景下，能够准确且实时地确定交互手势。
[0005]为解决上述技术问题，第一方面，本申请实施例中提供了一种确定交互手势的方法，包括：
[0006]获取实时视频流中的当前视频帧；
[0007]对当前视频帧进行目标部件检测，得到当前视频帧中的N个目标部件的边界框；
[0008]对N个目标部件的边界框分别进行外扩处理，得到N个手势检测框；
[0009]根据预设规则从N个手势检测框中选择出当前视频帧对应的M个目标手势检测框；
[0010]对当前视频帧对应的M个目标手势检测框进行手部件的定位和手势识别处理，得到当前视频帧的手势检测结果；
[0011]根据当前视频帧的手势检测结果和回溯多个历史视频帧的手势检测结果，确定交互手势。
[0012]在一些实施例中，前述根据预设规则从N个手势检测框中选择出当前视频帧对应的M个目标手势检测框，包括：
[0013]回溯多个历史视频帧对应的M个目标手势检测框，以轮询方式从N个手势检测框中确定出当前视频帧对应的M个目标手势检测框。
[0014]在一些实施例中，前述回溯多个历史视频帧对应的M个目标手势检测框，以轮询方式从N个手势检测框中确定出当前视频帧对应的M个目标手势检测框，包括：
[0015]回溯多个历史视频帧对应的M个目标手势检测框的编号标识，通过轮询N个手势检测框的编号标识，确定当前视频帧对应的M个目标手势检测框。
[0016]在一些实施例中，前述回溯多个历史视频帧对应的M个目标手势检测框，以轮询方
式从N个手势检测框中确定出当前视频帧对应的M个目标手势检测框，包括：
[0017]回溯多个历史视频帧对应的M个目标手势检测框的最近检测时间，确定N个手势检测框中最近检测时间最远的M个手势检测框为当前视频帧对应的M个目标手势检测框。
[0018]在一些实施例中，前述根据预设规则从N个手势检测框中选择出当前视频帧对应的M个目标手势检测框，包括：
[0019]将当前视频帧的前一视频帧中检测出手势的k个目标手势检测框作为当前视频帧对应的k个目标手势检测框，其中,k≤M；
[0020]回溯多个历史视频帧对应的M个目标手势检测框，以轮询方式从N个手势检测框中除k个目标手势检测框外的手势检测框中确定当前视频帧对应的M
‑
k个目标手势检测框。
[0021]在一些实施例中，前述对当前视频帧对应的M个目标手势检测框进行手部件的定位和手势识别处理，得到当前视频帧的手势检测结果，包括：
[0022]对当前视频帧对应的M个目标手势检测框中的区域进行手部件检测，得到M个手部件边界框；
[0023]获取M个手部件边界框分别与对应的目标部件的边界框之间的重叠比例；
[0024]对重叠比例小于或等于第一阈值的手部件边界框进行手势识别处理，得到当前视频帧的手势检测结果。
[0025]在一些实施例中，前述根据当前视频帧的手势检测结果和回溯多个历史视频帧的手势检测结果，确定交互手势，包括：
[0026]若当前视频帧的手势结果和回溯多个历史视频帧的手势检测结果中，在同一位置附近出现相同的触发手势，则确定触发手势为交互手势。
[0027]为解决上述技术问题，第二方面，本申请实施例中提供了一种交互方法，包括：
[0028]采用第一方面中确定交互手势的方法确定交互手势；
[0029]控制目标设备执行与交互手势对应的操作指令。
[0030]为解决上述技术问题，第三方面，本申请实施例中提供了一种确定交互手势的装置，包括：
[0031]获取模块，用于获取实时视频流中的当前视频帧；
[0032]目标部件检测模块，用于对当前视频帧进行目标部件检测，得到当前视频帧中的N个目标部件的边界框；
[0033]外扩处理模块，用于对N个目标部件的边界框分别进行外扩处理，得到N个手势检测框；
[0034]选择模块，用于根据预设规则从N个手势检测框中选择出当前视频帧对应的M个目标手势检测框；
[0035]识别模块，用于对当前视频帧对应的M个目标手势检测框进行手部件的定位和手势识别处理，得到当前视频帧的手势检测结果；
[0036]确定模块，用于根据当前视频帧的手势检测结果和回溯多个历史视频帧的手势检测结果，确定交互手势。
[0037]为解决上述技术问题，第四方面，本申请实施例中提供了一种电子设备，包括：
[0038]至少一个处理器，以及
[0039]与至少一个处理器通信连接的存储器，其中，
[0040]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的方法。
[0041]为解决上述技术问题，第五方面，本申请实施例中提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行第一方面中的方法。
[0042]本申请实施例的有益效果：区别于现有技术的情况，本申请实施例提供的确定交互手势的方法，获取实时视频流中的当前视频帧，对当前视频帧进行目标部件检测，得到当前视频帧中的N个目标部件的边界框，对该N个目标部件的边界框分别进行外扩处理，得到N个手势检测框。然后，根据预设规则从N个手势检测框中选择出当前视频帧对应的M个目标手势检测框，对这M个目标手势检测框进行手部件的定位和手势识别处理，得到当前视频帧的手势检测结果。最后，根据当前视频帧的手势检测结果和回溯多个历史视频帧的手势检测结果，确定交互手势。
[0043]在此方法中，先进行目标部件(人头、人脸或人体头部加肩部)检测，然后在目标部件附近的局部区域(边界框的周围)进行手势检测识别，相比于全图手势检测识别，能够降低算力，减少检测耗时，提高实时性，另外，手部件的特征粒度在目标部件附近的局部区域中相对较大，使得手部件的特征明显，能促进提高手势检测的准确性。此外，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定交互手势的方法，其特征在于，包括：获取实时视频流中的当前视频帧；对所述当前视频帧进行目标部件检测，得到所述当前视频帧中的N个目标部件的边界框；对所述N个目标部件的边界框分别进行外扩处理，得到N个手势检测框；根据预设规则从所述N个手势检测框中选择出所述当前视频帧对应的M个目标手势检测框；对所述当前视频帧对应的M个目标手势检测框进行手部件的定位和手势识别处理，得到所述当前视频帧的手势检测结果；根据所述当前视频帧的手势检测结果和回溯多个历史视频帧的手势检测结果，确定交互手势。2.根据权利要求1所述的方法，其特征在于，所述根据预设规则从所述N个手势检测框中选择出所述当前视频帧对应的M个目标手势检测框，包括：回溯多个历史视频帧对应的M个目标手势检测框，以轮询方式从所述N个手势检测框中确定出所述当前视频帧对应的M个目标手势检测框。3.根据权利要求2所述的方法，其特征在于，所述回溯多个历史视频帧对应的M个目标手势检测框，以轮询方式从所述N个手势检测框中确定出所述当前视频帧对应的M个目标手势检测框，包括：回溯多个历史视频帧对应的M个目标手势检测框的编号标识，通过轮询所述N个手势检测框的编号标识，确定所述当前视频帧对应的M个目标手势检测框。4.根据权利要求2所述的方法，其特征在于，所述回溯多个历史视频帧对应的M个目标手势检测框，以轮询方式从所述N个手势检测框中确定出所述当前视频帧对应的M个目标手势检测框，包括：回溯多个历史视频对应的M个目标手势检测框的最近检测时间，确定所述N个手势检测框中最近检测时间最远的M个手势检测框为所述当前视频帧对应的M个目标手势检测框。5.根据权利要求1所述的方法，其特征在于，所述根据预设规则从所述N个手势检测框中选择出所述当前视频帧对应的M个目标手势检测框，包括：将所述当前视频帧的前一视频帧中检测出手势的k个目标手势检测框作为所述当前视频帧对应的k个目标手势检测框，其中,k≤M；回溯多个历史视频帧对应的M个目标手势检测框，以轮询方式从所述N个手势检测框中除所述k个目标手势检测框外的手势检测框中确定所述当前视频帧对应的M
‑
k个目标手势检测框。6.根据权利要求1
‑
5任意一项所述的方法，其特征在于，所述对所...

【专利技术属性】
技术研发人员：张伟俊，马龙祥，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：