交互方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种交互方法、装置、电子设备和存储介质，涉及计算机视觉、深度学习技术领域。其中的方法包括：响应于接收到的触发指令，生成画布；实时获取第一对象的手部图像，确定交互手势；获取第一对象的手部的关键点在画布中的位置；根据交互手势以及位置，对画布进行修改；向第二对象展示修改的画布。应用本公开可以允许用户在视频会话过程中通过画布展示特殊文本，提高了交互效率。提高了交互效率。提高了交互效率。

【技术实现步骤摘要】
交互方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
，具体涉及计算机视觉领域，尤其涉及一种交互方法、装置、电子设备和存储介质。

技术介绍

[0002]近年来，基于计算机视觉的手势识别技术发展迅速。这种技术不需要借助可穿戴设备和外部传感器，只需要通过摄像头等视频捕捉设备，再利用机器学习和深度学习等技术，即可实现对人体手势的识别。手势识别技术又可以分为静态手势识别和动态手势识别(包括二维动态手势识别和三维动态手势识别)，其中静态手势识别和二维动态手势识别因为只需要二维摄像系统即可实现，获得了广泛的应用。
[0003]目前，视频会议成为了人们工作和生活中不可或缺少的一种交互方式。人们在视频会议时可能有画符号、图形等特殊文本的演示需求，现有的视频会议交互方式难以高效直接地传递这种信息。

技术实现思路

[0004]本公开的实施例提供了一种交互方法、装置、电子设备和存储介质。
[0005]第一方面，本公开的实施例提供了一种交互方法，包括：响应于接收到的触发指令，生成画布；实时获取第一对象的手部图像，确定交互手势；获取第一对象的手部的关键点在画布中的位置；根据交互手势以及位置，对画布进行修改；向第二对象展示修改的画布。
[0006]第二方面，本公开的实施例提供了一种交互装置，包括：画布生成单元，被配置成响应于接收到的触发指令，生成画布；手势确定单元，被配置成实时获取第一对象的手部图像，确定交互手势；位置获取单元，被配置成获取第一对象的手部的目标关键点在画布中的位置；画布修改单元，被配置成根据交互手势以及位置，对画布进行修改；画布展示单元，被配置成向第二对象展示修改的画布。
[0007]第三方面，本公开的实施例提供了一种电子设备，包括存储器、处理器、总线及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如第一方面所描述的交互方法。
[0008]第四方面，本公开的实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所描述的交互方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1为本公开的交互方法的一个实施例可以应用于其中的示例性系统架构图；
[0012]图2为本公开的交互方法的一个实施例的流程示意图；
[0013]图3为本公开的交互方法的一个应用场景的示意图；
[0014]图4为视频会议应用的一个交互界面的示意图；
[0015]图5为手势1的示意图；
[0016]图6为本公开的交互方法的另一个实施例的的流程示意图；
[0017]图7为手部的各关键点的示意图；
[0018]图8a～图8e为五个预先设置的5个手势的示意图；
[0019]图9为视频会议应用的另一个交互界面的示意图；
[0020]图10为本公开的交互装置的一个实施例的结构示意图；
[0021]图11为本公开的电子设备的一个实施例的结构示意图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0024]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。为使本公开的技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本公开作进一步详细的说明。
[0025]图1示出了可以应用本公开的交互方法或交互装置的实施例的示例性系统架构100。
[0026]如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0027]用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频会议类应用等。终端设备101、102、103上还可以安装有麦克风阵列、图像采集装置、扬声器等。
[0028]终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0029]服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上安装的视频会议类应用提供支持的后台服务器。后台服务器可以在用户通过各终端设备101、102、103进行视频会话的过程中接收用户的指令并进行反馈。
[0030]需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0031]需要说明的是，本公开实施例所提供的交互方法一般由服务器105执行。相应地，交互装置一般设置于服务器105中。
[0032]应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0033]图2示出了本公开的交互方法的一个实施例的流程200。如图2所示，本实施例的交互方法可以包括以下步骤：
[0034]步骤201，响应于接收到的触发指令，生成画布。
[0035]本实施例中，交互方法的执行主体(例如图1所示的服务器105)可以为各终端设备(例如图1所示的终端设备101、102、103)提供视频会话服务。使用各终端设备的用户可以通过终端设备上安装的视频会议类应用作为会话方参与视频会话进行视频交流。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互方法，包括：响应于接收到的触发指令，生成画布；实时获取第一对象的手部图像，确定交互手势；获取所述第一对象的手部的关键点在所述画布中的位置；根据所述交互手势以及所述位置，对所述画布进行修改；向第二对象展示修改的画布。2.根据权利要求1所述的方法，其中，所述实时获取第一对象的手部图像，所述确定交互手势，包括：实时获取所述第一对象的视频图像；基于所述视频图像确定第一对象的手部图像；对所述手部图像进行手部关键点检测，得到多个手部关键点；根据所述多个手部关键点之间的相对位置，确定交互手势。3.根据权利要求1所述的方法，其中，所述画布包括：可视区、缓存区、功能区，其中，所述可视区位于初始画布的中心，所述缓存区位于所述可视区的外部，所述功能区位于所述可视区的一侧。4.根据权利要求1所述的方法，其中，所述获取所述第一对象的手部的关键点在所述画布中的位置，包括：获取预设手部的关键点在所述画布中的位置；或者根据从外部设备接收到的坐标序列，确定所述第一对象的手部的关键点在所述画布中的位置。5.根据权利要求1所述的方法，其中，所述根据所述交互手势以及所述位置，对所述画布进行修改，包括：根据所述交互手势，确定对应的交互模式，所述交互模式包括：选择模式、书写模式、擦除模式、恢复模式、画布平移模式、识别模式；根据所述交互模式以及所述位置，确定展示素材；将所述展示素材在所述画布上进行展示。6.根据权...

【专利技术属性】
技术研发人员：林澜波，洪德祥，曹立，杨佳霖，邵杰，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：