用户操作的检测方法和装置制造方法及图纸

本发明专利技术实施例提供一种用户操作的检测方法和装置，该用户操作的检测方法包括：确定每一个待检测视频片段中目标对象的手部状态信息；其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。本发明专利技术实施例提供的用户操作的检测方法和装置，提高了对用户操作检测的准确度。

Detection Method and Device for User Operations

The embodiment of the present invention provides a detection method and device for user operation, which includes: determining the hand state information of the target object in each video clip to be detected; in which the hand state information is the state of the hand extending into the shelf or the state of the hand leaving the shelf, and each video to be detected. The clip contains at least one state in which the hand reaches into the shelf and the corresponding hand part leaves the shelf; the user operation of the target object in each video clip to be detected is determined according to the hand state information. The detection method and device of user operation provided by the embodiment of the invention improves the accuracy of user operation detection.

【技术实现步骤摘要】
用户操作的检测方法和装置
本专利技术实施例涉及计算机
，尤其涉及一种用户操作的检测方法和装置。
技术介绍
随着无人超市的兴起，如何实现自动结算就显得至关重要。在实现自动结算时，需要对客户的购物行为进行分析，从而确定客户购买的商品。现有技术中，在对客户的购物行为进行分析时，主要是分析客户的购物动作，是通过将连续视频中的视频片段的第一帧图像与最后一帧图像进行比较，具体是将第一帧图像中的商品与最后一帧图像中的商品进行比较，从而确定客户执行过的拿取商品的操作，进而确定客户购买的商品。但是，当图像中的商品较多或者商品之间存在遮挡时，采用图像帧中商品比较的方式，使得对客户执行的动作检测的准确度不高。
技术实现思路
本专利技术实施例提供一种用户操作的检测方法和装置，以提高对用户操作检测的准确度。第一方面，本专利技术实施例提供一种用户操作的检测方法，该用户操作的检测方法可以包括：确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述手部状态信息为手部伸入货架的状态或手部离开货架的状态，所述每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作。在一种可能的实现方式中，所述目标对象的用户操作包括下述任一种：拿取操作、放回操作、观察操作及更换操作。在一种可能的实现方式中，所述确定每一个待检测视频片段中目标对象的手部状态信息之前，还包括：提取待检测视频中所述目标对象的手部状态信息；根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段。在一种可能的实现方式中，所述根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段，包括：根据所述目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将所述待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。在一种可能的实现方式中，若所述待检测视频片段中的目标对象的用户操作为拿取操作，所述根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作之后，还包括：确定所述目标对象所拿取的商品；根据所述商品的价格确定所述目标对象的待付款金额。在一种可能的实现方式中，所述提取待检测视频中所述目标对象的手部状态信息，包括：根据预设算法提取待检测视频中的目标对象的手部状态信息；其中，所述预设算法为卷积神经网络CNN、循环神经网络RNN或光流算法中的至少一种。第二方面，本专利技术实施例还提供一种用户操作的检测装置，该用户操作的检测装置可以包括：确定单元，用于确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述手部状态信息为手部伸入货架的状态或手部离开货架的状态，所述每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；所述确定单元，还用于根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作。在一种可能的实现方式中，所述目标对象的用户操作包括下述任一种：拿取操作、放回操作、观察操作及更换操作。在一种可能的实现方式中，该用户操作的检测装置还可以包括提取单元和划分单元；所述提取单元，用于提取待检测视频中所述目标对象的手部状态信息；所述划分单元，用于根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段。在一种可能的实现方式中，所述划分单元，具体用于根据所述目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将所述待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。在一种可能的实现方式中，若所述待检测视频片段中的目标对象的用户操作为拿取操作；所述确定单元，还用于确定所述目标对象所拿取的商品；并根据所述商品的价格确定所述目标对象的待付款金额。在一种可能的实现方式中，所述提取单元，具体用于根据预设算法提取待检测视频中的目标对象的手部状态信息；其中，所述预设算法为卷积神经网络CNN、循环神经网络RNN或光流算法中的至少一种。第三方面，本专利技术实施例还提供一种用户操作的检测装置，用户操作的检测装置可以包括处理器和存储器，其中，所述存储器用于存储程序指令；所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行第一方面任一项所示的用户操作的检测方法。第四方面，本专利技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行第一方面任一项所示的用户操作的检测方法。本专利技术实施例提供的用户操作的检测方法和装置，先确定每一个待检测视频片段中目标对象的手部状态信息；其中，手部状态信息为手部伸入货架的状态或手部离开货架的状态，每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；再根据手部状态信息确定每一个待检测视频片段中的目标对象的用户操作。由此可见，本专利技术实施例提供的用户操作的检测方法和装置，是通过目标对象的手部状态信息确定目标对象的用户操作，而无需像现有技术中那样，通过比较图像帧确定用户操作，避免了因图像中的商品较多或者商品之间存在遮挡而导致的对客户执行的动作检测的准确度不高，从而提高了对用户操作检测的准确度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种用户操作的检测方法的流程示意图；图2为本专利技术实施例提供的另一种用户操作的检测方法的流程示意图；图3为本专利技术实施例提供的一种用户操作的检测装置的结构示意图；图4为本专利技术实施例提供的又一种用户操作的检测装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。现有技术中，在对客户的购物行为进行分析时，是通过将连续视频中的视频片段的第一帧图像中的商品与最后一帧图像中的商品进行比较，从而确定客户执行过的拿取商品的操作，但是当图像中的商品较多或者商品之间存在遮挡时，采用图像帧中商品比较的方式，使得对客户执行的动作检测的准确度不高。为了提高对用户操作检本文档来自技高网...

【技术保护点】
1.一种用户操作的检测方法，其特征在于，包括：确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述手部状态信息为手部伸入货架的状态或手部离开货架的状态，所述每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作。

【技术特征摘要】
1.一种用户操作的检测方法，其特征在于，包括：确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述手部状态信息为手部伸入货架的状态或手部离开货架的状态，所述每一个待检测视频片段中至少包括一个手部伸入货架的状态和其对应的手部分离货架的状态；根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作。2.根据权利要求1所述的方法，其特征在于，所述目标对象的用户操作包括下述任一种：拿取操作、放回操作、观察操作及更换操作。3.根据权利要求1所述的方法，其特征在于，所述确定每一个待检测视频片段中目标对象的手部状态信息之前，还包括：提取待检测视频中所述目标对象的手部状态信息；根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象的手部状态信息将所述待检测视频进行划分，得到所述每一个待检测视频片段，包括：根据所述目标对象的第i个手部伸入货架的状态和其对应的手部离开货架的状态将所述待检测视频进行划分，得到第i个待检测视频片段；其中，i为大于等于1的整数。5.根据权利要求1所述的方法，其特征在于，若所述待检测视频片段中的目标对象的用户操作为拿取操作，所述根据所述手部状态信息确定所述每一个待检测视频片段中的目标对象的用户操作之后，还包括：确定所述目标对象所拿取的商品；根据所述商品的价格确定所述目标对象的待付款金额。6.根据权利要求3所述的方法，其特征在于，所述提取待检测视频中所述目标对象的手部状态信息，包括：根据预设算法提取待检测视频中的目标对象的手部状态信息；其中，所述预设算法为卷积神经网络CNN、循环神经网络RNN或光流算法中的至少一种。7.一种用户操作的检测装置，其特征在于，包括：确定单元，用于确定每一个待检测视频片段中目标对象的手部状态信息；其中，所述...

【专利技术属性】
技术研发人员：罗宇轩，亢乐，包英泽，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11