基于微表情识别的客户餐饮评价自动获取方法及装置制造方法及图纸

本公开是关于一种基于微表情识别的客户餐饮自动评价获取方法及装置，属于微表情识别应用技术领域，该方法包括：从客户用餐位置的摄像装置获取客户用餐时的视频；从获取的视频中提取包含客户脸部的特定大小的视频帧序列；利用微表情识别来从所述视频帧序列中，提取具有微表情变化的视频帧；根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价。该方法通过获取客户用餐时的包含真实感受的面部视频，将视频分解为帧后利用微表情识别提取几个具有微表情变化的视频帧后，根据微表情自动、准确获取客户对于餐饮的评价。

Automatic acquisition method and device of customer catering evaluation based on micro-expression recognition

The present disclosure relates to a method and device for automatic evaluation and acquisition of customer catering based on micro-expression recognition, which belongs to the field of micro-expression recognition application technology. The method includes: acquiring the video of customer dining from the camera device of customer dining position; extracting the video frame sequence of a specific size containing the customer's face from the acquired video; and utilizing micro-expression recognition to extract the video frame from the video frame. In the sequence, the video frames with micro-expression changes are extracted, and the customer's evaluation of meals is obtained according to the micro-expression in the video frames with micro-expression changes. In this method, the real-feeling facial videos are captured, and the videos are decomposed into frames. After extracting several video frames with micro-expression changes by micro-expression recognition, the customer's catering evaluation is automatically and accurately obtained according to micro-expression.

【技术实现步骤摘要】
基于微表情识别的客户餐饮评价自动获取方法及装置
本公开涉及微表情识别应用
，具体而言，涉及一种基于微表情识别的客户餐饮评价自动获取方法及装置。
技术介绍
餐饮评价就是客户在一次用餐时，对一次用餐的整体评价。目前，获取客户一次用餐的餐饮评价的方法主要有：经常针对用餐客户会进行调研，获取对用餐的评价时利用网上评价，但是好评有可能是刷好评造成；客人用餐时实时询问，但是在用餐时间进行询问对客户来说不是很好的体验；调查问卷，但是这种书面的行为往往不是最真实的想法。目前的获取方式都是人工进行的，同时，这样的人工的方式不仅耗费成本高，而且结果往往不够满意。客户在用餐的时候会自然地根据对菜品的感受在脸部的各个部位出现微表情的变化，这些微表情的变化反映出客户对这些菜品的最真实的感受，也就是用餐的内在评价；所以，可以利用基于AI微表情识别，根据客户用餐时脸部的视频中的微表情，自动、准确的获得客户用餐的最真实的评价，同时不会带来客户不良好的体验。因此，需要提供一种基于微表情识别的客户餐饮评价自动获取方法及装置。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种基于微表情识别的客户餐饮评价自动获取方案，进而至少在一定程度上在不带来客户不良体验的情况下，自动、准确的获取客户用餐的评价。根据本公开的一个方面，提供一种基于微表情识别的客户餐饮评价自动获取方法，包括：从客户用餐位置的摄像装置获取客户用餐时的视频；从获取的视频中提取包含客户脸部的特定大小的视频帧序列；利用微表情识别来从所述视频帧序列中，提取具有微表情变化的视频帧；根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价。在本公开的一种示例性实施例中，所述从获取的视频中提取包含客户脸部的特定大小的视频帧序列包括：将获取的视频分解成连续的视频帧；从连续的视频帧中利用人脸识别来识别包含客户脸部的视频帧，从而提取识别出的包括客户脸部的视频帧；从客户脸部的视频帧的每一帧中截取包含人脸的特定尺寸大小的部分，剔除除人脸以外的其它部分，从而获得包含客户脸部的特定大小的视频帧序列。在本公开的一种示例性实施例中，所述利用微表情识别来从所述视频帧序列中，提取具有微表情变化的视频帧包括：利用微表情识别来从所述视频帧序列中的每一帧中，识别人脸，提取人脸预定位置的特征；根据所述视频帧序列中相邻两帧的人脸预定位置的特征变化，识别是否有微表情变化；提取识别出的具有微表情变化的视频帧。在本公开的一种示例性实施例中，所述根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价包括：获取具有微表情变化的视频帧中的人脸微表情纹理特征；将具有微表情变化的视频帧中的人脸微表情纹理特征输入预先训练好的机器学习模型进行判断，输出客户对用餐的评价的第一判断结果；将具有微表情变化的视频帧中的人脸微表情纹理特征与微表情库中的微表情纹理特征对比判断，输出客户对用餐的评价的第二判断结果；根据所述第一判断结果和第二判断结果，按照预定规则得到最终评价。在本公开的一种示例性实施例中，根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价后，所述方法还包括：利用图像识别来识别出客户用餐时食用的菜品；获取用户对用餐时食用的一个菜品的评价。在本公开的一种示例性实施例中，从客户用餐位置的摄像装置获取客户用餐时的视频后，所述方法还包括：从视频中利用人像识别来获取客户的种族；从获取的一个种族的客户的视频中提取包含客户脸部的特定大小的视频帧序列；利用微表情识别来从所述视频帧序列中，提取具有微表情变化的视频帧；根据具有微表情变化的视频帧中的微表情获取一个种族的客户对用餐的评价。在本公开的一种示例性实施例中，根据具有微表情变化的视频帧中的微表情获取一个种族的客户对用餐的评价后，所述方法包括：获取一个种族的多个客户对用餐的评价；根据一个种族的多个客户对用餐的评价，按照预定规则获取该种族的客户对用餐的总评价。根据本公开的一个方面，提供一种基于微表情识别的客户餐饮评价自动获取装置，包括：视频获取模块，用于从客户用餐位置的摄像装置获取客户用餐时的视频；第一提取模块，用于从获取的视频中提取包含客户脸部的特定大小的视频帧序列；第二提取模块，用于利用微表情识别来从所述视频帧序列中，提取具有微表情变化的视频帧；评价获取模块，用于根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价。根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有基于微表情识别的客户餐饮评价自动获取程序，其特征在于，所述基于微表情识别的客户餐饮评价自动获取程序被处理器执行时实现以上所述的方法。根据本公开的一个方面，提供一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储所述处理器的基于微表情识别的客户餐饮评价自动获取程序；其中，所述处理器配置为经由执行所述基于微表情识别的客户餐饮评价自动获取程序来执行以上所述的方法。本公开一种基于微表情识别的客户餐饮评价自动获取方法及装置，首先，从客户用餐位置的摄像装置获取客户用餐时的视频；通过摄像装置可以获取客户用餐时的包含清晰面部表情的视频。然后，从获取的视频中提取包含客户脸部的特定大小的视频帧序列；通过提取包含客户脸部的特定大小的视频帧序列就可以排除视频中不包含客户脸部的视频帧和每一帧图像中人脸以外的其它部分，进而可以有效降低后续分析计算的负荷，提高计算效率的同时提高准确率。然后，利用微表情识别来从所述视频帧序列中，提取具有微表情变化的视频帧；通过微表情识别可以识别出所有视频帧中具有微表情变化的几个视频帧，进而更进一步的降低计算分析的负荷。最后，根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价，利用客户最真实的关于用餐时表现出的微表情，在不带来客户不良体验的情况下，自动、准确的获取客户用餐时的真实评价。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示意性示出一种基于微表情识别的客户餐饮评价自动获取方法的流程图。图2示意性示出一种基于微表情识别的客户餐饮评价自动获取方法的应用场景示例图。图3示意性示出一种根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价方法流程图。图4示意性示出一种基于微表情识别的客户餐饮评价自动获取装置的方框图。图5示意性示出一种用于实现上述基于微表情识别的客户餐饮评价自动获取方法的电子设备示例框图。图6示意性示出一种用于实现上述基于微表情识别的客户餐饮评价自动获取方法的计算机可读存储介质。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或本文档来自技高网...

【技术保护点】
1.一种基于微表情识别的客户餐饮评价自动获取方法，其特征在于，包括：从客户用餐位置的摄像装置获取客户用餐时的视频；从获取的视频中提取包含客户脸部的特定大小的视频帧序列；利用微表情识别来从所述视频帧序列中，提取具有微表情变化的视频帧；根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价。

【技术特征摘要】
1.一种基于微表情识别的客户餐饮评价自动获取方法，其特征在于，包括：从客户用餐位置的摄像装置获取客户用餐时的视频；从获取的视频中提取包含客户脸部的特定大小的视频帧序列；利用微表情识别来从所述视频帧序列中，提取具有微表情变化的视频帧；根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价。2.根据权利要求1所述的方法，其特征在于，所述从获取的视频中提取包含客户脸部的特定大小的视频帧序列包括：将获取的视频分解成连续的视频帧；从连续的视频帧中利用人脸识别来识别包含客户脸部的视频帧，从而提取识别出的包括客户脸部的视频帧；从客户脸部的视频帧的每一帧中截取包含人脸的特定尺寸大小的部分，剔除除人脸以外的其它部分，从而获得包含客户脸部的特定大小的视频帧序列。3.根据权利要求1所述的方法，其特征在于，所述利用微表情识别来从所述视频帧序列中，提取具有微表情变化的视频帧包括：利用微表情识别来从所述视频帧序列中的每一帧中，识别人脸，提取人脸预定位置的特征；根据所述视频帧序列中相邻两帧的人脸预定位置的特征变化，识别是否有微表情变化；提取识别出的具有微表情变化的视频帧。4.根据权利要求1所述的方法，其特征在于，所述根据具有微表情变化的视频帧中的微表情获取客户对用餐的评价包括：获取具有微表情变化的视频帧中的人脸微表情纹理特征；将具有微表情变化的视频帧中的人脸微表情纹理特征输入预先训练好的机器学习模型进行判断，输出客户对用餐的评价的第一判断结果；将具有微表情变化的视频帧中的人脸微表情纹理特征与微表情库中的微表情纹理特征对比判断，输出客户对用餐的评价的第二判断结果；根据所述第一判断结果和第二判断结果，按照预定规则得到最终评价。5.根据权利要求1所述的方法，其特征在于，根据具有微表情变化的视频帧中的微...

【专利技术属性】
技术研发人员：陈静静，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44