一种基于语言识别与人脸识别的会员购物系统和方法技术方案

本发明专利技术公开了一种基于语言识别与人脸识别的会员购物系统和方法，属于自助购物技术领域，本发明专利技术提供一种基于语言识别与人脸识别的会员购物系统包括自动售货机、自助服务终端和云服务平台；基于特定自然语言理解、语音合成、人脸识别与支付的自助购物系统和购物方法，消费者只需在自动售货机面前，以人脸作为特征身份进行身份属性的认证，以人和机器进行简单对话，来完成选货和购物整个过程；每次购物时，在云服务平台都详细记录有历次购物的消费者人脸图像信息、消费者语言信息，此等信息与所购商品形成关联数据库，可供人工时候查验与追索。本发明专利技术会员购物系统和方法人机交互友好，特别适用于中小学生的自助购物。

A Membership Shopping System Based on Language Recognition and Face Recognition

The invention discloses a membership shopping system based on language recognition and face recognition, which belongs to the technical field of self-service shopping. The invention provides a membership shopping system based on language recognition and face recognition, including vending machine, self-service terminal and cloud service platform; and a self-service shopping system based on specific natural language understanding, speech synthesis, face recognition and payment. In the unified shopping method, consumers only need to authenticate the identity attribute with the face as the characteristic identity in front of the vending machine, and have a simple dialogue with the person and the machine to complete the whole process of choosing goods and shopping. Every time they buy goods, the cloud service platform records in detail the face image information and the language information of the consumers who have made previous purchases, such information and the shape of the goods purchased. Associated database can be checked and retrieved manually. The member shopping system and method of the invention have friendly human-computer interaction, and are especially suitable for self-help shopping of primary and secondary school students.

【技术实现步骤摘要】
一种基于语言识别与人脸识别的会员购物系统和方法
本专利技术属于自助购物
，具体涉及一种基于语言识别与人脸识别的会员购物系统和方法。
技术介绍
随着计算机计算速度存储容量的进化、人工智能与机器学习的发展，使得计算机进行特定范围的自然语言理解与识别、人脸识别、语音合成已经成为现实。自助服务已经成为人们便利生活的一部分，也越来越普及。目前，自动售货机传统的购物方法主要有以下几种：(1)基于现金：这种方法的缺点是需要消费者准备特定面额要求的纸币或硬币，使用起来不方便，尤其是使用纸币时，单次购物时间长，现金识别与接收设备拒收率较高，影响消费者体验；(2)基于手机支付：缺点是需要消费者拥有支付功能的手机；(3)基于人脸支付，这种方式也需要事先绑定消费者本人的手机，并且每次必须是实时链接到广域网的云端，且云端对应账号必须有足够的余额；(4)基于会员卡支付：必须要求每个会员携带会员卡，会员卡如果设置后密码，操作不够方便；如果不设置密码，丢失后又会有盗用的风险。特别地，针对中小学校，广大中小学生如果使用上述方式进行售货机购物，都不是可行或最优的方法，中小学生自我管理能力较差，一般不鼓励拥有或者使用手机，而会员卡则容易丢失，中小学生购物时间较为集中，只有课间休息时间，单次购物时间需要尽量的短，中小学生尤其要注意个人卫生保护，大家都使用公共的键盘或者触摸屏有隐藏的卫生风险。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于语言识别与人脸识别的会员购物系统和方法，面向中小学生或者封闭的会员团体，使用自然语言理解、人机语言交互、人脸识别技术，能够快速有效的实现身份认证与友善的人机交互，从而获得所需要的商品。本专利技术提供的这种基于语言识别与人脸识别的会员购物系统，包括自助服务终端和云服务平台；所述自助服务终端包括人脸捕捉模块、语音交互模块、显示模块、本地控制系统和网络通信模块，人脸捕捉模块、语音交互模块、显示模块和网络通信模块均与本地控制系统连接；所述自助服务终端通过网络通信模块与云服务平台联结；所述云服务平台包括人脸识别算法模块、语音识别算法模块、语音合成算法模块、会员人脸图像数据库、商品语音词库、商品与库存数据库和会员会费管理与消费数据库；所述人脸捕捉模块用于对消费者面部图像进行捕获，获得人脸图像；语音交互模块用于和消费者进行语音交互，并采集消费者语音数据，接收用户对于自动售货机的操作指令并上传至本地控制系统；显示模块用于显示商品信息与被捕捉的消费者人脸图像，也用于将自动售货机的工作参数进行输出；本地控制系统用于控制和管理人脸捕捉模块、语音交互模块、显示模块和网络通信模块协调工作；网络通信模块用于联接自助服务终端和云服务平台，进行数据通信和交互；人脸识别算法模块用于将收到的人脸图像与会员人脸图像数据库进行比对，以识别出特定会员；语音识别模块用于提取语音特征，识别出特定的商品名关键词，找到对应商品名的图片，价格，以及商品所在库存信息；语音合成算法模块用于根据特定会员信息与语音词库合成一条语音信息，并传送到自动售货机的语音交互模块播送该语音；会员人脸图像数据库用于存储消费者的人脸数据；商品语音词库包含自动售货机销售的所有特定商品的商品名称的语音特征信息库。在一个具体实施方式中，采用局域网或者广域网的网络通信方式，将自助服务终端与云服务平台联结。作为一个总的专利技术构思，本专利技术还提供一种基于语言识别与人脸识别的会员购物方法，包括以下步骤：(1)消费者在自动售货设备前，其人脸图像被人脸捕捉模块捕捉并同时显示于显示模块上，人脸图像被实时传送到云服务平台；(2)云服务平台中的人脸识别算法模块将收到的人脸图像与会员人脸图像数据库进行比对，以识别出特定会员；(3)语音合成算法模块根据特定会员信息与语音词库合成一条语音信息通过网络通信模块下发到自动售货机，自动售货机通过语音交互模块播送该语音；(4)消费者听到自动售货机的语音交互模块播送的语音后，说出需要选购的商品名称，该语音信息被语音交互模块采集，并提交到云服务平台；(5)云服务平台中的语音识别模块通过提取语音特征，识别出特定的商品名关键词，找到对应商品名的图片，价格，以及商品所在库存信息(是否有货)，通过语音合成算法模块再一次合成一条语音信息，并下发到自助服务终端的语音交互模块，同时把该商品的图片信息和价格信息下发到显示模块；(6)自助服务终端的显示模块接受来自云服务平台发来的商品图片信息，商品名称，和价格信息，同时通过语音交互模块播放来自云服务平台的语音信息；(7)消费者看到显示模块显示的内容，听到语音交互模块播放的语音后，回答“是”；(8)语音交互模块采集消费者的语音，并上传到云服务平台；(9)云服务平台中的语音识别模块识别发送上来的语音，如果确认为“是”，则根据售货机商品与库存数据库，指示自动售货终端推送特定货道的商品，同时更新商品与库存数据库，更新会员会费管理与消费数据库相关信息；(10)消费者取货，整个购物过程结束。在一个具体实施方式中，消费者的人脸数据被存储在云服务平台中的会员人脸图像数据库中，消费者之会员ID号与会员人脸图像数据库以及会员会费管理与消费数据库相关联；商品语音与商品ID、商品图片、商品名称、商品价格等信息相关联；特定实体自动售货机与云服务平台对应的虚拟售货机中商品的种类、库存数量以及存放的物理位置相关联。在一个具体实施方式中，商品语音词库包含自动售货机可能销售的所有特定商品的商品名称的语音特征信息库，它与该商品的文本名称、商品唯一ID属性等相关联，而商品唯一ID属性，又与商品与库存数据库中的商品图片、商品价格相互关联；而在语音合成过程中，该商品语音词库又是被合成语音的核心词汇，鉴于一个售货机特定商品品种类型不多(一般为十多种，最多几十种)，这样，虽然是自然语言的理解和识别，但局限于上述特定词汇的识别，因为识别样本范围大大减少，可提高识别速率和识别准确率。在一个具体实施方式中，会员人脸图像数据库包含特定售货机所覆盖的封闭服务区域类的受众的人脸图像信息，该人脸图像，和特定消费者的名称、特定消费者的唯一ID、以及通过此ID和会员会费管理与消费数据库相关联。在一个具体实施方式中，会员会费管理采用事先预充值，或者事后补交的方法。在一个具体实施方式中，通过每个会员关联一个手机微信号，通过附加的微信公众服务平台，以实现对特定会员的会费充值。在一个具体实施方式中，手机微信号不是消费者本人所持有，特别地，消费者是中小学的学生，手机微信号是学生各自的家长。在一个具体实施方式中，微信公众服务平台不仅可以接受手机的微信在线充值，还可以接受来自对应手机关于特定商品每日消费的次数，消费的总金额控制的设定。在一个具体实施方式中，通过微信服务平台，可随时查询所关联的会员号每日实时消费情况。在一个具体实施方式中，每次购物时，在云服务平台都详细记录有历次购物的消费者人脸图像信息、消费者语言信息，此等信息与所购商品形成关联数据库，可供人工时候查验与追索。与现有技术相比，本专利技术的有益技术效果为：本专利技术提供一种基于语言识别与人脸识别的会员购物系统和方法，基于特定自然语言理解、语音合成、人脸识别与支付的自助购物系统和购物方法，消费者只需在自动售货机面前，以人脸作为特征身份进行身份属性的认证，以人本文档来自技高网...

【技术保护点】
1.一种基于语言识别与人脸识别的会员购物系统，其特征在于，包括自助服务终端和云服务平台；所述自助服务终端包括人脸捕捉模块、语音交互模块、显示模块、本地控制系统和网络通信模块，人脸捕捉模块、语音交互模块、显示模块和网络通信模块均与本地控制系统连接；所述自助服务终端通过网络通信模块与云服务平台联结；所述云服务平台包括人脸识别算法模块、语音识别算法模块、语音合成算法模块、会员人脸图像数据库、商品语音词库、商品与库存数据库和会员会费管理与消费数据库；所述人脸捕捉模块用于对消费者面部图像进行捕获，获得人脸图像；语音交互模块用于和消费者进行语音交互，并采集消费者语音数据，接收用户对于自动售货机的操作指令并上传至本地控制系统；显示模块用于显示商品信息与被捕捉的消费者人脸图像，也用于将自动售货机的工作参数进行输出；本地控制系统用于控制和管理人脸捕捉模块、语音交互模块、显示模块和网络通信模块协调工作；网络通信模块用于联接自助服务终端和云服务平台，进行数据通信和交互；人脸识别算法模块用于将收到的人脸图像与会员人脸图像数据库进行比对，以识别出特定会员；语音识别模块用于提取语音特征，识别出特定的商品名关键词，找到对应商品名的图片，价格，以及商品所在库存信息；语音合成算法模块用于根据特定会员信息与语音词库合成一条语音信息，并传送到自动售货机的语音交互模块播送该语音；会员人脸图像数据库用于存储消费者的人脸数据；商品语音词库包含自动售货机销售的所有特定商品的商品名称的语音特征信息库。...

【技术特征摘要】
1.一种基于语言识别与人脸识别的会员购物系统，其特征在于，包括自助服务终端和云服务平台；所述自助服务终端包括人脸捕捉模块、语音交互模块、显示模块、本地控制系统和网络通信模块，人脸捕捉模块、语音交互模块、显示模块和网络通信模块均与本地控制系统连接；所述自助服务终端通过网络通信模块与云服务平台联结；所述云服务平台包括人脸识别算法模块、语音识别算法模块、语音合成算法模块、会员人脸图像数据库、商品语音词库、商品与库存数据库和会员会费管理与消费数据库；所述人脸捕捉模块用于对消费者面部图像进行捕获，获得人脸图像；语音交互模块用于和消费者进行语音交互，并采集消费者语音数据，接收用户对于自动售货机的操作指令并上传至本地控制系统；显示模块用于显示商品信息与被捕捉的消费者人脸图像，也用于将自动售货机的工作参数进行输出；本地控制系统用于控制和管理人脸捕捉模块、语音交互模块、显示模块和网络通信模块协调工作；网络通信模块用于联接自助服务终端和云服务平台，进行数据通信和交互；人脸识别算法模块用于将收到的人脸图像与会员人脸图像数据库进行比对，以识别出特定会员；语音识别模块用于提取语音特征，识别出特定的商品名关键词，找到对应商品名的图片，价格，以及商品所在库存信息；语音合成算法模块用于根据特定会员信息与语音词库合成一条语音信息，并传送到自动售货机的语音交互模块播送该语音；会员人脸图像数据库用于存储消费者的人脸数据；商品语音词库包含自动售货机销售的所有特定商品的商品名称的语音特征信息库。2.根据权利要求1所述基于语言识别与人脸识别的会员购物系统，其特征在于，采用局域网或者广域网的网络通信方式，将自助服务终端与云服务平台联结。3.根据权利1或2所述基于语言识别与人脸识别的会员购物系统的购物方法，其特征在于，包括以下步骤：(1)消费者在自动售货设备前，其人脸图像被人脸捕捉模块捕捉并在显示模块显示，人脸图像被实时传送到云服务平台；(2)云服务平台中的人脸识别算法模块将收到的人脸图像与会员人脸图像数据库进行比对，以识别出特定会员；(3)语音合成算法模块根据特定会员信息与语音词库合成一条语音信息通过网络通信模块下发到自动售货机，自动售货机通过语音交互模块播送该语音；(4)消费者听到自动售货机的语音交互模块播送的语音后，说出需要选购的商品名称，该语音信息被语音交互模块采集，并提交到云服务平台；(5)云服务平台中的语音识别模块通过提取语音特征，识别出特定的商品名关键词，找到对应商品名的图片，价格，以及商品所在库存信息(是否有货)，通过语音合成算法模块再一次合成一条语音信息，并下发到自助服务终端的语音交互模块，同时把该商品的图片信息和价格信息下发到显示模块；(6)自助服务终端的显示模块接...

【专利技术属性】
技术研发人员：贺建飚，成新明，高建良，张保江，李昌泰，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43