基于深度学习的个人专属AI电子宠物及其使用方法技术

本发明专利技术提供了一种基于深度学习的个人专属AI电子宠物及其使用方法，所述基于深度学习的个人专属AI电子宠物包括：电源模块、摄像头模块、麦克风模块、无线通信模块、存储模块、处理器模块、扬声器模块、运动控制模块。本发明专利技术利用深度的学习算法对用户的图像(用户脸识别、姿态识别、表情识别、手势识别)、用户的语音进行采集与综合处理，判断用户所处的状态并根据判断结果做出相应的指令。本发明专利技术的有益效果是：AI电子宠物可以更加智能的根据人的状态，做出相应的实时应答；也可以通过移动智能设备直接实时控制。

Personal AI electronic pet based on deep learning and its usage

【技术实现步骤摘要】
基于深度学习的个人专属AI电子宠物及其使用方法
本专利技术涉及电子产品领域，特别是涉及一种基于深度学习的个人专属AI电子宠物系统及其使用方法。
技术介绍
电子宠物是由电子元件(包括硬件和软件)组成的，现在也指在互联网上运行的特定程序。目前的电子宠物主要是利用无线通信技术如WIFI、4G为算法模型的数据处理提供有力保证；蓝牙、ZigBee(一种短距离、低功耗的无线通信技术)为无线传输数据提供保障。现有的电子宠物存在以下问题：目前的电子宠物没有把自身与用户的图像和语言等结合起来。
技术实现思路
为了克服现有技术中相关产品的不足，本专利技术提供了一种性能稳定、实用性好、可行性高的基于深度学习的个人专属AI(人工智能)电子宠物。本专利技术解决其技术问题采用的技术方案为：一种基于深度学习的个人专属AI电子宠物，包括：电源模块、摄像头模块、麦克风模块、处理器模块、无线通信模块、扬声器模块、存储模块、运动控制模块；所述电源模块用于采用电路并联的方式给整个系统的其余模块供电；所述摄像头模块用于采集和处理用户的图像信息；所述麦克风模块用于采集和处理用户的语音信息；所述存储模块用于储存摄像头模块和麦克风模块处理之后的图像、语音数据；所述处理器模块用于将存储模块中的图像、语音数据通过无线通信模块上传到阿里云云端，之后对用户的语音信息进行判断并根据判断结果得出相应的指令；所述扬声器模块用于发出来自处理器模块做出的指令声音；所述运动控制模块用于做出来自处理器模块的指令动作。进一步，所述摄像头模块具体包括图像采集单元和图像处理单元，所述图像采集单元用于采集用户的图片和视频信息；所述图像处理单元用于通过滤波处理消除噪声、通过增强算法提升照片品质。进一步，所述麦克风模块具体包括语音采集单元和语音处理单元，所述语音采集单元用于采集用户的语音信息；所述语音处理单元用于通过平滑滤波消除与语音无关的噪声。进一步，所述处理器模块包括调控单元和学习单元，所述调控单元用于将摄像头模块和麦克风模块采集到的信息，通过无线通信模块上传到阿里云，并与云端记忆值进行特征匹配，若检测到用户的声音，再将此声音在语料库中通过深度学习进行语句匹配，理解语义并回传指令到电子宠物系统的调控单元，并储存于存储模块中；所述学习单元用于将返回的语义信息、表情信息、姿态信息、手势信息通过深度学习，综合各种信息判断当前用户所处状态，然后根据个人的不同状态调动扬声器模块和运动控制模块做出相应的应答和动作。进一步，所述无线通信模块的通信方式包括远程通信和近端通信，所述远程通信包括WIFI、4G传输技术；所述近端通信技术用于利用蓝牙、ZigBee连接方式，通过移动客户端对电子宠物的实时控制指令来规划下一步电子宠物系统的应答情况。本专利技术还提供一种上述基于深度学习的个人专属AI电子宠物的使用方法，包括以下步骤：S1，利用摄像头模块采集和处理用户的图像信息，利用麦克风模块采集和处理用户的语音信息；S2，经过处理之后的图像信息和语音信息被发送到存储模块进行储存；S3，利用处理器模块将存储模块中的图像、语音数据上传到阿里云云端并作记忆，所述处理器模块对用户的语音信息进行判断并根据判断结果发出相应的指令，所述指令包括指令声音和指令动作；S4，步骤S3中的指令声音被发送到扬声器模块，所述扬声器模块发出相应的指令声音；步骤S3中的指令动作被发送到运动控制模块，所述运动控制模块做出相应的指令动作。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术一种基于深度学习的个人专属AI电子宠物系统的结构示意图。附图标记：1-电源模块；2-无线通信模块；3-摄像头模块；4-麦克风模块；5-处理器模块；6-运动控制模块；7-扬声器模块；8-存储模块；31-图像采集单元；32-图像处理单元；41-语音采集单元；41-语音处理单元；51-调控单元；52-学习单元。具体实施方式为了便于理解本专利技术，下面将对照附图说明本专利技术的具体实施方式。附图中给出了本专利技术的较佳实施例，但是本专利技术的实现形式并不限制于本文所描述的实施例。本文使用的技术与科学术语和本专利技术所属
的技术人员通常理解的含义相同。参照图1所示，本专利技术的实施例提供一种基于深度学习的个人专属AI电子宠物系统，包括电源模块1、无线通信模块2、摄像头模块3、麦克风模块4、处理器模块5、存储模块8、扬声器模块7和运动控制模块6。电源模块1为可充放锂电池，其采用电路并联的方式为系统各个模块提供5v电压，电源模块采用的是TypeC充电接口。无线通信模块2采取WIFI、4G等接通互联网，为后续处理器模块5提供良好的数据获取交换通道；或者通过蓝牙、ZigBee连接方式，在手机等移动客户端对电子宠物进行实时操控(与图像、语音控制影响方式并行，同为影响控制电子宠物运动方式之一，此过程连不连接，并不影响后续图像、语音数据采集、数据判断)。摄像头模块3用于采集和处理用户的图像信息，所述摄像头模块3包括图像采集单元31以及图像处理单元32；图像采集单元31用于采集用户的图片、视频信息；图像处理单元32用于通过滤波处理来消除噪声、通过增强算法来提升照片品质。麦克风模块4用于采集和处理用户的语音信息，所述麦克风模块4包括语音采集单元41和语音处理单元42；语音采集单元41用于采集用户的语音信息；语音处理单元42用于通过平滑滤波来消除与用户语音无关的噪声。存储模块8用于储存摄像头模块3和麦克风模块4采集、处理后的图像和语音数据。处理器模块5用于调控整个系统，所述处理器模块5包括调控单元51和学习单元52；调控单元51用于将存储模块8中的图像信息，通过无线通信模块2的WIFI、4G技术上传到阿里云的人脸识别平台的API接口，也即将所采集的用户的图像上传到阿里云云端；然后云端通过深度学习算法学习到用户人脸的特征(脸型、侧脸、眼镜、嘴巴等)，回传到电子宠物系统的存储模块8中并在阿里云的云端记忆；调控单元51用于将存储模块8中的语言信息，通过无线通信模块2的WIFI、4G技术上传到阿里云的语音平台的API接口，也即将所采集的用户的语音上传到阿里云云端；然后云端通过深度学习算法学习到用户语音上的特征(包括响度、音色、转折语气、特定词的习惯说法等)，回传到电子宠物系统的存储模块8中并在阿里云的云端记忆；学习单元52用于将返回的语义信息、表情信息、姿态信息、手势信息通过深度学习，综合各种信息判断当前用户所处状态(如此刻心情、运动状态、手势状态、此刻说话的语义)，然后由调控单元51给出指令；扬声器模块7和运动控制模块6根据调控单元51给出的指令做出应答和动作，比如：如果判断出用户是高兴的状态，电子宠物系统调控单元51发出让运动控制模块6欢快的跳、跑等动作指令或者通过扬声器模块7发出犬吠、说出一些与用户同乐之类的话等；如果判断出用户处于伤心的状态，与用户同沉默或者本文档来自技高网...

【技术保护点】
1.一种基于深度学习的个人专属AI电子宠物，其特征在于，包括电源模块、摄像头模块、麦克风模块、处理器模块、无线通信模块、扬声器模块、存储模块、运动控制模块；所述电源模块用于采用电路并联的方式给整个系统的其余模块供电；所述摄像头模块用于采集和处理用户的图像信息；所述麦克风模块用于采集和处理用户的语音信息；所述存储模块用于储存摄像头模块和麦克风模块处理之后的图像、语音数据；所述处理器模块用于将存储模块中的图像、语音数据通过无线通信模块上传到阿里云云端，之后对用户的语音信息进行判断并根据判断结果得出相应的指令；所述扬声器模块用于发出来自处理器模块做出的指令声音；所述运动控制模块用于做出来自处理器模块的指令动作。/n

【技术特征摘要】
1.一种基于深度学习的个人专属AI电子宠物，其特征在于，包括电源模块、摄像头模块、麦克风模块、处理器模块、无线通信模块、扬声器模块、存储模块、运动控制模块；所述电源模块用于采用电路并联的方式给整个系统的其余模块供电；所述摄像头模块用于采集和处理用户的图像信息；所述麦克风模块用于采集和处理用户的语音信息；所述存储模块用于储存摄像头模块和麦克风模块处理之后的图像、语音数据；所述处理器模块用于将存储模块中的图像、语音数据通过无线通信模块上传到阿里云云端，之后对用户的语音信息进行判断并根据判断结果得出相应的指令；所述扬声器模块用于发出来自处理器模块做出的指令声音；所述运动控制模块用于做出来自处理器模块的指令动作。


2.根据权利要求1所述的基于深度学习的个人专属AI电子宠物，其特征在于，所述摄像头模块具体包括图像采集单元和图像处理单元；所述图像采集单元用于采集用户的图片和视频信息；所述图像处理单元用于通过滤波处理消除噪声、通过增强算法提升照片品质。


3.根据权利要求1所述的基于深度学习的个人专属AI电子宠物，其特征在于：所述麦克风模块具体包括语音采集单元和语音处理单元；所述语音采集单元用于采集用户的语音信息；所述语音处理单元用于通过平滑滤波消除与语音无关的噪声。


4.根据权利要求1所述的基于深度学习的个人专属AI电子宠物，其特征在于：所述处理器模块包括调控单元和学习单元；所述调控单元用于将摄像头模块和麦克风模块采集到的信息，通过无...

【专利技术属性】
技术研发人员：王伦，殷蔚明，汪文洋，刘松明，徐琼，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42