基于虚拟人的增强型智能交互广告系统及装置制造方法及图纸

本发明专利技术提供一种基于虚拟人的增强型智能交互广告系统及装置，该系统包括嵌入式处理子系统、输出模块、云端应用服务子系统和手机管理子系统，嵌入式处理子系统实现用户图像、语音信息采集和处理，将采集的信息传送给云端应用服务子系统，并控制3D虚拟人与用户进行交互互动；云端应用服务子系统提供基础信息服务、语义理解、聊天对话、人脸识别、用户特征识别、情感识别服务支持；同时提供远程数据存储访问支持，包括虚拟人3D形象、动作、服饰模型和场景道具模型的存储访问；本发明专利技术改变了传统广告机的单向推送模式，通过生动的3D虚拟人形象显示、与虚拟人的自然交互、实时互动等功能增强了广告系统的现场关注度，有效提升了传统广告系统的能力。

Enhanced intelligent interactive advertising system and device based on Virtual Human

The invention provides an enhanced intelligent interactive advertising system and device based on virtual human. The system comprises an embedded processing subsystem, an output module, a cloud application service subsystem and a mobile phone management subsystem. The embedded processing subsystem realizes the collection and processing of user's image and voice information, and transmits the collected information to the user. The cloud application service subsystem provides basic information service, semantic understanding, chat dialogue, face recognition, user feature recognition, emotion recognition service support, and provides remote data storage and access support, including the 3D image of virtual human. The invention changes the one-way push mode of the traditional advertisement machine, enhances the spot attention of the advertisement system through vivid 3D virtual human image display, natural interaction with the virtual human, real-time interaction and other functions, and effectively improves the ability of the traditional advertisement system.

【技术实现步骤摘要】
基于虚拟人的增强型智能交互广告系统及装置
本专利技术涉及一种基于虚拟人的增强型智能交互广告系统及装置。
技术介绍
当前，各种形式各异、大小不一的电子广告系统逐渐出现在人们的日常生活中，大到户外大型电子广告屏，小到公交站台、电梯间、商场、超市、宾馆等公共场所安装的各种小型广告机，这些随处可见的广告系统，承载了密集且重要的媒体发布、广告播放和信息传播功能。随着互联网技术的不断发展，电子广告系统也经历了快速发展，其系统架构从单机版逐步发展为网络版，屏显方式从单屏转变成多屏（如T字屏），内容维护从人工维护逐步发展为服务端远程管理，特别是近年来人机交互技术和人工智能技术的突破，使得电子广告系统逐渐向互动式方向转变。例如，基于简单传感器的人体感应广告机，可以动态检测顾客是否出现，然后播放特定广告；基于触摸屏的互动广告机，用户可以用手点击选择播放各种广告；基于Kinect体感设备的互动广告机，可以检测用户手势和身体姿态，实现人机互动广告播放，但由于Kinect本身成本较高，不利于大规模推广和应用。虽然电子广告系统已经实现大范围普及，但现有系统还存在较多问题，一是纯广告发布的系统目的性过于明显，形式单一，难以直接吸引用户的有效关注；二是大多数电子广告系统交互能力较弱，只能单向固定的循环播放广告，无法灵活的与用户进行主动交互，缺乏用户黏性；三是广告播放的针对性较差，无法根据用户的行为特点有针对性的推送适合用户的广告。为了促使用户更愿意靠近广告系统，获得更好的广告播放效果，迫切需要提升当前电子广告系统的能力，赋予其新的展现形式，增强其交互性。
技术实现思路
本专利技术的目的是提供一种基于虚拟人的增强型智能交互广告系统及装置，采用“3D虚拟人+广告播放”的展现形态，能够通过生动的3D虚拟人形象来吸引用户的关注，并且通过3D虚拟人与用互动和交互，吸引顾客主动上前浏览和关注广告系统，针对用户特征进行分析，播放不同内容的广告，从而将被动的广告播放变为主动的广告推送，解决现有技术中存在的能单一、互动性不强、用户吸引力不够、利用率低的问题。本专利技术的技术解决方案是：一种基于虚拟人的增强型智能交互广告系统，包括嵌入式处理子系统、输出模块、云端应用服务子系统和手机管理子系统，嵌入式处理子系统：实现用户图像、语音信息采集和处理，将采集的信息传送给云端应用服务子系统，并控制3D虚拟人与用户进行交互互动，包括图像采集单元、音频处理单元和嵌入式主控模块；图像采集单元：通过设置的摄像头采集当前用户的图像信息，并将采集的图像信息转化为内部信号，传送给嵌入式主控模块；音频处理单元：通过设置的微型麦克风采集当前用户的语音信号，经过音频处理板处理后得到当前用户的语音信息，并传送给嵌入式主控模块；同时，对虚拟人语音输出信息进行处理，转化为声音信号，输出给音箱播放；嵌入式主控模块；针对图像采集单元和音频处理单元传送的内部用户图像和语音信号，产生3D虚拟人的控制指令，由3D虚拟人引擎来控制3D虚拟人的动作、表情和语音输出，并产生内部控制指令，控制屏幕的广告视频、广告图片和文字的输出；输出模块：用于3D虚拟人的动画显示，广告视频、图像以及文字信息的显示，并用于声音信号的输出，包括广告声音、虚拟人说话和特效声音的播放；云端应用服务子系统：提供基础信息服务、语义理解、聊天对话、人脸识别、用户特征识别、情感识别服务支持；同时提供远程数据存储访问支持，包括虚拟人3D形象、动作、服饰模型和场景道具模型的存储访问，用户和产品信息的存储访问以及系统运行日志数据的存储和访问；手机管理子系统：通过网络接口与云端应用服务子系统连接，间接实现对嵌入式处理子系统的配置和管理。进一步地，云端应用服务子系统包括基础信息服务单元、语义理解单元、聊天对话单元、人脸识别单元、用户特征识别单元、情感识别单元，基础信息服务单元：包括外接天气查询Web服务接口、新闻查询Web服务接口；语义理解服务单元：对用户输入语音的文本内容进行分析和处理，转化为系统内部的结构化指令；人脸识别服务单元：对输入用户人脸图像的特征分析，并与内部人脸特征数据库进行比对，识别用户的身份信息；用户特征识别服务单元：对输入用户脸部的图像分析，识别当前用户的特性信息，包括年龄、性别；情感识别服务单元：对输入用户脸部的图像分析，识别当前用户的表情。进一步地，云端应用服务子系统还包括广告效果评估单元，广告效果评估单元：通过分析设定时间内用户与3D虚拟人的交互数据、人脸识别、情感识别数据结果，给出不同时间内用户对当前广告内容的关注度，获取得到广告播放的效果评价。进一步地，该基于虚拟人的增强型智能交互广告系统的实现过程为，按照预定策略播放广告，在某用户出现在识别范围内时，图像采集单元将拍摄的实时图像信号通过USB接口发送给嵌入式主控模块，音频处理单元将用户的语音信号发送给嵌入式主控模块。嵌入式主控模块识别用户图像和语音输入，在云端应用服务子系统的支持下，分析用户的特征和语音指令含义，转化为内部信号；针对这些内部信号，产生虚拟人的控制指令，控制虚拟人的动作、表情和语音输出，实现3D虚拟人形象与用户的人机交互；在3D虚拟人与用户的互动过程中，持续采集图像信息，在云端应用服务子系统的支持下，识别当前用户的特性信息包括身份、年龄、性别，结合特征信息，控制3D虚拟人按照预定策略引导与用户的交互，并控制广告内容的动态播放。进一步地，该基于虚拟人的增强型智能交互广告系统的实现过程还包括，通过手机管理子系统，完成产品注册、广告播放内容的上传、3D虚拟人形象的设置修改操作；云端应用服务子系统不断记录用户的交互数据，统计不同用户对当前广告内容的关注和活动参与情况，从而给出广告播放效果的评估，通过手机管理子系统进行动态查看广告评估的结果。一种基于虚拟人的增强型智能交互广告装置，包括主机箱、音箱、传感器面板盒、显示屏和智能交互广告系统，主机箱内设有嵌入式主控模块，传感器面板盒内部封装摄像头、微型麦克风和音频处理板，微型麦克风通过音频处理板连接嵌入式主控模块，摄像头连接嵌入式主控模块，摄像头用于获取外部图像信息并传送给嵌入式主控模块；咪头和音频处理板用来采集现场声音，并对声音信号进行预处理，对环境噪声和回声进行抑制，然后传送给嵌入式主控模块；音箱与嵌入式主控模块连接，用于声音信号的输出；显示屏与嵌入式主控模块连接，用于实现3D虚拟人的动画显示和广告视频、图像和文字信息的播放内容显示，嵌入式主控模块加装智能交互广告系统，智能交互广告系统采用上述任一项所述基于虚拟人的增强型智能交互广告系统。本专利技术的有益效果是：该种基于虚拟人的增强型智能交互广告系统及装置，通过用户与虚拟人的互动过程，采集并理解用户语音输入和视觉图像，通过云端的语义理解、人脸识别和用户特征识别等功能，解析判断用户指令含义、用户性别、年龄、身高等基本特征，结合可配置的广告策略，实现精准的广告推送。该种基于虚拟人的增强型智能交互广告系统及装置，改变了传统的广告单向推送模式，通过生动的3D虚拟人形象显示技术、与虚拟人的自然交互、实时互动等功能增强了广告系统的现场关注度，有效增强了传统广告系统的能力，使得电子广告系统不再是一个冰冷的机器，而是一个能说话、会交互的“活人”。本专利技术将广告的被动推送转换成主动引导，能本文档来自技高网...

【技术保护点】
1.一种基于虚拟人的增强型智能交互广告系统，其特征在于：包括嵌入式处理子系统、输出模块、云端应用服务子系统和手机管理子系统，嵌入式处理子系统：实现用户图像、语音信息采集和处理，将采集的信息传送给云端应用服务子系统，并控制3D虚拟人与用户进行交互互动，包括图像采集单元、音频处理单元和嵌入式主控模块；图像采集单元：通过设置的摄像头采集当前用户的图像信息，并将采集的图像信息转化为内部信号，传送给嵌入式主控模块；音频处理单元：通过设置的微型麦克风采集当前用户的语音信号，经过音频处理板处理后得到当前用户的语音信息，并传送给嵌入式主控模块；同时，对虚拟人语音输出信息进行处理，转化为声音信号，输出给音箱播放；嵌入式主控模块；针对图像采集单元和音频处理单元传送的内部用户图像和语音信号，产生3D虚拟人的控制指令，由3D虚拟人引擎来控制3D虚拟人的动作、表情和语音输出，并产生内部控制指令，控制屏幕的广告视频、广告图片和文字的输出；输出模块：用于3D虚拟人的动画显示，广告视频、图像以及文字信息的显示，并用于声音信号的输出，包括广告声音、虚拟人说话和特效声音的播放；云端应用服务子系统：提供基础信息服务、语义理解、聊天对话、人脸识别、用户特征识别、情感识别服务支持；同时提供远程数据存储访问支持，包括虚拟人3D形象、动作、服饰模型和场景道具模型的存储访问，用户和产品信息的存储访问以及系统运行日志数据的存储和访问；手机管理子系统：通过网络接口与云端应用服务子系统连接，间接实现对嵌入式处理子系统的配置和管理。...

【技术特征摘要】
1.一种基于虚拟人的增强型智能交互广告系统，其特征在于：包括嵌入式处理子系统、输出模块、云端应用服务子系统和手机管理子系统，嵌入式处理子系统：实现用户图像、语音信息采集和处理，将采集的信息传送给云端应用服务子系统，并控制3D虚拟人与用户进行交互互动，包括图像采集单元、音频处理单元和嵌入式主控模块；图像采集单元：通过设置的摄像头采集当前用户的图像信息，并将采集的图像信息转化为内部信号，传送给嵌入式主控模块；音频处理单元：通过设置的微型麦克风采集当前用户的语音信号，经过音频处理板处理后得到当前用户的语音信息，并传送给嵌入式主控模块；同时，对虚拟人语音输出信息进行处理，转化为声音信号，输出给音箱播放；嵌入式主控模块；针对图像采集单元和音频处理单元传送的内部用户图像和语音信号，产生3D虚拟人的控制指令，由3D虚拟人引擎来控制3D虚拟人的动作、表情和语音输出，并产生内部控制指令，控制屏幕的广告视频、广告图片和文字的输出；输出模块：用于3D虚拟人的动画显示，广告视频、图像以及文字信息的显示，并用于声音信号的输出，包括广告声音、虚拟人说话和特效声音的播放；云端应用服务子系统：提供基础信息服务、语义理解、聊天对话、人脸识别、用户特征识别、情感识别服务支持；同时提供远程数据存储访问支持，包括虚拟人3D形象、动作、服饰模型和场景道具模型的存储访问，用户和产品信息的存储访问以及系统运行日志数据的存储和访问；手机管理子系统：通过网络接口与云端应用服务子系统连接，间接实现对嵌入式处理子系统的配置和管理。2.如权利要求1所述的基于虚拟人的增强型智能交互广告系统，其特征在于：云端应用服务子系统包括基础信息服务单元、语义理解单元、聊天对话单元、人脸识别单元、用户特征识别单元、情感识别单元，基础信息服务单元：包括外接天气查询Web服务接口、新闻查询Web服务接口；语义理解服务单元：对用户输入语音的文本内容进行分析和处理，转化为系统内部的结构化指令；人脸识别服务单元：对输入用户人脸图像的特征分析，并与内部人脸特征数据库进行比对，识别用户的身份信息；用户特征识别服务单元：对输入用户脸部的图像分析，识别当前用户的特性信息，包括年龄、性别；情感识别服务单元：对输入用户脸部的图像分析，识别当前用户的表情。3.如权利要求2所述的基于虚拟人的增强型智能交互广告系统，其特征在于：云端应用...

【专利技术属性】
技术研发人员：彭辉，姜志宏，袁志坚，刘志忠，郭亮，张江，
申请(专利权)人：南京七奇智能科技有限公司，
类型：发明
国别省市：江苏,32