基于多模交互的交通票务处理装置、系统及方法制造方法及图纸

本发明专利技术提供基于多模交互的交通票务处理装置，包括信号采集模块、处理模块和引导模块；所述信号采集模块包括语音采集单元和图像采集单元；所述处理模块包括识别单元、解析单元、若干预设深度学习模型；所述识别单元包括人脸检测器、解码器；所述多模信号包括语音和用户图像。能够进行多模交互，有效抑制背景噪音干扰，更准确的识别语音获取用户的出行需求，票务处理效率高，更便捷。本发明专利技术提供的交通票务处理系统因采用本发明专利技术的交通票务处理装置而具有相应优势。本发明专利技术提供的交通票务处理方法，对人工依赖少、利于缩短票务处理时间、提高用户出行体验。用户出行体验。用户出行体验。

【技术实现步骤摘要】
基于多模交互的交通票务处理装置、系统及方法


[0001]本专利技术属于自动票务处理
，尤其涉及基于多模交互技术的智能化交通票务处理装置、系统及相应的票务处理方法。

技术介绍

[0002]目前越来越多的城市拥有轨道交通，地铁自助售票机也被大量使用；而火车自助售票系统也已经在全国大部分城市使用，以补充人工窗口交通票务处理能力的不足，应对高频的人员流动和日益复杂多样的交通线路。现有的地铁或高铁等交通票务处理系统除了人工服务窗口以外，一般都还包括集中设置的多台自助售票机。以地铁票务处理为例，交通票务处理的必要操作包括：选择地铁线路；判定目的站；塞硬币或纸币或扫码；出票。可知传统的自动票务处理技术，依赖人工的判断、决策和操作；现有的自动票务处理技术主要还是基于传统的IT信息技术，而当下在其它领域已有应用的智能化的技术使用较少，特别的对于不熟悉IT界面操作的老年人或外地乘客并不够友好，还是需要人工窗口工作人员或其他人介入，确定合适的线路及目的站名后再排队购票，反而延长了乘客的购票时间；除了用户体验差，根本上来说并不能真正减轻票务处理的人工操作，提高票本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多模交互的交通票务处理装置，其特征在于：包括信号采集模块、处理模块和引导模块；所述信号采集模块包括语音采集单元和图像采集单元；所述处理模块包括识别单元、解析单元和预设深度学习模型；所述识别单元包括人脸检测器、解码器；所述识别单元基于多模信号运行识别算法得到对应语音内容的文本，所述多模信号包括语音和用户图像；所述预设深度学习模型包括序列标注模型、长短期记忆网络模型、2D卷积神经网络模型；所述解析单元基于语义理解算法从所述文本中获取票务处理所需内容；所述引导模块根据所述票务处理所需内容得到票务处理结果并将其反馈给用户。2.根据权利要求1所述的基于多模交互的交通票务处理装置，其特征在于：所述用户图像是指用户唇部图片；所述识别算法包括多模唇语识别算法。3.根据权利要求1所述的基于多模交互的交通票务处理装置，其特征在于：所述人脸检测器是带人脸关键点检测的人脸检测算法模型，根据人脸关键点抠取唇部图片；唇部图片的特征抽取模型是所述2D卷积神经网络模型；结合唇部图片特征和语音特征输入到所述长短期记忆网络模型；所述语义理解算法包括基于所述长短期记忆网络模型的自然语言处理算法。4.根据权利要求1所述的基于多模交互的交通票务处理装置，其特征在于：所述引导模块包括导航地图软件；所述引导模块基于所述解析单元获取的目的地，调用所述导航地图软件接口，输出目的站，并根据所述目的站进行计算输出相关票务信息；所述相关票务信息包括票价、线路、票数或取票位置中的一个或几个。5.根据权利要求1
‑
4任意一项所述的基于多模交互的交通票务处理装置，其特征在于：所述语音采集单元包括麦克风阵列和回声消除芯片。6.根据权利要求1
‑
4任意一项所述的基于多模交互的交通票务处理装置，其特征在于：所述图像采集单元包括双目摄像头，用于同一时间捕获两帧图像；所述识别单元运行双目测距算法计算当前图像所包含用户的相对远近关系，所述用户图像是指当前图像中最靠前的用户的图像。7.根据权利要求1
‑
4任意一项所述的基于多模交互的交通票务处理装置，其特征在于：还包括交易模块，用于完成票价的电子支付。8.根据权利要求7所述的基于多模交互的交通票务处理装置，其特征在于：所述交易模块包括网络通信单元，所述网络通信单元用于将所述人脸检测器获取的面部特征数据上传至服务器，进行人脸支付认证。9.交通票务处理系统，其特征在于：包括若干权利要求1
...

【专利技术属性】
技术研发人员：黄羿衡，倪勇，
申请(专利权)人：江苏苏云信息科技有限公司，
类型：发明
国别省市：