手机银行的语音播放方法及装置制造方法及图纸

本发明专利技术公开了一种手机银行的语音播放方法及装置，涉及金融技术领域；其中该方法包括：采集用户的人脸视频；根据人脸视频查询CASME II数据集，确定用户的表情标签；获取用户的预留身份信息；预留身份信息中包含用户的地域信息；根据用户的表情标签、地域信息，确定用户对应的语音播放模式；其中，每个语音播放模式对应一种语音音色和语音音调；从用户的人脸视频中提取用户的眼球信息，根据用户的眼球转动信息确定用户的视线在手机银行交互界面的停留位置；根据停留位置确定待播放信息，采用用户对应的语音播放模式播放待播放信息。本发明专利技术可以提升手机银行语音播放的灵活性和可调节性，改善用户体验。改善用户体验。改善用户体验。

【技术实现步骤摘要】
手机银行的语音播放方法及装置


[0001]本专利技术涉及金融
，尤其涉及手机银行的语音播放方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]随着手机银行的普及，越来越多的用户选择使用手机银行办理业务。但是针对老年人士，在使用手机银行办理业务时较为困难，因此手机银行增设语音功能，帮助用户更加便捷快速的办理业务。目前推出的手机银行的语音功能，是利用安装手机银行的终端的自带语音播放功能进行播放，播放方式固定，可调节性较差，用户体验不佳。

技术实现思路

[0004]本专利技术实施例提供一种手机银行的语音播放方法，用以提升手机银行语音播放的灵活性和可调节性，改善用户体验，该方法包括：
[0005]接收到用户提交的：开启手机银行语音播放的语音指令时，在所述用户的授权下，采集所述用户的人脸视频；
[0006]根据所述人脸视频查询CASME II数据集，确定所述用户的表情标签；其中，所述CASME II数据集中包含多个微表情视频、以及每一微表情视频对应的表情标签；每一表情标签代表一种情绪状态；
[0007]获取所述用户的预留身份信息；所述预留身份信息中包含所述用户的地域信息；
[0008]根据所述用户的表情标签、地域信息，确定用户对应的语音播放模式；其中，每个语音播放模式对应一种语音音色和语音音调；
[0009]从用户的人脸视频中提取用户的眼球转动信息，根据用户的眼球转动信息确定所述用户的视线在手机银行交互界面的停留位置；
[0010]根据所述停留位置确定待播放信息，采用所述用户对应的语音播放模式播放所述待播放信息。
[0011]本专利技术实施例还提供一种手机银行的语音播放装置，用以提升手机银行语音播放的灵活性和可调节性，改善用户体验，该装置包括：
[0012]第一处理模块，用于接收到用户提交的：开启手机银行语音播放的语音指令时，在所述用户的授权下，采集所述用户的人脸视频；
[0013]表情标签确定模块，用于根据所述人脸视频查询CASME II数据集，确定所述用户的表情标签；其中，所述CASME II数据集中包含多个微表情视频、以及每一微表情视频对应的表情标签；每一表情标签代表一种情绪状态；
[0014]信息获取模块，用于获取所述用户的预留身份信息；所述预留身份信息中包含所述用户的地域信息；
[0015]第二处理模块，用于根据所述用户的表情标签、地域信息，确定用户对应的语音播
放模式；其中，每个语音播放模式对应一种语音音色和语音音调；
[0016]第三处理模块，用于从用户的人脸视频中提取用户的眼球转动信息，根据用户的眼球转动信息确定所述用户的视线在手机银行交互界面的停留位置；
[0017]第四处理模块，用于根据所述停留位置确定待播放信息，采用所述用户对应的语音播放模式播放所述待播放信息。
[0018]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述手机银行的语音播放方法。
[0019]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述手机银行的语音播放方法。
[0020]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述手机银行的语音播放方法。
[0021]本专利技术实施例中，接收到用户提交的：开启手机银行语音播放的语音指令时，在所述用户的授权下，采集所述用户的人脸视频；根据所述人脸视频查询CASME II数据集，确定所述用户的表情标签；其中，所述CASME II数据集中包含多个微表情视频、以及每一微表情视频对应的表情标签；每一表情标签代表一种情绪状态；获取所述用户的预留身份信息；所述预留身份信息中包含所述用户的地域信息；根据所述用户的表情标签、地域信息，确定用户对应的语音播放模式；其中，每个语音播放模式对应一种语音音色和语音音调；从用户的人脸视频中提取用户的眼球信息，根据用户的眼球转动信息确定所述用户的视线在手机银行交互界面的停留位置；根据所述停留位置确定待播放信息，采用所述用户对应的语音播放模式播放所述待播放信息。这样，根据用户眼球的转动信息可以更加快速、便捷的确定用户浏览的手机银行交互界面的位置，进而确定出待播放信息；并且根据用户的地域信息、表情标签为用户确定对应的语音播放模式，提升手机银行语音播放的灵活性和可调节性，改善用户体验。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0023]图1为本专利技术实施例中提供的一种手机银行的语音播放方法的流程图；
[0024]图2为本专利技术实施例中提供的一种根据所述人脸视频查询CASME II数据集，确定所述用户的表情标签的方法流程图；
[0025]图3为本专利技术实施例中提供的一种根据所述用户的表情标签、地域信息，确定用户对应的语音播放模式的方法流程图；
[0026]图4为本专利技术实施例中提供的一种手机银行的语音播放装置的示意图；
[0027]图5为本专利技术实施例中提供的一种计算设备的示意图。
具体实施方式
[0028]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0029]本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
[0030]在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
[0031]经研究发现，随着手机银行的普及，越来越多的用户选择使用手机银行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手机银行的语音播放方法，其特征在于，包括：接收到用户提交的：开启手机银行语音播放的语音指令时，在所述用户的授权下，采集所述用户的人脸视频；根据所述人脸视频查询CASME II数据集，确定所述用户的表情标签；其中，所述CASME II数据集中包含多个微表情视频、以及每一微表情视频对应的表情标签；每一表情标签代表一种情绪状态；获取所述用户的预留身份信息；所述预留身份信息中包含所述用户的地域信息；根据所述用户的表情标签、地域信息，确定用户对应的语音播放模式；其中，每个语音播放模式对应一种语音音色和语音音调；从用户的人脸视频中提取用户的眼球转动信息，根据用户的眼球转动信息确定所述用户的视线在手机银行交互界面的停留位置；根据所述停留位置确定待播放信息，采用所述用户对应的语音播放模式播放所述待播放信息。2.如权利要求1所述的手机银行的语音播放方法，其特征在于，根据所述人脸视频查询CASME II数据集，确定所述用户的表情标签，包括：提取所述人脸视频的第一表情特征信息；提取所述CASME II数据集中的各微表情视频的第二表情特征信息；计算第一表情特征信息与每个微表情视频的第二表情特征信息之间的相似度；将与第一表情特征信息相似度最高的第二表情特征信息的表情标签，作为所述用户的表情标签。3.如权利要求1所述的手机银行的语音播放方法，其特征在于，根据所述用户的表情标签、地域信息，确定用户对应的语音播放模式，包括：根据用户的表情标签、以及预先配置的音色表情标签匹配表，确定出与用户的表情标签匹配的语音音色；其中，音色表情标签匹配表中配置有各表情标签分别对应的语音音色；根据所述用户的地域信息、以及预先配置的音调地域信息匹配表，确定出与用户的地域信息匹配的语音音调；其中，音调地域信息匹配表中配置有各地域的地域标识分别对应的语音音调；根据用户对应的语音音调、以及用户对应的语音音色合成用户对应的语音播放模式。4.如权利要求1所述的手机银行的语音播放方法，其特征在于，眼球转动信息包括眼球运动轨迹信息；根据用户的眼球转动信息确定所述用户的视线在手机银行交互界面的停留位置，包括：根据眼球运动轨迹信息、以及手机银行交互界面的内容布局，确定所述用户的视线在手机银行交互界面的停留位置。5.如权利要求1所述的手机银行的语音播放方法，其特征在于，眼球转动信息中包含眼球的转动速率；采用所述用户对应的语音播放模式播放所述待播放信息，包括：根据眼球的转动速率信息，确定播放所述待播放信息的语音速度；采用所述用户对应的语音播放模式，按照所述语音速度播放所述待播放信息。
6.如权利要求1所述的手机银行的语音播放方法，其特征在于，预留身份信息还包括：所述用户的年龄信息；获取所述用户与所述手机银行交互界面之间的距离信息；将所述距离信息、所述用户的年龄信息输入预先训练的语音音量预测神经网络，得到所述用户对应的语音音量；其中，所述语音音量预测神经网络是根据已知常用语音音量的历史用户的年龄信息、以及与手机银行交互界面的距离信息训...

【专利技术属性】
技术研发人员：党娜，刘洋，李昊，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：