一种基于声音的情境情绪可视化方法技术

本发明专利技术涉及一种基于声音的情境情绪可视化方法，用于标识当前显示屏节目中字幕说话人的情绪，其包括以下步骤：S1、建立或安装多种情绪图标数据库和声调情境转换装置；S2、将来自当前节目的码流的音轨经过声音转换获得声调ID向量和声音内容向量；S3、将声调ID向量和当前节目的码流透过声调情境转换装置从多种情绪图标数据库获得对应情境类别图示，并在显示屏的字幕周侧显示，采用以上技术方案方便让观众（尤其是听力受伤者)更有效分辨话语是属于什么样的情句，也使观众融入节目剧情。也使观众融入节目剧情。也使观众融入节目剧情。

【技术实现步骤摘要】
一种基于声音的情境情绪可视化方法


[0001]本专利技术涉及显示
，具体涉及了一种基于声音的情境情绪可视化方法。

技术介绍

[0002]目前收看节目启动字幕功能时，无法明确指示当前字幕说话人的情绪，对于观众(尤其是听力受伤者)无法有效分辨话语是属于什么样的情境语句，无法使观众融入节目剧情。

技术实现思路

[0003]针对现有技术的不足，本专利技术提供一种标识当前字幕说话人的情绪的情境类别可视化方法。
[0004]本专利技术的一种基于声音的情境情绪可视化方法，用于标识当前显示屏节目中字幕说话人的情绪，其包括以下步骤：
[0005]S1、建立或安装多种情绪图标数据库和声调情境转换装置；
[0006]S2、将来自当前节目的码流的音轨经过声音转换获得声调ID向量和声音内容向量；
[0007]S3、将声调ID向量和当前节目的码流透过声调情境转换装置从多种情绪图标数据库获得对应情境类别图示，并在显示屏的字幕周侧显示。
[0008]进一步，所述步骤S3的声调情境转换装置包括聚类分析装置、解多工器和类别解码器，所述聚类分析装置将声调ID向量进行类别距离检测获得当前节目对应情境情绪，将当前节目的码流依次通过解多工器和类别解码器解析获得情境情绪的类别，将当前节目对应情境情绪和情境情绪的类别匹配多种情绪图标数据库获得情境类别图示，并在显示屏的字幕周侧显示。
[0009]与现有技术相比，本专利技术的有益效果：采用当前节目的码流的数位音轨经过声音转换获得声调向量，并透过声调情境转换功能获得特定的情境，并透过码流所得到的情境情绪的类别结合多种情绪图标数据库获得特定情境类别图标，方便让观众(尤其是听力受伤者)更有效分辨话语是属于什么样的情境语句，也使观众融入节目剧情。
附图说明
[0010]此处所说明的附图用来提供对本申请的进一步理解，在附图中：
[0011]图1为本专利技术的流程图；
[0012]图2为本专利技术实施例中步骤S3中的流程图；
[0013]图3为本专利技术实施例中步骤S3中声调ID向量透过声调情境转换功能获得情境情绪的示意图；
[0014]图4为本专利技术实施例中步骤S3中码流依次通过解多工器和类别解码器解析获得情境情绪的类别的示意图。
具体实施方式
[0015]参见图1
‑
4之一所示，实施例的一种基于声音的情境情绪可视化方法，用于标识当前显示屏节目中字幕说话人的情绪，其包括以下步骤：
[0016]S1、建立或安装多种情绪图标数据库和声调情境转换装置；
[0017]S2、将来自当前节目的码流的音轨经过声音转换获得声调ID向量和声音内容向量；
[0018]S3、将声调ID向量和当前节目的码流透过声调情境转换装置从多种情绪图标数据库获得对应情境类别图示，并在显示屏的字幕周侧显示。
[0019]进一步，所述步骤S3的声调情境转换装置包括聚类分析装置、解多工器和类别解码器，所述聚类分析装置将声调ID向量进行类别距离检测获得当前节目对应情境情绪，将当前节目的码流依次通过解多工器和类别解码器解析获得情境情绪的类别，将当前节目对应情境情绪和情境情绪的类别匹配多种情绪图标数据库获得情境类别图示，并在显示屏的字幕周侧显示。
[0020]实施例中：
[0021]建立或安装多种情绪图标数据库和声调情境转换装置；
[0022]所述声调情境转换装置包括聚类分析装置、解多工器和类别解码器；
[0023]所述聚类分析装置包括将训练资料集训练分类成的开心分类、生气分类、悲伤分类、喜悦分类等多种分类，本实施例仅分类成开心分类、生气分类、悲伤分类、喜悦分类，其中μ1表示训练资料集中开心分类的平均值，μ2表示训练资料集中生气分类的平均值，μ3表示训练资料集中悲伤分类的平均值，μ4表示训练资料集中喜悦分类的平均值；
[0024]将来自当前节目的码流的数位音轨经过声音转换获得声调ID向量和声音内容向量；
[0025]当前节目的码流的数位音轨，经过声音转换获得声调ID向量X＝[X1，X2，X3，
…
，X
n
]和声音内容向量；将当前声调ID向量X＝[X1，X2，X3，
…
，X
n
]与经由已经训练所得出来的开心分类、生气分类、悲伤分类、喜悦分类的平均值μ1，μ2，μ3，μ4进行类别距离检测，获得说话人的相应的情境情绪D1，D2，D3D4(其中D1表示高兴，D2表示生气，D3表示伤心，D4表示喜悦，当然实际应用中会有更多的情境情绪，本实施例仅以这四个情境为例)，再将当前节目的码流依次通过解多工器和类别解码器解析得到情境情绪的类别，例如；当前从码流中获得传输的多个封包，解多工器从封包中解析获得PAT、CAT、PMT(视频轨道和音轨)、TSDT、NIT(实际网络)、SDT(实际传输串流)、EIT(现在和之后的实际传输串流)、TDT(时间和日期)等内容，再根据EIT(现在和之后的实际传输串流)通过类别解码器解析得到情境情绪的类别，如下表：
[0026][0027][0028]再将情境情绪与情境情绪的类别匹配多种情绪图标数据库获得对应情境类别图示，并在显示屏的字幕周侧显示。
[0029]尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本专利技术的范围由所附权利要求及其等同物限定。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于声音的情境情绪可视化方法，用于标识当前显示屏节目中字幕说话人的情绪，其特征在于：其包括以下步骤：S1、建立或安装多种情绪图标数据库和声调情境转换装置；S2、将来自当前节目的码流的音轨经过声音转换获得声调ID向量和声音内容向量；S3、将声调ID向量和当前节目的码流透过声调情境转换装置从多种情绪图标数据库获得对应情境类别图示，并在显示屏的字幕周侧显示。2.根据权利要求1...

【专利技术属性】
技术研发人员：雷建明，
申请(专利权)人：冠捷电子科技福建有限公司，
类型：发明
国别省市：