基于区块链的视频直播智能交互和大数据管理方法及系统技术方案

本发明专利技术公开了一种基于区块链的视频直播智能交互和大数据管理方法及系统，涉及语音分析技术领域。该方法包括：采集该观众的人脸图像，并对该观众的身份进行初步识别；当需要进行交互时，采集该观众的语音信号；对该语音信号进行去噪；对去噪语音信号进行声纹识别；若声纹识别结果与人脸识别结果一致，则确定该观众的身份信息，并对去噪语音信号进行识别，以得到纠错后语音信号识别结果；若纠错后语音信号识别结果中包含预置的非正常词汇，则对该观众的发言进行屏蔽；反之，则将去噪语音信号发送给直播人员；将核心信息上链。本发明专利技术结合多种算法模型，实现高效精准的语音识别，提高智能交互效果；并结合区块链技术将核心信息上链，保证数据安全。保证数据安全。保证数据安全。

【技术实现步骤摘要】
基于区块链的视频直播智能交互和大数据管理方法及系统


[0001]本专利技术涉及语音分析
，具体而言，涉及一种基于区块链的视频直播智能交互和大数据管理方法及系统。

技术介绍

[0002]视频直播具有快速、灵活、自由等特点，近年来受到民众的广泛认可，在商品销售、教育培训等多个方面发挥出越来越重要的作用。然而在直播过程中，观众往往无法方便地和直播人员进行交互，显著地降低了直播过程中的互动效果。即使部分交互式技术已经应用于直播过程中，但仍然无法显著地提升交互效果；同时，对于交互过程中产生的大量数据，也不能实现有效管理。
[0003]随着信息技术的高速发展，能够为直播视频的智能交互提供直接支持；同时随着区块链技术的不断更新换代，也能够为交互过程中的语音大数据管理提供直接的支持。因此，深度结合信息技术和区块链技术，提出一种基于区块链的视频直播智能交互和大数据管理方法及系统有非常重要的价值和意义。

技术实现思路

[0004]为了克服上述问题或者至少部分地解决上述问题，本专利技术实施例提供一种基于区块链的视频直播智能交互和大数据管理方法及系统，结合基于多样性网络模块智能拼接的普适性去噪模型、基于多样性核函数互验的SVM声纹识别模型、基于发音相近词汇编码式纠错的语音识别模型，实现高效精准的语音识别，提高智能交互效果；并结合区块链技术将核心信息上链，保证数据安全。
[0005]本专利技术的实施例是这样实现的：
[0006]第一方面，本专利技术实施例提供一种基于区块链的视频直播智能交互和大数据管理方法，包括以下步骤：
[0007]当观众在观看视频直播的过程中，基于音视频采集设备采集该观众的人脸图像，并利用人脸识别技术对该观众的身份进行初步识别，以得到人脸识别结果；
[0008]当需要进行交互时，基于音视频采集设备采集该观众的语音信号，并记录该观众发言时间；
[0009]利用基于多样性网络模块智能拼接的普适性去噪模型，对该语音信号进行去噪，以得到去噪语音信号；
[0010]利用基于多样性核函数互验的SVM声纹识别模型，对去噪语音信号进行声纹识别，以得到声纹识别结果；
[0011]若声纹识别结果与人脸识别结果一致，则确定该观众的身份信息，并利用基于发音相近词汇编码式纠错的语音识别模型，对去噪语音信号进行识别，以得到纠错后语音信号识别结果；
[0012]若纠错后语音信号识别结果中包含预置的非正常词汇，则对该观众的发言进行屏
蔽；反之，则将对应的去噪语音信号发送给对应的直播人员，实现直播交互；
[0013]将观众的身份信息、发言时间和纠错后语音信号识别结果上传至区块链，实现上链存储。
[0014]为了解决现有技术中的问题，本专利技术提出了基于多样性网络模块智能拼接的普适性去噪模型，该模型可以将低频噪声消除网络模块、中频噪声消除网络模块、高频噪声消除网络模块进行智能拼接，拼接后的去噪模型能够有效应用于多种类型噪声的消除，显著提升了去噪模型的普适性；在此基础上，本专利技术采用了基于多样性核函数互验的SVM声纹识别模型进行声纹识别，该模型能够以多检测结果互验的方式进行声纹识别，显著提升了声纹识别结果的鲁棒性和准确性。同时，本专利技术还利用了基于发音相近词汇编码式纠错的语音识别模型进行语音识别，该模型能够对语音识别结果进行有效纠错，保证了语音识别的精准度。本专利技术还利用了区块链技术将观众身份信息、发言时间、发言内容(纠错后语音信号识别结果)等核心信息进行上链存储，确保了系统的安全性和稳定性，实现了数据的有效管理。
[0015]基于第一方面，在本专利技术的一些实施例中，上述利用基于多样性网络模块智能拼接的普适性去噪模型，对该语音信号进行去噪，以得到去噪语音信号的方法包括以下步骤：
[0016]设置初始卷积神经网络模块，分别利用预置的含有低频噪声的语音信号样本、含有中频噪声的语音信号样本、含有高频噪声的语音信号样本进行网络训练优化，以得到低频噪声消除网络模块、中频噪声消除网络模块和高频噪声消除网络模块；
[0017]将低频噪声消除网络模块、中频噪声消除网络模块和高频噪声消除网络模块进行拼接，以得到基于多样性网络模块智能拼接的普适性去噪模型；
[0018]采用基于多样性网络模块智能拼接的普适性去噪模型对该语音信号进行去噪，以得到去噪语音信号。
[0019]基于第一方面，在本专利技术的一些实施例中，上述利用基于多样性核函数互验的SVM声纹识别模型，对去噪语音信号进行声纹识别，以得到声纹识别结果的方法包括以下步骤：
[0020]根据人脸识别结果在预置的语音数据库中提取对应人员的多段语音信号，组成正样本数据集；提取多段非该人员的多段语音信号，组成负样本数据集；
[0021]利用正样本数据集和负样本数据集对SVM模型进行训练，在训练过程中，使用多个不同的核函数，以得到对应的多个声纹识别模型；
[0022]利用多个声纹识别模型分别对去噪语音信号进行声纹识别，以得到并根据识别结果确定最终的声纹识别结果。
[0023]基于第一方面，在本专利技术的一些实施例中，上述利用基于发音相近词汇编码式纠错的语音识别模型，对去噪语音信号进行识别，以得到纠错后语音信号识别结果的方法包括以下步骤：
[0024]利用语音识别模型对去噪语音信号进行识别，识别得到对应的多个词汇；
[0025]针对每个词汇，在预置的语音词汇库中提取对应的相似词汇模板语音信号，对该词汇对应的语音信号片段及各个相似词汇模板语音信号分别进行编码，计算并根据语音信号片段与各个相似词汇模板语音信号之间的相似度进行词汇纠错，得到纠错后语音识别结果。
[0026]第二方面，本专利技术实施例提供一种基于区块链的视频直播智能交互和大数据管理
系统，包括人脸识别模块、信号采集模块、去噪模块、声纹识别模块、识别纠错模块、交互模块以及数据上链模块，其中：
[0027]人脸识别模块，用于当观众在观看视频直播的过程中，基于音视频采集设备采集该观众的人脸图像，并利用人脸识别技术对该观众的身份进行初步识别，以得到人脸识别结果；
[0028]信号采集模块，用于当需要进行交互时，基于音视频采集设备采集该观众的语音信号，并记录该观众发言时间；
[0029]去噪模块，用于利用基于多样性网络模块智能拼接的普适性去噪模型，对该语音信号进行去噪，以得到去噪语音信号；
[0030]声纹识别模块，用于利用基于多样性核函数互验的SVM声纹识别模型，对去噪语音信号进行声纹识别，以得到声纹识别结果；
[0031]识别纠错模块，用于若声纹识别结果与人脸识别结果一致，则确定该观众的身份信息，并利用基于发音相近词汇编码式纠错的语音识别模型，对去噪语音信号进行识别，以得到纠错后语音信号识别结果；
[0032]交互模块，用于若纠错后语音信号识别结果中包含预置的非正常词汇，则对该观众的发言进行屏蔽；反之，则将对应的去噪语音信号发送给对应的直播人员，实现直播交互；
[0033]数据上链模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区块链的视频直播智能交互和大数据管理方法，其特征在于，包括以下步骤：当观众在观看视频直播的过程中，基于音视频采集设备采集该观众的人脸图像，并利用人脸识别技术对该观众的身份进行初步识别，以得到人脸识别结果；当需要进行交互时，基于音视频采集设备采集该观众的语音信号，并记录该观众发言时间；利用基于多样性网络模块智能拼接的普适性去噪模型，对该语音信号进行去噪，以得到去噪语音信号；利用基于多样性核函数互验的SVM声纹识别模型，对去噪语音信号进行声纹识别，以得到声纹识别结果；若声纹识别结果与人脸识别结果一致，则确定该观众的身份信息，并利用基于发音相近词汇编码式纠错的语音识别模型，对去噪语音信号进行识别，以得到纠错后语音信号识别结果；若纠错后语音信号识别结果中包含预置的非正常词汇，则对该观众的发言进行屏蔽；反之，则将对应的去噪语音信号发送给对应的直播人员，实现直播交互；将观众的身份信息、发言时间和纠错后语音信号识别结果上传至区块链，实现上链存储。2.根据权利要求1所述的一种基于区块链的视频直播智能交互和大数据管理方法，其特征在于，所述利用基于多样性网络模块智能拼接的普适性去噪模型，对该语音信号进行去噪，以得到去噪语音信号的方法包括以下步骤：设置初始卷积神经网络模块，分别利用预置的含有低频噪声的语音信号样本、含有中频噪声的语音信号样本、含有高频噪声的语音信号样本进行网络训练优化，以得到低频噪声消除网络模块、中频噪声消除网络模块和高频噪声消除网络模块；将低频噪声消除网络模块、中频噪声消除网络模块和高频噪声消除网络模块进行拼接，以得到基于多样性网络模块智能拼接的普适性去噪模型；采用基于多样性网络模块智能拼接的普适性去噪模型对该语音信号进行去噪，以得到去噪语音信号。3.根据权利要求1所述的一种基于区块链的视频直播智能交互和大数据管理方法，其特征在于，所述利用基于多样性核函数互验的SVM声纹识别模型，对去噪语音信号进行声纹识别，以得到声纹识别结果的方法包括以下步骤：根据人脸识别结果在预置的语音数据库中提取对应人员的多段语音信号，组成正样本数据集；提取多段非该人员的多段语音信号，组成负样本数据集；利用正样本数据集和负样本数据集对SVM模型进行训练，在训练过程中，使用多个不同的核函数，以得到对应的多个声纹识别模型；利用多个声纹识别模型分别对去噪语音信号进行声纹识...

【专利技术属性】
技术研发人员：杨芳，
申请(专利权)人：北京海上升科技有限公司，
类型：发明
国别省市：