一种基于大数据的数据处理方法技术

本发明专利技术涉及大数据处理技术领域，具体公开了一种基于大数据的数据处理方法，所述方法包括接收用户发送的含有用户信息的上传数据，对所述上传数据进行数据转换，得到待检数据；对所述待检数据进行内容识别，根据内容识别结果对所述待检数据进行加密；根据所述用户信息确定上传数据的预测传播值，根据所述预测传播值确定脱敏级别，根据所述脱敏级别对加密后的待检数据进行解密。本发明专利技术对用户上传的数据进行加密，然后根据用户的传播能力，对所述数据进行解密，适应力强，对于不同的用户有着不同的评判标准，因人而异，极大地降低了“误伤”的概率。率。率。

【技术实现步骤摘要】
一种基于大数据的数据处理方法


[0001]本专利技术涉及大数据处理
，具体是一种基于大数据的数据处理方法。

技术介绍

[0002]目前，基于大数据的数据处理和分析方法的应用十分广泛，比如目前主流的基于数据挖掘的推荐引擎APP会对用户的浏览历史进行数据处理，得到用户可能的感兴趣数据，然后向用户推送相关的内容。
[0003]在上述过程中，内容监管是非常重要的一项内容，现有的技术方案大都采取“一刀切”的方式，这造成了很多“误伤”的情况，这种方式会降低用户的分享积极性，不利于网络良好环境的构建。

技术实现思路

[0004]本专利技术的目的在于提供一种基于大数据的数据处理方法，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于大数据的数据处理方法，所述方法包括：接收用户发送的含有用户信息的上传数据，对所述上传数据进行数据转换，得到待检数据；其中，所述待检数据包括含有时间项的文本数据和含有时间项的图像数据；对所述待检数据进行内容识别，根据内容识别结果对所述待检数据进行加密；根据所述用户信息确定上传数据的预测传播值，根据所述预测传播值确定脱敏级别，根据所述脱敏级别对加密后的待检数据进行解密；将解密后的待检数据上传至云端并开放下载端口，实时监测下载指数，根据所述下载指数修正所述脱敏级别。
[0006]作为本专利技术进一步的方案：所述接收用户发送的含有用户信息的上传数据，对所述上传数据进行数据转换，得到待检数据的步骤包括：统计所述上传数据的格式信息，根据所述格式信息确定数据类型；其中，所述数据类型包括文本数据、音频数据、图像数据和视频数据；当所述数据类型为音频数据时，将所述音频数据转换为文本数据；当所述数据类型为图像数据时，对所述图像数据进行文本检测，得到文本数据和剔除文本数据的图像数据；当所述数据类型为视频数据时，将所述视频数据转换为音频数据和图像数据组，将相应的音频数据转换为文本数据，将相应的图像数据组转换为文本数据组和剔除文本数据的图像数据组。
[0007]作为本专利技术进一步的方案：所述当所述数据类型为音频数据时，将所述音频数据转换为文本数据的步骤包括：将所述音频数据输入训练好的解压缩模型，得到纯波形文件；
将所述纯波形文件静音切除并分帧，生成多段语音；对所述多段语音进行纯声学特征提取，生成特征矩阵；基于所述特征矩阵确定文本数据。
[0008]作为本专利技术进一步的方案：所述当所述数据类型为图像数据时，对所述图像数据进行文本检测，得到文本数据和剔除文本数据的图像数据的步骤包括：对图片进行文本检测，获得标识所述图片中文本行位置的候选框，以及各所述候选框对应的原始置信度；根据所述原始置信度将所述候选框标记为识别框；其中，所述识别框包括端点参数；基于所述识别框对所述图像数据进行文本检测，得到文本数据；拷贝所述图像数据，根据所述端点参数在拷贝后的图像数据中删除识别框区域，得到剔除文本数据的图像数据。
[0009]作为本专利技术进一步的方案：所述根据所述原始置信度将所述候选框标记为识别框的步骤包括：在存在交集区域的所述候选框中选取所述原始置信度最大的所述候选框作为第一候选框，其他任一所述候选框作为第二候选框，根据所述第一候选框与所述第二候选框的所述交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数；计算所述第一候选框与所述第二候选框的原始交并比，根据所述第二候选框的损失参数修正所述原始交并比，获得修正交并比；根据所述修正交并比和所述第二候选框的原始置信度计算所述第二候选框的修正置信度；判断所述第二候选框的修正置信度是否满足置信度条件，若满足，则将所述第一候选框及所述第二候选框均作为识别文本框。
[0010]作为本专利技术进一步的方案：所述根据所述第一候选框与所述第二候选框的所述交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数的步骤包括：获取所述交集区域的宽度和高度，以及所述闭包区域的宽度和高度；根据所述交集区域与所述闭包区域的高度比，以及所述交集区域与所述闭包区域的宽度比，计算所述第二候选框的损失参数。
[0011]作为本专利技术进一步的方案：所述根据所述修正交并比和所述第二候选框的原始置信度计算所述第二候选框的修正置信度的步骤包括：根据所述修正交并比计算所述第二候选框的衰减权值；根据所述第二候选框的衰减权值修正所述第二候选框的原始置信度，获得所述第二候选框的修正置信度。
[0012]作为本专利技术进一步的方案：所述对所述待检数据进行内容识别，根据内容识别结果对所述待检数据进行加密的步骤包括：当所述待检数据为文本数据时，建立与预设的敏感字库之间的连接通道；剔除所述文本数据中的分隔符，得到文本内容，依次提取所述文本内容中的单字，以所述单字为单位遍历所述敏感字库，确定敏感字及其敏感地址；基于敏感地址获取待检词汇，建立与敏感词汇库的连接通道，基于敏感词汇库判
断所述待检词汇是否为敏感词；当所述待检词汇为敏感词时，获取敏感词的敏感度，根据所述敏感度对文本数据进行含有加密级别的加密。
[0013]作为本专利技术进一步的方案：所述对所述待检数据进行内容识别，根据内容识别结果对所述待检数据进行加密的步骤包括：当所述待检数据为图像数据时，对所述图像数据进行轮廓识别，得到物体轮廓；对所述物体轮廓进行完整度分析，得到轮廓完整度；当所述轮廓完整度达到预设的完整度阈值时，将相应的物体轮廓标记为前景物体，当所述轮廓完整度小于预设的完整度阈值时，将相应的物体轮廓标记为背景物体；根据所述背景物体确定图像数据的类别，基于类别对所述前景物体进行内容识别，根据内容识别结果对图像数据进行加密。
[0014]作为本专利技术进一步的方案：所述方法还包括：当内容识别过程发生错误时，向用户发送预设的文件评价表，获取用户评价信息；根据所述用户评价信息查询相似内容，基于所述相似内容确定参考数据库；基于所述参考数据库对所述待检数据进行二次识别。
[0015]与现有技术相比，本专利技术的有益效果是：本专利技术对用户上传的数据进行加密，然后根据用户的传播能力，对所述数据进行解密，适应力强，对于不同的用户有着不同的评判标准，因人而异，极大地降低了“误伤”的概率。
附图说明
[0016]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例。
[0017]图1为基于大数据的数据处理方法的流程框图。
[0018]图2为基于大数据的数据处理方法的第一子流程框图。
[0019]图3为基于大数据的数据处理方法的第二子流程框图。
[0020]图4为基于大数据的数据处理方法的第三子流程框图。
具体实施方式
[0021]为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0022]实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的数据处理方法，其特征在于，所述方法包括：接收用户发送的含有用户信息的上传数据，对所述上传数据进行数据转换，得到待检数据；其中，所述待检数据包括含有时间项的文本数据和含有时间项的图像数据；对所述待检数据进行内容识别，根据内容识别结果对所述待检数据进行加密；根据所述用户信息确定上传数据的预测传播值，根据所述预测传播值确定脱敏级别，根据所述脱敏级别对加密后的待检数据进行解密；将解密后的待检数据上传至云端并开放下载端口，实时监测下载指数，根据所述下载指数修正所述脱敏级别。2.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，所述接收用户发送的含有用户信息的上传数据，对所述上传数据进行数据转换，得到待检数据的步骤包括：统计所述上传数据的格式信息，根据所述格式信息确定数据类型；其中，所述数据类型包括文本数据、音频数据、图像数据和视频数据；当所述数据类型为音频数据时，将所述音频数据转换为文本数据；当所述数据类型为图像数据时，对所述图像数据进行文本检测，得到文本数据和剔除文本数据的图像数据；当所述数据类型为视频数据时，将所述视频数据转换为音频数据和图像数据组，将相应的音频数据转换为文本数据，将相应的图像数据组转换为文本数据组和剔除文本数据的图像数据组。3.根据权利要求2所述的基于大数据的数据处理方法，其特征在于，所述当所述数据类型为音频数据时，将所述音频数据转换为文本数据的步骤包括：将所述音频数据输入训练好的解压缩模型，得到纯波形文件；将所述纯波形文件静音切除并分帧，生成多段语音；对所述多段语音进行纯声学特征提取，生成特征矩阵；基于所述特征矩阵确定文本数据。4.根据权利要求2所述的基于大数据的数据处理方法，其特征在于，所述当所述数据类型为图像数据时，对所述图像数据进行文本检测，得到文本数据和剔除文本数据的图像数据的步骤包括：对图片进行文本检测，获得标识所述图片中文本行位置的候选框，以及各所述候选框对应的原始置信度；根据所述原始置信度将所述候选框标记为识别框；其中，所述识别框包括端点参数；基于所述识别框对所述图像数据进行文本检测，得到文本数据；拷贝所述图像数据，根据所述端点参数在拷贝后的图像数据中删除识别框区域，得到剔除文本数据的图像数据。5.根据权利要求4所述的基于大数据的数据处理方法，其特征在于，所述根据所述原始置信度将所述候选框标记为识别框的步骤包括：在存在交集区域的所述候选框中选取所述原始置信度最大的所述候选框作为第一候选框，其他任一所述候选框作为第二候选框，根据所述第一候选框与所述第二候选框的所述交集区域的尺寸以及闭包区域的尺寸，计算所述第二候选框的损失参数；计算所述第一候选框与所述第二候选框...

【专利技术属性】
技术研发人员：朱旭龙，
申请(专利权)人：朱旭龙，
类型：发明
国别省市：