本公开提供了一种敏感信息的处理方法、装置、电子设备及存储介质，属于互联网技术领域。所述方法包括：获取主播用户在直播过程中的音视频数据；针对每帧音视频数据进行敏感信息检测；当检测到任一帧音视频数据包含敏感信息，对音视频数据中的敏感信息进行处理，得到处理后的音视频数据，处理后的音视频数据中不包含敏感信息；将处理后的音视频数据发送至观众用户。本公开通过对直播过程中主播用户的音视频数据进行实时检测，并在检测到音视频数据中包含敏感信息，及时对该音视频数据中的敏感信息进行处理，从而避免包含敏感信息的音视频数据在网络上传播产生不良影响，有效地维护了网络环境。环境。环境。
【技术实现步骤摘要】
敏感信息的处理方法、装置、电子设备及存储介质
[0001]本公开涉及互联网
，特别涉及一种敏感信息的处理方法、装置、电子设备及存储介质。
技术介绍
[0002]随着互联网技术的发展以及网络直播的普及，很多不法分子利用直播平台传播涉黄、涉暴、涉政等的敏感信息。由于敏感信息的传播破坏了网络环境，影响了社会的稳定，因此，需要对直播场景中的敏感信息进行处理。
[0003]相关技术中，服务器接收主播用户发送的音视频数据，并检测该音视频数据中是否包含敏感信息，如果该音视频数据中包含敏感信息，则将该音视频数据及检测结果上报至技术人员进行复核，同时将该音视频数据发送至观众用户。当复核结果为该音视频数据包含敏感信息，再对主播用户进行惩处。
[0004]虽然上述方法会对发布敏感信息的主播用户进行惩处，但由于对敏感信息处理不够及时，导致包含敏感信息的音视频数据在网络上广泛传播并产生不良影响。
技术实现思路
[0005]本公开实施例提供了一种敏感信息的处理方法、装置、电子设备及存储介质，通过对音视频数据中的敏感信息进行及时处理，从而避免包含敏感信息的音视频数据在网络上传播，有效地维护了网络环境。所述技术方案如下：
[0006]第一方面，提供了一种敏感信息的处理方法，所述方法包括：
[0007]获取主播用户在直播过程中的音视频数据；
[0008]针对每帧音视频数据进行敏感信息检测；
[0009]当检测到任一帧音视频数据包含敏感信息，对所述音视频数据中的敏感信息进行处理，得到处理后的音视频数据，所述处理后的音视频数据中不包含敏感信息；
[0010]将所述处理后的音视频数据发送至观众用户。
[0011]在本公开的另一个实施例中，所述针对每帧音视频数据进行敏感信息检测，包括：
[0012]将每帧音视频数据输入到敏感信息检测模型中，输出敏感信息检测结果，所述敏感信息检测模型用于针对音视频数据中全部类型的敏感信息或指定类型的敏感信息进行检测。
[0013]在本公开的另一个实施例中，所述对所述音视频数据中的敏感信息进行处理，得到处理后的音视频数据，包括：
[0014]获取所述敏感信息的敏感等级和敏感分数；
[0015]根据所述敏感等级和所述敏感分数，确定所述敏感信息的风险程度；
[0016]按照与所述风险程度相应的处理方式，对所述敏感信息进行处理，得到所述处理后的音视频数据。
[0017]在本公开的另一个实施例中，所述按照与所述风险程度相应的处理方式，对所述
敏感信息进行处理，得到所述处理后的音视频数据，包括：
[0018]当所述敏感信息为敏感图像，对所述敏感图像进行不同程度的模糊化或加噪处理，得到处理后的图像；和/或，
[0019]当所述敏感信息为敏感音频，对所述敏感音频进行不同程度的加噪或剪切处理，得到处理后的音频。
[0020]在本公开的另一个实施例中，所述对所述音视频数据中的敏感信息进行处理，得到处理后的音视频数据，包括：
[0021]从所述主播用户的历史音视频数据中，获取与所述音视频数据时长相同的目标音视频数据；
[0022]将所述音视频数据替换为所述目标音视频数据，得到处理后的音视频数据。
[0023]在本公开的另一个实施例中，所述方法还包括：
[0024]将针对所述音视频数据的敏感信息检测结果进行上报，所述敏感信息检测结果用于进行人工复核。
[0025]在本公开的另一个实施例中，所述将针对所述音视频数据的敏感信息检测结果进行上报之后，还包括：
[0026]当复核结果为所述音视频数据中不包含敏感信息，向所述观众用户发送提示消息，所述提示消息用于提示所述观众用户播放所述处理后的音视频数据的还原数据。
[0027]在本公开的另一个实施例中，所述将针对所述音视频数据的敏感信息检测结果进行上报之后，还包括：
[0028]当复核结果为所述音视频数据中不包含敏感信息，根据所述音视频数据和所述复核结果，对所述敏感信息检测模型进行优化，得到优化后的敏感信息检测模型。
[0029]第二方面，提供了一种敏感信息的处理装置，所述装置包括：
[0030]获取模块，用于获取主播用户在直播过程中的音视频数据；
[0031]检测模块，用于针对每帧音视频数据进行敏感信息检测；
[0032]处理模块，用于当检测到任一帧音视频数据包含敏感信息，对所述音视频数据中的敏感信息进行处理，得到处理后的音视频数据，所述处理后的音视频数据中不包含敏感信息；
[0033]发送模块，用于将所述处理后的音视频数据发送至观众用户。
[0034]在本公开的另一个实施例中，所述检测模块，用于将每帧音视频数据输入到敏感信息检测模型中，输出敏感信息检测结果，所述敏感信息检测模型用于针对音视频数据中全部类型的敏感信息或指定类型的敏感信息进行检测。
[0035]在本公开的另一个实施例中，所述处理模块，用于获取所述敏感信息的敏感等级和敏感分数；根据所述敏感等级和所述敏感分数，确定所述敏感信息的风险程度；按照与所述风险程度相应的处理方式，对所述敏感信息进行处理，得到所述处理后的音视频数据。
[0036]在本公开的另一个实施例中，所述处理模块，用于当所述敏感信息为敏感图像，对所述敏感图像进行不同程度的模糊化或加噪处理，得到处理后的图像；和/或，
[0037]所述处理模块，用于当所述敏感信息为敏感音频，对所述敏感音频进行不同程度的加噪或剪切处理，得到处理后的音频。
[0038]在本公开的另一个实施例中，所述处理模块，用于从所述主播用户的历史音视频
数据中，获取与所述音视频数据时长相同的目标音视频数据；将所述音视频数据替换为所述目标音视频数据，得到处理后的音视频数据。
[0039]在本公开的另一个实施例中，所述装置还包括：
[0040]上报模块，用于将针对所述音视频数据的敏感信息检测结果进行上报，所述敏感信息检测结果用于进行人工复核。
[0041]在本公开的另一个实施例中，所述发送模块，还用于当复核结果为所述音视频数据中不包含敏感信息，向所述观众用户发送提示消息，所述提示消息用于提示所述观众用户播放所述处理后的音视频数据的还原数据。
[0042]在本公开的另一个实施例中，所述装置还包括：
[0043]优化模块，用于当复核结果为所述音视频数据中不包含敏感信息，根据所述音视频数据和所述复核结果，对所述敏感信息检测模型进行优化，得到优化后的敏感信息检测模型。
[0044]第三方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如第一方面所述的敏感信息的处理方法。
[0045]第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现第本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种敏感信息的处理方法，其特征在于，所述方法包括：获取主播用户在直播过程中的音视频数据；针对每帧音视频数据进行敏感信息检测；当检测到任一帧音视频数据包含敏感信息，对所述音视频数据中的敏感信息进行处理，得到处理后的音视频数据，所述处理后的音视频数据中不包含敏感信息；将所述处理后的音视频数据发送至观众用户。2.根据权利要求1所述的方法，其特征在于，所述针对每帧音视频数据进行敏感信息检测，包括：将每帧音视频数据输入到敏感信息检测模型中，输出敏感信息检测结果，所述敏感信息检测模型用于针对音视频数据中全部类型的敏感信息或指定类型的敏感信息进行检测。3.根据权利要求1所述的方法，其特征在于，所述对所述音视频数据中的敏感信息进行处理，得到处理后的音视频数据，包括：获取所述敏感信息的敏感等级和敏感分数；根据所述敏感等级和所述敏感分数，确定所述敏感信息的风险程度；按照与所述风险程度相应的处理方式，对所述敏感信息进行处理，得到所述处理后的音视频数据。4.根据权利要求3所述的方法，其特征在于，所述按照与所述风险程度相应的处理方式，对所述敏感信息进行处理，得到所述处理后的音视频数据，包括：当所述敏感信息为敏感图像，对所述敏感图像进行不同程度的模糊化或加噪处理，得到处理后的图像；和/或，当所述敏感信息为敏感音频，对所述敏感音频进行不同程度的加噪或剪切处理，得到处理后的音频。5.根据权利要求1所述的方法，其特征在于，所述对所述音视频数据中的敏感信息进行处理，得到处理后的音视频数据，包括：从所述主播用户的历史音视频数据中，获取与所述音视频数据时长相同的目标音视频数据；将所述音视频数据替换为所述目标音视频数据，得到处理后的音视频...
【专利技术属性】
技术研发人员：陈盛福，蔡海军，
申请(专利权)人：广州繁星互娱信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。