安全检测方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种安全检测方法、装置、电子设备及存储介质，该方法包括：获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量；基于多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重；基于每种安全性特征维度的权重，对待检测直播间在每个时间段下的初始直播特征向量进行调整，得到待检测直播间在该时间段对应的调整后的直播特征向量；基于待检测直播间在每个时间段对应的调整后的直播特征向量，确定待检测直播间对应的安全性检测结果。

【技术实现步骤摘要】
安全检测方法、装置、电子设备及存储介质
本公开涉及互联网
，具体而言，涉及一种安全检测方法、装置、电子设备及存储介质。
技术介绍
随着互联网技术的不断发展，直播技术营运而生，直播平台提供多个直播间，用户进入直播间后，能够观看到当前直播间中主播发送的直播视频流。在直播间中，用户可能会在直播间发表一些不当言论，或者做出一些不当行为，为了对此进行管理，直播管理平台需要对每个直播间的用户的言论和行为进行监控，以达到对各个直播间的管理。相关技术在对直播间进行安全检测时，可以采用随机抽取待检测直播间的音频或者直播图片来对直播间的直播环境进行安全检测，基于该方式对待检测直播间进行安全检测时，得到的安全检测结果的准确度较低。
技术实现思路
本公开实施例至少提供一种安全检测方法，以提高针对直播间的安全性检测结果的准确度。第一方面，本公开实施例提供了一种安全检测方法，包括：获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量；基于所述多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定所述待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重；基于所述每种安全性特征维度的权重，对所述待检测直播间在每个时间段下的所述初始直播特征向量进行调整，得到所述待检测直播间在该时间段对应的调整后的直播特征向量；基于所述待检测直播间在每个时间段对应的调整后的直播特征向量，确定所述待检测直播间对应的安全性检测结果。在一种可能的实施方式中，确定所述待检测直播间对应的安全性检测结果后，所述安全检测方法还包括：若所述安全性检测结果指示所述待检测直播间的直播内容不符合预设安全检测条件，将所述待检测直播间对应的标识和所述待检测直播间对应的直播内容输出。在一种可能的实施方式中，所述获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量，包括：获取所述待检测直播间在连续多个时间段中的每个时间段内的直播内容，所述直播内容包括场景图片和/或音频内容，并基于所述多种安全性特征维度分别对应的特征提取网络提取所述直播内容对应的直播内容特征；将所述待检测直播间在每个时间段对应的直播内容特征，以及所述待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到所述待检测直播间在该时间段下的初始直播特征向量。在一种可能的实施方式中，在得到所述待检测直播间在每个时间段下的初始直播特征向量后，所述安全检测方法还包括：识别所述待检测直播间在每个时间段对应的初始直播特征向量中的直播内容特征，检测该直播内容特征中是否存在针对至少一种安全性特征维度的缺失值；在确定存在针对至少一种安全性特征维度的缺失值时，基于所述待检测直播间在该时间段对应的初始直播特征向量中其它安全性特征维度的特征值对所述至少一种安全性特征维度的缺失值进行填补。在一种可能的实施方式中，所述基于所述多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定所述待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重，包括：基于所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量，确定所述待检测直播间在每种安全性特征维度下的目标特征值；将所述待检测直播间在每种安全性特征维度下的目标特征值输入所述注意力网络中的全连接层和激活函数层，得到所述待检测直播间对应的所述多种安全性特征维度中每种安全性特征维度的权重。在一种可能的实施方式中，所述基于所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量，得到所述待检测直播间在每种安全性特征维度下的目标特征值，包括：基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值。在一种可能的实施方式中，所述基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值，包括：基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的最大特征值作为该安全性特征维度下的所述目标特征值。在一种可能的实施方式中，所述基于所述待检测直播间在每个时间段对应的调整后的直播特征向量，确定所述待检测直播间对应的安全性检测结果，包括：针对所述待检测直播间在每个时间段对应的调整后的直播特征向量，将该时间段对应的调整后的直播特征向量中包含的不同安全性特征维度下的特征值进行融合，得到所述待检测直播间在该时间段对应的第一融合直播特征向量；基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量；基于所述融合直播特征向量，确定所述待检测直播间对应的安全性检测结果。在一种可能的实施方式中，所述基于所述待检测直播间在每个时间段对应的第一融合直播特征向量，确定所述待检测直播间对应的融合直播特征向量，包括：从所述多个时间段中的非首个时间段开始，将当前指向时间段对应的第一融合直播特征向量和该当前时间段的上一个时间段对应的记忆直播特征向量进行融合，得到所述待检测直播间在所述当前指向时间段对应的第二融合直播特征向量；基于所述当前时间段对应的第二融合直播特征向量，提取所述当前时间段对应的记忆直播特征向量，将所述当前时间段对应的记忆直播特征向量和所述当前时间段的下一个时间段对应的第一融合直播特征向量进行融合，得到该待检测直播间在所述下一个时间段对应的第二融合直播特征向量；判断所述下一个时间段是否为所述多个时间段中的最后一个时间段，若是，将所述下一个时间段对应的第二融合直播特征向量作为所述待检测直播间对应的融合直播特征向量，若否，将所述下一个时间段作为所述当前时间段，执行确定该所述检测直播间在所述当前指向时间段对应的第二融合直播特征向量的步骤。在一种可能的实施方式中，所述安全性检测结果由预先训练的包含注意力网络的神经网络实现；所述神经网络利用了包含多个样本直播间中每个样本直播间在多个时间段中的每个时间段对应的初始直播特征向量，以及预先标注的每个样本直播间对应的安全性检测结果训练得到。在一种可能的实施方式中，所述神经网络按照以下方式进行训练：获取基于所述多种安全性特征维度分别对应的特征提取网络确定的每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量；基于每个样本直播间在多个时间段中的每个时间段下的初始直播特征向量，通过所述注意力网络，确定每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重；基于每个样本直播间对应的多种安全性特征维度中每种安全性特征维度的权重，对该样本直播间在每个时间段下的初始直播特征向量进行调整，得到该样本直播间在该时间段对应的调整后的直播特征向量；基于该样本直播间在每个时间段对应的本文档来自技高网...

【技术保护点】
1.一种安全检测方法，其特征在于，包括：/n获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量；/n基于所述多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定所述待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重；/n基于所述每种安全性特征维度的权重，对所述待检测直播间在每个时间段下的所述初始直播特征向量进行调整，得到所述待检测直播间在该时间段对应的调整后的直播特征向量；/n基于所述待检测直播间在每个时间段对应的调整后的直播特征向量，确定所述待检测直播间对应的安全性检测结果。/n

【技术特征摘要】
1.一种安全检测方法，其特征在于，包括：
获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量；
基于所述多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定所述待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重；
基于所述每种安全性特征维度的权重，对所述待检测直播间在每个时间段下的所述初始直播特征向量进行调整，得到所述待检测直播间在该时间段对应的调整后的直播特征向量；
基于所述待检测直播间在每个时间段对应的调整后的直播特征向量，确定所述待检测直播间对应的安全性检测结果。


2.根据权利要求1所述的安全检测方法，其特征在于，确定所述待检测直播间对应的安全性检测结果后，所述安全检测方法还包括：
若所述安全性检测结果指示所述待检测直播间的直播内容不符合预设安全检测条件，将所述待检测直播间对应的标识和所述待检测直播间对应的直播内容输出。


3.根据权利要求1所述的安全检测方法，其特征在于，所述获取基于多种安全性特征维度分别对应的特征提取网络确定的待检测直播间在多个时间段中的每个时间段下的初始直播特征向量，包括：
获取所述待检测直播间在连续多个时间段中的每个时间段内的直播内容，所述直播内容包括场景图片和/或音频内容，并基于所述多种安全性特征维度分别对应的特征提取网络提取所述直播内容对应的直播内容特征；
将所述待检测直播间在每个时间段对应的直播内容特征，以及所述待检测直播间在该时间段对应的历史行为特征和用户属性特征进行拼接后，得到所述待检测直播间在该时间段下的初始直播特征向量。


4.根据权利要求3所述的安全检测方法，其特征在于，在得到所述待检测直播间在每个时间段下的初始直播特征向量后，所述安全检测方法还包括：
识别所述待检测直播间在每个时间段对应的初始直播特征向量中的直播内容特征，检测该直播内容特征中是否存在针对至少一种安全性特征维度的缺失值；
在确定存在针对至少一种安全性特征维度的缺失值时，基于所述待检测直播间在该时间段对应的初始直播特征向量中其它安全性特征维度的特征值对所述至少一种安全性特征维度的缺失值进行填补。


5.根据权利要求1所述的安全检测方法，其特征在于，所述基于所述多个时间段中的每个时间段下的初始直播特征向量，通过注意力网络，确定所述待检测直播间对应的多种安全性特征维度中每种安全性特征维度的权重，包括：
基于所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量，确定所述待检测直播间在每种安全性特征维度下的目标特征值；
将所述待检测直播间在每种安全性特征维度下的目标特征值输入所述注意力网络中的全连接层和激活函数层，得到所述待检测直播间对应的所述多种安全性特征维度中每种安全性特征维度的权重。


6.根据权利要求5所述的安全检测方法，其特征在于，所述基于所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量，得到所述待检测直播间在每种安全性特征维度下的目标特征值，包括：
基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值。


7.根据权利要求6所述的安全检测方法，其特征在于，所述基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的目标特征值，包括：
基于所述注意力网络中的池化层，从所述待检测直播间在所述多个时间段中的每个时间段对应的初始直播特征向量中，提取每种安全性特征维度下的最大特征值作为该安全性特征维度下的所述目标特征值。


8.根据权利要求1所述的安全检测方法，其特征在于，所述基于所述待检测直播间在每个时间段对应的调整后的直播特征向量，确定所述待检测直播间对应的安全性检测结果，包括：
针对所述待检测直播间在每个时间段对应的调整后的直播特征向量，将该时间段对应的调整...

【专利技术属性】
技术研发人员：周杰，王鸣辉，孙振邦，王长虎，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11