一种信息处理方法、装置、终端和计算机可读存储介质制造方法及图纸

本发明专利技术提出一种信息处理方法、装置、终端和计算机可读存储介质，方法包括：用户终端获取UGC、及UGC产生过程中的行为数据；用户终端根据UGC产生过程中的行为数据，并利用UGC敏感内容预测模型对UGC进行敏感内容预测，获得针对UGC的敏感内容预测结果；在敏感内容预测结果表征UGC未通过敏感内容预测时，生成提示信息，提示信息用于提示用户提交的UGC存在敏感内容。通过实施本发明专利技术，使敏感内容检测不过度依赖于服务器端和网络交互，在用户终端侧即能实现一定程度的UGC敏感内容预测，不仅减轻服务器端负担，也提升了用户提交UGC的审核响应时效；基于UGC产生过程中的行为数据进行UGC敏感内容预测，使UGC敏感内容判定的形式不再单一，有利于提升敏感内容判定的准确率。

An information processing method, device, terminal, and computer readable storage medium

The present invention includes an information processing method, device, terminal and computer readable storage medium, method of behavioral data access UGC, and UGC in the process of the user terminal; the user terminal according to the UGC data generated in the process of behavior, and the use of UGC sensitive content prediction model was sensitive to UGC content prediction, obtained for sensitive the contents of the UGC prediction results; prediction results characterize sensitive content in UGC did not pass sensitive content prediction, generating message, message prompts for users to submit UGC sensitive content. The embodiment of the invention, the sensitive content detection doesn't rely too heavily on the server and network interaction, in which the user terminal can realize the UGC sensitive content to a certain extent, not only to reduce the burden on the server, but also enhance the user submitted UGC audit response aging; UGC behavior data in the process of prediction based on UGC sensitive content so, UGC sensitive content determination form is no longer a single, there is conducive to enhance the accuracy of sensitive content determination.

【技术实现步骤摘要】
一种信息处理方法、装置、终端和计算机可读存储介质
本专利技术涉及用户创作内容(UGC，UserGeneratedContent)的信息处理
，尤其涉及一种信息处理方法、装置、终端和计算机可读存储介质。
技术介绍
UGC属于互联网技术术语，是指用户创作内容，即用户将自己原创的内容通过互联网平台进行展示或者提供给其他用户。UGC敏感内容检测一直是内容平台必备的技术手段。现有的UGC敏感内容检测流程参见图1所示，通常是在用户通过终端提交UGC内容给服务器端时，服务器端直接对UGC内容利用敏感内容库、或敏感内容检测规则、或基于前述二者训练的机器学习模型来进行判定；若判定符合UGC发布要求，则服务器端进行UGC发布；若判定不符合UGC发布要求，则提示用户，并在用户修改UGC后重新利用敏感内容库、或敏感内容检测规则、或基于前述二者训练的机器学习模型来进行判定；服务器端只允许发布符合要求的UGC。现有技术存在至少以下技术缺陷：1、每次的UGC敏感内容检测都依赖于服务器端，即必须要依赖于至少一次的网络交互才能完成；2、UGC敏感内容检测的准确率不高；3、需要较多的人工干预，有很多UGC需要靠人工召回重新筛选补充敏感内容到服务器端检测的规则或模型中。
技术实现思路
本专利技术实施例提供一种信息处理方法、装置、终端和计算机可读存储介质，以至少解决现有技术中以上技术问题的其中之一。第一方面，本专利技术实施例提供了一种信息处理方法，包括：用户终端获取用户创作内容(UGC)、以及所述UGC产生过程中的行为数据；所述用户终端根据所述UGC产生过程中的行为数据，并利用UGC敏感内容预测模型对所述UGC进行敏感内容预测，获得针对所述UGC的敏感内容预测结果；在所述敏感内容预测结果表征所述UGC未通过敏感内容预测时，生成提示信息，所述提示信息用于提示用户提交的UGC存在敏感内容。结合第一方面，本专利技术在第一方面的第一种实施方式中，在所述生成提示信息后，所述方法还包括：获得修改后的UGC，并根据所述UGC修改过程中的行为数据，利用UGC敏感内容预测模型对所述修改后的UGC进行敏感内容预测，获得针对所述修改后的UGC的敏感内容预测结果，所述敏感内容预测结果用于表征所述修改后的UGC是否通过敏感内容预测。结合第一方面或第一方面的第一种实施方式，本专利技术在第一方面的第二实施方式中，还包括：所述用户终端发送通过敏感内容预测的UGC到服务器端，供所述服务器端利用敏感内容过滤模型进行UGC敏感内容过滤，获得最终的UGC敏感内容检测结果，所述最终的UGC敏感内容检测结果用于表征所述UGC是否通过所述服务器端的UGC敏感内容检测。结合第一方面的第二实施方式，本专利技术在第一方面的第三实施方式中，还包括：若通过敏感内容预测的UGC存在对应的历史版本UGC，所述用户终端将所述对应的历史版本UGC也随所述通过敏感内容预测的UGC一同发送到所述服务器端，供所述服务器端进行所述敏感内容过滤模型的更新训练。结合第一方面的第三实施方式，本专利技术在第一方面的第四实施方式中，所述历史版本UGC以快照的形式保存在所述用户终端。结合第一方面或第一方面的第一实施方式，在本专利技术第一方面的第五实施方式中，还包括：根据预设的行为数据样本，并通过学习训练获得所述UGC敏感内容预测模型；或者，根据预设的敏感内容库、敏感内容判定规则、以及行为数据样本，并通过学习训练获得所述UGC敏感内容预测模型。结合第一方面或第一方面的第一实施方式，在本专利技术第一方面的第六实施方式中，所述行为数据包括以下一种或多种的组合：用户浏览行为数据、用户操作路径、用户手势、用户语音、用户视频、用户终端的摄像头使用情况、UGC的输入方式、UGC的整体操作时长、用户终端的抖动数据、用户登录账号、IP地址。第二方面，本专利技术实施例提供了一种信息处理装置，包括：数据获取单元，用于获取用户终端上的用户创作内容(UGC)、以及所述UGC产生过程中的行为数据；敏感内容预测单元，用于根据所述UGC产生过程中的行为数据，并利用UGC敏感内容预测模型对所述UGC进行敏感内容预测，获得针对所述UGC的敏感内容预测结果；提示单元，用于在所述敏感内容预测结果表征所述UGC未通过敏感内容预测时，生成提示信息，所述提示信息用于提示用户提交的UGC存在敏感内容。结合第二方面，在本专利技术第二方面的第一实施方式中，所述数据获取单元进一步用于，在所述提示单元生成提示信息后，获得修改后的UGC；所述敏感内容预测单元进一步用于，根据所述UGC修改过程中的行为数据，利用UGC敏感内容预测模型对所述修改后的UGC进行敏感内容预测，获得针对所述修改后的UGC的敏感内容预测结果，所述敏感内容预测结果用于表征所述修改后的UGC是否通过敏感内容预测。结合第二方面或第二方面的第一实施方式，在本专利技术第二方面的第二实施方式中，所述装置还包括：发送单元，用于发送通过敏感内容预测的UGC到服务器端，供所述服务器端利用敏感内容过滤模型进行UGC敏感内容过滤，获得最终的UGC敏感内容检测结果，所述最终的UGC敏感内容检测结果用于表征所述UGC是否通过所述服务器端的UGC敏感内容检测。结合第二方面的第二实施方式，在本专利技术第二方面的第三实施方式中，所述发送单元进一步用于，在通过敏感内容预测的UGC存在对应的历史版本UGC时，将所述对应的历史版本UGC也随所述通过敏感内容预测的UGC一同发送到所述服务器端，供所述服务器端进行所述敏感内容过滤模型的更新训练。结合第二方面或第二方面的第一实施方式，在本专利技术第二方面的第四实施方式中，所述UGC敏感内容预测模型通过以下方式获得：根据预设的行为数据样本，并通过学习训练获得；或者，根据预设的敏感内容库、敏感内容判定规则、以及行为数据样本，并通过学习训练获得。所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。在一个可能的设计中，信息处理装置的结构中包括处理器和存储器，所述存储器用于存储支持信息处理装置执行上述第一方面中信息处理方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述信息处理装置还可以包括通信接口，用于信息处理装置与其他设备或通信网络通信。第三方面，本专利技术实施例提供了一种计算机可读存储介质，用于存储信息处理装置所用的计算机软件指令，其包括用于执行上述第一方面中信息处理方法为信息处理装置所涉及的程序。上述技术方案中的一个技术方案至少具有如下优点或有益效果：使敏感内容检测不过度依赖于服务器端和网络交互，在用户终端侧即能实现一定程度的UGC敏感内容预测，不仅减轻服务器端负担，也提升了用户提交UGC的审核响应时效。上述技术方案中的另一个技术方案至少具有如下优点或有益效果：基于UGC产生过程中的行为数据进行UGC敏感内容预测，使得UGC敏感内容判定的形式不再单一，有利于提升敏感内容判定的准确率。上述技术方案中的再一个技术方案至少具有如下优点或有益效果：通过对UGC提交的各历史版本之间进行演化对比，有利于对UGC敏感内容的真实判定，能有效防范各种敏感内容规避行为。上述技术方案中的又一个技术方案至少具有如下优点或有益效果：自动根据UGC提交的各历史版本进行UGC敏感内容预测模型和/或U本文档来自技高网...

【技术保护点】
一种信息处理方法，其特征在于，所述方法包括：用户终端获取用户创作内容UGC、以及所述UGC产生过程中的行为数据；所述用户终端根据所述UGC产生过程中的行为数据，并利用UGC敏感内容预测模型对所述UGC进行敏感内容预测，获得针对所述UGC的敏感内容预测结果；在所述敏感内容预测结果表征所述UGC未通过敏感内容预测时，生成提示信息，所述提示信息用于提示用户提交的UGC存在敏感内容。

【技术特征摘要】
1.一种信息处理方法，其特征在于，所述方法包括：用户终端获取用户创作内容UGC、以及所述UGC产生过程中的行为数据；所述用户终端根据所述UGC产生过程中的行为数据，并利用UGC敏感内容预测模型对所述UGC进行敏感内容预测，获得针对所述UGC的敏感内容预测结果；在所述敏感内容预测结果表征所述UGC未通过敏感内容预测时，生成提示信息，所述提示信息用于提示用户提交的UGC存在敏感内容。2.根据权利要求1所述的方法，其特征在于，在所述生成提示信息后，所述方法还包括：获得修改后的UGC，并根据所述UGC修改过程中的行为数据，利用UGC敏感内容预测模型对所述修改后的UGC进行敏感内容预测，获得针对所述修改后的UGC的敏感内容预测结果，所述敏感内容预测结果用于表征所述修改后的UGC是否通过敏感内容预测。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：所述用户终端发送通过敏感内容预测的UGC到服务器端，供所述服务器端利用敏感内容过滤模型进行UGC敏感内容过滤，获得最终的UGC敏感内容检测结果，所述最终的UGC敏感内容检测结果用于表征所述UGC是否通过所述服务器端的UGC敏感内容检测。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：若通过敏感内容预测的UGC存在对应的历史版本UGC，所述用户终端将所述对应的历史版本UGC也随所述通过敏感内容预测的UGC一同发送到所述服务器端，供所述服务器端进行所述敏感内容过滤模型的更新训练。5.根据权利要求4所述的方法，其特征在于，所述历史版本UGC以快照的形式保存在所述用户终端。6.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据预设的行为数据样本，并通过学习训练获得所述UGC敏感内容预测模型；或者，根据预设的敏感内容库、敏感内容判定规则、以及行为数据样本，并通过学习训练获得所述UGC敏感内容预测模型。7.根据权利要求1或2所述的方法，其特征在于，所述行为数据包括以下一种或多种的组合：用户浏览行为数据、用户操作路径、用户手势、用户语音、用户视频、用户终端的摄像头使用情况、UGC的输入方式、UGC的整体操作时长、用户终端的抖动数据、用户登录账号、IP地址。8.一种信息处理装置，其特...

【专利技术属性】
技术研发人员：张铭，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11