基于大数据和人工智能的互联网数据分析方法和平台技术

本发明专利技术涉及人工智能技术领域，且公开了基于大数据和人工智能的互联网数据分析方法，包括，对互联网用户群体所对应的交互终端互动大数据进行大数据分析预处理，预处理后的大数据导入HIVE数据仓库，在所述HIVE数据仓库内依据不同时间段获取不同时间段的待分析数据集，对所述数据集进行网络优化分析得到形成对应的优化交互数据分析网络，从所述优化交互数据集中进行关键信息挖掘操作或交互数据语义分析操作，确定出与交互数据集互联网用户间的关键信息匹配参数，并依据关键信息匹配参数确定出候选交互数据。该基于大数据和人工智能的互联网数据分析方法和平台，数据推送的相关性更高，使得结合的可靠度较高，从而保障数据推送结果的可靠性。结果的可靠性。结果的可靠性。

【技术实现步骤摘要】
基于大数据和人工智能的互联网数据分析方法和平台


[0001]本专利技术涉及人工智能
，具体为基于大数据和人工智能的互联网数据分析方法和平台。

技术介绍

[0002]互联网技术的发展，使得其应用场景和应用对象逐渐增加，已经成为一种普遍应用的技术，基于互联网技术的应用，会产生含量的互联网数据，包括文本数据、图像数据等，另外，人工智能，是利用数字计算机或者数字计算机控制的计算模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统，换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0003]在现有技术中，对于海量的互联网数据，有时候需要进行数据的异常监控等处理，例如，可以基于人工智能技术，对互联网数据进行异常分析，使得可以得到对应的异常分析结果，但是，在现有技术中，在对互联网数据进行分析的过程中，存在着分析的可靠度不佳的问题。

技术实现思路

[0004]（一）解决的技术问题针对现有技术的不足，本专利技术提供了基于大数据和人工智能的互联网数据分析方法和平台，具备分析可靠度高等优点，在现有技术中，在对互联网数据进行分析的过程中，存在着分析的可靠度不佳的问题。
[0005]（二）技术方案为实现上述目的，本专利技术提供如下技术方案：基于大数据和人工智能的互联网数据分析方法，包括：对互联网用户群体所对应的交互终端互动大数据进行大数据分析预处理，预处理后的大数据导入HIVE数据仓库；在所述HIVE数据仓库内依据不同时间段获取不同时间段的待分析数据集，对所述数据集进行网络优化分析得到形成对应的优化交互数据分析网络；从所述优化交互数据集中进行关键信息挖掘操作或交互数据语义分析操作，确定出与交互数据集互联网用户间的关键信息匹配参数，并依据关键信息匹配参数确定出候选交互数据；对所述候选交互数据进行异常处理，删除敏感数据和错误数据，取得标准推送数据；将所述标准推送数据可视化处理，作为待应答交互数据对应的应答交互数据，并将所述标准推送数据反馈至目标互联网用户交互终端上。
[0006]进一步，所述交互终端包括移动终端和固定终端，所述移动终端包括手机、笔记本电脑、平板电脑和车载电脑中的一种或多种，所述固定终端包括台式主机。
[0007]进一步，所述对互联网用户群体所对应的交互终端互动大数据进行大数据分析预处理步骤包括：利用基于深度学习的平均聚类算法对大数据进行聚类分析，得到各方面的互联网用户标签，构建出互联网用户画像，所述互联网用户画像进行可视化展示。
[0008]进一步，所述HIVE数据仓库对待分析数据集进行网络优化分析的步骤包括：将所述待分析数据集加载至基于Hadoop集群的HDFS文件系统内的预设目录下，在加载完毕后，优化所述数据集的元数据所对应目录信息，并将所述目录信息发送到数据库中进行存储。
[0009]进一步，所述HIVE数据仓库内依据不同时间段至少依据六个时间段，根据每个时间段中的所述网络优化分析数据集分开储存至所述数据库内。
[0010]进一步，对于各方面的所述互联网用户标签，依据多个互联网用户群体识别可能性系数簇中，关于示例性所述互联网用户对应的用户群体识别可能性之间的区别，分析得到相近标签的互联网用户群体。
[0011]进一步，所述标准推送数据反馈时间对应于大数据获取时间段。
[0012]本申请还提供基于大数据和人工智能的互联网数据分析平台，包括数据库服务器，所述数据库服务器用于执行互联网数据分析，以实现上述任意一项所述的方法。
[0013]（三）有益效果与现有技术相比，本专利技术提供了基于大数据和人工智能的互联网数据分析方法和平台，具备以下有益效果：该基于大数据和人工智能的互联网数据分析方法和平台，通过对数据集进行网络优化分析得到形成对应的优化交互数据分析网络，从优化交互数据集中进行关键信息挖掘操作或交互数据语义分析操作，确定出与交互数据集互联网用户间的关键信息匹配参数，并依据关键信息匹配参数确定出候选交互数据，对候选交互数据进行异常处理，删除敏感数据和错误数据，取得标准推送数据，将标准推送数据可视化处理，作为待应答交互数据对应的应答交互数据，并将标准推送数据反馈至目标互联网用户交互终端上，数据推送的相关性更高，使得结合的可靠度较高，从而保障数据推送结果的可靠性。
附图说明
[0014]图1为本专利技术基于大数据和人工智能的互联网数据分析方法和平台的方法各步骤的流程示意图；
具体实施方式
[0015]下面将结合本专利技术的实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0016]请参阅图1，本实施例中，基于大数据和人工智能的互联网数据分析方法，具体为
以下步骤：步骤S100，对互联网用户群体所对应的交互终端互动大数据进行大数据分析预处理，预处理后的大数据导入HIVE数据仓库，其中，交互终端包括移动终端和固定终端，移动终端包括手机、笔记本电脑、平板电脑和车载电脑中的一种或多种，固定终端包括台式主机。
[0017]需要说明的是，对互联网用户群体所对应的交互终端互动大数据进行大数据分析预处理步骤具体是利用基于深度学习的平均聚类算法对大数据进行聚类分析，得到各方面的互联网用户标签，构建出互联网用户画像，互联网用户画像进行可视化展示，同时，对于各方面的互联网用户标签，依据多个互联网用户群体识别可能性系数簇中，关于示例性互联网用户对应的用户群体识别可能性之间的区别，分析得到相近标签的互联网用户群体。
[0018]步骤S200，在HIVE数据仓库内依据不同时间段获取不同时间段的待分析数据集，对数据集进行网络优化分析得到形成对应的优化交互数据分析网络，其中具体是将待分析数据集加载至基于Hadoop集群的HDFS文件系统内的预设目录下，在加载完毕后，优化数据集的元数据所对应目录信息，并将目录信息发送到数据库中进行存储。
[0019]需要说明的是，HIVE数据仓库内依据不同时间段至少依据六个时间段，根据每个时间段中的网络优化分析数据集分开储存至数据库内。
[0020]步骤S300，从优化交互数据集中进行关键信息挖掘操作或交互数据语义分析操作，确定出与交互数据集互联网用户间的关键信息匹配参数，并依据关键信息匹配参数确定出候选交互数据。
[0021]步骤S400，对候选交互数据进行异常处理，删除敏感数据和错误数据，取得标准推送数据。
[0022]步骤S500，将标准推送数据可视化处理，作为待应答交互数据对应的应答交互数据，并将标准推送数据反馈至目标互联网用户交互终端上，其中，标准推送数据反馈时间对应于大数据获取时间段。...

【技术保护点】

【技术特征摘要】
1.基于大数据和人工智能的互联网数据分析方法，其特征在于，包括：对互联网用户群体所对应的交互终端互动大数据进行大数据分析预处理，预处理后的大数据导入HIVE数据仓库；在所述HIVE数据仓库内依据不同时间段获取不同时间段的待分析数据集，对所述数据集进行网络优化分析得到形成对应的优化交互数据分析网络；从所述优化交互数据集中进行关键信息挖掘操作或交互数据语义分析操作，确定出与交互数据集互联网用户间的关键信息匹配参数，并依据关键信息匹配参数确定出候选交互数据；对所述候选交互数据进行异常处理，删除敏感数据和错误数据，取得标准推送数据；将所述标准推送数据可视化处理，作为待应答交互数据对应的应答交互数据，并将所述标准推送数据反馈至目标互联网用户交互终端上。2.根据权利要求1所述的基于大数据和人工智能的互联网数据分析方法，其特征在于，所述交互终端包括移动终端和固定终端，所述移动终端包括手机、笔记本电脑、平板电脑和车载电脑中的一种或多种，所述固定终端包括台式主机。3.根据权利要求1所述的基于大数据和人工智能的互联网数据分析方法，其特征在于，所述对互联网用户群体所对应的交互终端互动大数据进行大数据分析预处理步骤包括：利用基于深度学习的平均聚类算法对大数据进行聚类分析，得到各方面的互联网用户标签，构建出互联网用户画...

【专利技术属性】
技术研发人员：张宏元，林凯妮，
申请(专利权)人：上海宝明信息科技有限公司，
类型：发明
国别省市：