一种基于大数据的人工智能数据采集分析方法及其设备技术

本发明专利技术涉及大数据技术领域，且公开了一种基于大数据的人工智能数据采集分析方法，包括以下步骤：人员确地人工智能数据采集的关键词，然后从每个互联网访问设备中获取该关键词的目标图像、音频、基本信息、日志信息和用户相关信息。该基于大数据的人工智能数据采集分析方法及其设备，人员确地人工智能数据采集的关键词，然后从设备中获取该关键词数据，并按照预设的大数据收集分类对分类标签进行排序分类，再筛分数据进行过滤或修改不完整的数据、错误的数据或重复的数据，过滤整合的数据与外部信息进行关联分析进行影响分析，再进行二次数据采集，然后通过数据挖掘中搜索隐藏的信息，寻找数据之间的规律，实现智能数据采集分析。析。

【技术实现步骤摘要】
一种基于大数据的人工智能数据采集分析方法及其设备


[0001]本专利技术涉及大数据
，具体为一种基于大数据的人工智能数据采集分析方法及其设备。

技术介绍

[0002]大数据(bigdata)，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
[0003]随着互联网的迅速发展，网上信息量大幅增长，我们现在正经历从信息时代到数据时代的变迁。然而，在面对大量信息时，用户无法从中获得对自己真正有用的那部分信息，对信息的使用效率降低，即存在信息过载问题。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种基于大数据的人工智能数据采集分析方法及其设备。
[0006](二)技术方案
[0007]为实现上述目的，本专利技术提供如下技术方案：一种基于大数据的人工智能数据采集分析方法，包括以下步骤：
[0008]1)人员确地人工智能数据采集的关键词，然后从每个互联网访问设备中获取该关键词的目标图像、音频、基本信息、日志信息和用户相关信息；
[0009]2)根据步骤一中获取的目标图像、音频、基本信息、日志信息和用户相关信息在智能识别模型中对目标图像、音频、基本信息、日志信息和用户相关信息进行分类标签，并按照预设的大数据收集分类对分类标签进行排序分类；
[0010]3)根据步骤二中的分类标签进行排序分类筛分数据进行过滤或修改不完整的数据、错误的数据或重复的数据；
[0011]4)根据步骤三中过滤整合的数据与外部信息进行关联分析进行影响分析，再进行修正；
[0012]5)根据步骤四中修正后的数据确定一级数据采集标签，再根据目标图像、音频、基本信息、日志信息和用户相关信息进行二次数据采集；
[0013]6)根据步骤五中二次采集的数据再进行过滤整合，然后通过数据挖掘中搜索隐藏的信息，寻找数据之间的规律。
[0014]优选的，步骤二中所述预设的大数据收集分类为一级分类和二级分类。
[0015]优选的，所述一级分类为关键词分类、时间分类、频率分类和地点分类。
[0016]优选的，所述二级分类为分类频率使用度、时间段数据密度和关键词重复率。
[0017]优选的，所述获取目标图像、音频、基本信息、日志信息和用户相关信息时相关平台对数据质量和数据安全进行监控。
[0018]本专利技术要解决的另一技术问题是提供一种基于大数据的人工智能数据采集分析方法，包括以下步骤：
[0019]1)人员确地人工智能数据采集的关键词，然后从每个互联网访问设备中获取该关键词的目标图像、音频、基本信息、日志信息和用户相关信息；
[0020]2)根据步骤一中获取的目标图像、音频、基本信息、日志信息和用户相关信息在智能识别模型中对目标图像、音频、基本信息、日志信息和用户相关信息进行分类标签，并按照预设的大数据收集分类对分类标签进行排序分类；
[0021]3)根据步骤二中的分类标签进行排序分类筛分数据进行过滤或修改不完整的数据、错误的数据或重复的数据；
[0022]4)根据步骤三中过滤整合的数据与外部信息进行关联分析进行影响分析，再进行修正；
[0023]5)根据步骤四中修正后的数据确定一级数据采集标签，再根据目标图像、音频、基本信息、日志信息和用户相关信息进行二次数据采集；
[0024]6)根据步骤五中二次采集的数据再进行过滤整合，然后通过数据挖掘中搜索隐藏的信息，寻找数据之间的规律。
[0025](三)有益效果
[0026]与现有技术相比，本专利技术提供了一种基于大数据的人工智能数据采集分析方法及其设备，具备以下有益效果：
[0027]该基于大数据的人工智能数据采集分析方法及其设备，人员确地人工智能数据采集的关键词，然后从每个互联网访问设备中获取该关键词数据，并按照预设的大数据收集分类对分类标签进行排序分类，再筛分数据进行过滤或修改不完整的数据、错误的数据或重复的数据，过滤整合的数据与外部信息进行关联分析进行影响分析，再进行修正再根据目标图像、音频、基本信息、日志信息和用户相关信息进行二次数据采集，然后通过数据挖掘中搜索隐藏的信息，寻找数据之间的规律，实现智能数据采集分析。
具体实施方式
[0028]下面将结合本专利技术的实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]一种基于大数据的人工智能数据采集分析方法，包括以下步骤：
[0030]1)人员确地人工智能数据采集的关键词，然后从每个互联网访问设备中获取该关键词的目标图像、音频、基本信息、日志信息和用户相关信息，获取目标图像、音频、基本信息、日志信息和用户相关信息时相关平台对数据质量和数据安全进行监控；
[0031]2)根据步骤一中获取的目标图像、音频、基本信息、日志信息和用户相关信息在智能识别模型中对目标图像、音频、基本信息、日志信息和用户相关信息进行分类标签，并按照预设的大数据收集分类对分类标签进行排序分类，预设的大数据收集分类为一级分类和二级分类，一级分类为关键词分类、时间分类、频率分类和地点分类，二级分类为分类频率使用度、时间段数据密度和关键词重复率；
[0032]3)根据步骤二中的分类标签进行排序分类筛分数据进行过滤或修改不完整的数据、错误的数据或重复的数据；
[0033]4)根据步骤三中过滤整合的数据与外部信息进行关联分析进行影响分析，再进行修正；...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的人工智能数据采集分析方法，其特征在于，包括以下步骤：1)人员确地人工智能数据采集的关键词，然后从每个互联网访问设备中获取该关键词的目标图像、音频、基本信息、日志信息和用户相关信息；2)根据步骤一中获取的目标图像、音频、基本信息、日志信息和用户相关信息在智能识别模型中对目标图像、音频、基本信息、日志信息和用户相关信息进行分类标签，并按照预设的大数据收集分类对分类标签进行排序分类；3)根据步骤二中的分类标签进行排序分类筛分数据进行过滤或修改不完整的数据、错误的数据或重复的数据；4)根据步骤三中过滤整合的数据与外部信息进行关联分析进行影响分析，再进行修正；5)根据步骤四中修正后的数据确定一级数据采集标签，再根据目标图像、音频、基本信息、日志信息和用户相关信息进行二次数据采集；6)根据步骤五中二次采集的数据再进行过滤整合，然后通过数据挖掘中搜索隐藏的信息，寻找数据之间的规律...

【专利技术属性】
技术研发人员：杜元翰，肖茂然，刘子寒，
申请(专利权)人：杜元翰，
类型：发明
国别省市：