一种情报数据处理方法、装置和系统制造方法及图纸

本申请涉及一种情报数据处理方法、装置和系统，属于数据处理领域；其方法包括获取原始情报数据，对原始情报数据进行归一化处理，形成标准情报数据；对标准情报数据进行校验，删除不符合对应校验条件的标准情报数据；对保留下的标准情报数据进行深度处理，使标准情报数据成为合格情报数据，对合格情报数据进行存储，并在需要输出时，将其输出。归一化处理有助于使获取的原始情报数据的数据结构统一，便于提高原始情报数据的处理效率；对标准情报数据进行校验，有助于删除不达标的情报数据。本申请具有有助于提高情报数据的质量、减少网络资源浪费、情报数据处理灵活性高和效率高的效果。果。果。

【技术实现步骤摘要】
一种情报数据处理方法、装置和系统


[0001]本专利技术涉及数据处理领域，尤其是涉及一种情报数据处理方法。

技术介绍

[0002]情报数据是指带有信息的网络数据；所谓信息，即泛指人类社会传播的一切内容，人们通过获得和解读信息，来认识事物，或者得知某些情况。而情报数据由于携带有大量的或者实时的信息而被人们所重视，例如携带有最新发现的网络病毒信息的情报数据，或者携带有域名信息的情报数据等。由于情报数据的来源广泛，且种类繁多，因此情报数据的处理尤为重要。
[0003]相关技术中，情报数据的处理主要包括获取、筛选、储存和输出四个阶段，通过网络爬虫到各个开源网站中获得各类情报数据，再对情报数据进行筛选，而后将情报数据储存至指定的数据库中，需要时即输出。
[0004]针对上述中的相关技术，专利技术人认为情报数据的处理过程较为简单，在储存的情报数据中容易参杂较多不能使用的情报数据，浪费了网络资源，降低了情报数据的质量。

技术实现思路

[0005]为了有助于提高情报数据的质量，不易造成网络资源的浪费，本专利技术提供一种情报数据处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情报数据处理方法，其特征在于，包括：获取原始情报数据；基于预设的数据结构模型对所述原始情报数据进行归一化处理，使所述原始情报数据的数据结构与所述数据结构模型相同；经过所述归一化处理的所述原始情报数据成为标准情报数据；基于所述标准情报数据的类型和对应预设的校验条件，将不符合对应所述校验条件的所述标准情报数据删除，保留符合对应所述校验条件的所述标准情报数据；对所述标准情报数据进行深度处理，使所述标准情报数据成为合格情报数据；将所述合格情报数据进行存储；在接收到输出指令后，基于所述输出指令调取并输出存储的对应所述合格情报数据。2.根据权利要求1所述的一种情报数据处理方法，其特征在于，所述数据结构模型包括若干基于数据属性划分的字段模型；所述基于预设的数据结构模型对所述原始情报数据进行归一化处理的步骤包括：对所述原始情报数据进行属性解析，得到若干字段；基于所述字段的属性与对应所述字段模型的对应关系，按照所述数据结构模型对所述原始情报数据进行归一化处理，使所有经过归一化处理的所述原始情报数据的数据结构相同。3.根据权利要求2所述的一种情报数据处理方法，其特征在于，所述基于预设的数据结构模型对所述原始情报数据进行归一化处理的步骤包括：获取与所述原始情报数据关联的属性信息；基于所述属性信息，将所述原始情报数据的字段与对应的所述字段模型匹配。4.根据权利要求1所述的一种情报数据处理方法，其特征在于,所述将所述合格情报数据进行存储的步骤包括:基于所述合格情报数据的来源，将所述合格情报数据存储在对应独立设置的存储模块中。5.根据权利要求4所述的一种情报数据处理方法，其特征在于，在所述将所述合格情报数据存储在对应独立设置的存储模块中之前，还包括：判断待存储的所述合格情报数据的关键字是否与对应所述存储模块中已存储的所述合格情报数据的关键字相同；所述关键字包括IP地址、url地址、域名地址、邮件地址和哈希值中的至少一个；若相同，则删除关键字相同的已存储的所述合格情报数据，将对应的待存储的所述合格情报数据存储到对应所述存储模块中；若不相同，则将待存储的所述合格情报数据存储到对应的所述存储模块中。6.根据权利要求5所述的一种情报数据处理方法，其特征在于：每个所述存储模块中均预设有若干子模块，每个所述子模块均有唯一的属性标签；所述将所述合格情报数据存储在对应独立设置的存储模块中的步骤包括：根据所述合格情报数据各个字段的属性，将每条所述合格情报数据中相同属性的字段分为一个数据段，使每条所述合格情报数据被分成数量与所述子模块数量相同的数...

【专利技术属性】
技术研发人员：黄国豪，肖国颖，
申请(专利权)人：北京天融信科技有限公司北京天融信软件有限公司，
类型：发明
国别省市：