一种垂直领域源数据过滤方法及装置制造方法及图纸

本发明专利技术提供一种垂直领域源数据的过滤方法及装置，先配置过滤流程，过滤流程中包含有匹配规则和过滤模型，在具体过滤时，先进行规则匹配，对于符合规则的源数据，则停止过滤，否则，继续进行模型过滤。通过配置过滤流程，控制整个数据过滤的过程，对于噪声低的源数据则可以通过规则匹配完成数据的有效过滤，对于噪声高的源数据，则可以进一步进行模型过滤，这样，在提高过滤效率的同时，保证了过滤的准确性和召回率。

【技术实现步骤摘要】
一种垂直领域源数据过滤方法及装置
本专利技术涉及垂直领域的大数据处理，特别涉及一种垂直领域源数据的过滤方法及装置。
技术介绍
随着互联网技术以及数据处理技术的不断发展，大数据处理有了广泛的应用，其利用海量的数据并从中提取出有价值的信息，根据不同的分析目的，这些信息可以进一步用于指导市场营销、进行市场预测或者风险控制等等。当前行业的划分越来越精细，在不同的垂直领域，例如汽车、服装等特定行业，大数据得到了广泛的应用。在大数据处理过程中，需要爬取海量的网络数据，在爬取时主要通过关键词匹配的方法，将种子目录中包含有关键词的所有数据都爬取下来，这些数据中包含有大量的噪声数据，而噪声数据是后续大数据处理时不需要的数据，这些噪声数据的存在会使得数据的处理变得困难，处理结果的准确性也会受到影响。因此，需要对源数据进行过滤的步骤，在过滤后，要将噪声数据过滤掉，以使得数据可用，即保证数据过滤的准确率，此外，不能让有效数据流失过多，即保证数据的召回率。目前，主要是通过分类算法将源数据分为噪声数据和非噪声数据，从而将噪声数据过滤掉，然而，爬取的网络数据是复杂的且不规范的，通过分类算法进行过滤，其时间成本高，且难以有对源数据进行有效的清洗，无法保证数据过滤的准确率和召回率。
技术实现思路
本专利技术旨在至少解决上述问题之一，提供一种垂直领域源数据的过滤方法，高效过滤数据且保证过滤的准确性和召回率。为实现上述目的，本专利技术有如下技术方案：一种垂直领域源数据的过滤方法，包括：配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，利用所述过滤模型继续对所述源数据进行过滤。可选地，所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；则，所述对源数据进行规则匹配，包括：根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；否则，根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。可选地，所述匹配规则还包括URL白名单匹配规则，则，判断源数据中是否存在白名单中的词条之前，还包括：根据所述URL白名单匹配规则，判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止；否则，进入判断源数据中是否存在关键词白名单中的词条的步骤中。可选地，所述过滤模型包括依次执行的多个子过滤模型，则，利用所述过滤模型继续对所述源数据进行过滤，包括：依次利用各子过滤模型对源数据进行过滤，若当前子过滤模型输出分类结果，则停止过滤流程，否则，继续利用下一个子过滤模型对所述源数据进行过滤。可选地，所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得，则，利用所述过滤模型继续对所述源数据进行过滤，包括：多条过滤支路同时对所述源数据进行过滤，每一条过滤支路进行过滤的步骤包括：依次利用各子分类过滤模型对源数据进行过滤，若当前子分类模型输出分类结果，则停止过滤流程，否则，继续利用下一个子分类过滤模型对所述源数据进行过滤。可选地，每条过滤支路中的子分类过滤模型采用同一信源的样本数据。可选地，所述多个子分类过滤模型为依次执行的特定分类模型和通用分类模型，所述特定分类模型通过对预设领域中特定关键词的样本进行分类训练而获得；所述通用分类模型通过对预设领域中多个关键词的样本进行分类训练而获得。一种垂直领域源数据的过滤装置，包括：过滤流程配置单元，用于配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；规则匹配单元，用于根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；模型过滤单元，用于规则匹配单元中不符合所述匹配规则时，利用所述过滤模型继续对所述源数据进行过滤。可选地，所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；所述规则匹配单元包括：关键字白名单匹配单元，用于根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；黑名单匹配单元，用于在判断源数据中不存在关键词白名单中的词条时，根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。可选地，所述匹配规则还包括URL白名单匹配规则；所述规则匹配单元还包括：URL白名单匹配单元，用于判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止，否则，触发所述关键字白名单匹配单元。可选地，所述过滤模型包括依次执行的多个子过滤模型；所述模型过滤单元包括依次执行的多个子模型过滤单元；每个子模型过滤单元，用于利用子过滤模型对源数据进行过滤，若输出分类结果，则停止过滤流程，否则，触发下一子模型过滤单元。可选地，所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得；所述模型过滤单元包括：多条过滤支路单元，每条过滤支路单元包括依次执行的多个子模型过滤单元；每个子模型过滤单元，用于利用子过滤模型对源数据进行过滤，若输出分类结果，则停止过滤流程，否则，触发下一子模型过滤单元。可选地，每条过滤支路中的子分类过滤模型采用同一信源的样本数据。可选地，所述多个子分类过滤模型为依次执行的特定分类模型和通用分类模型，所述特定分类模型通过对预设领域中特定关键词的样本进行分类训练而获得；所述通用分类模型通过对预设领域中多个关键词的样本进行分类训练而获得。一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任一项所述的垂直领域源数据的过滤方法。一种处理器，所述处理器用于运行程序，其中所述程序运行时执行上述任一项所述的垂直领域源数据的过滤方法。本专利技术实施例提供了一种垂直领域源数据的过滤方法及装置，先配置过滤流程，过滤流程中包含有匹配规则和过滤模型，在具体过滤时，先进行规则匹配，对于符合规则的源数据，则停止过滤，否则，继续进行模型过滤。通过配置过滤流程，控制整个数据过滤的过程，对于噪声低的源数据则可以通过规则匹配完成数据的有效过滤，对于噪声高的源数据，则可以进一步进行模型过滤，这样，在提高过滤效率的同时，保证了过滤的准确性和召回率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了根据本专利技术实施例一的垂直领域源数据的过滤方法的流程示意图；图2示出了根据本专利技术实施例二的垂直领域源数据的过滤方法的流程示意图；图3示出了根据本专利技术实施例二的垂直领域源数据的过滤方法中过滤流程的结构示意图；图4示出了根据本专利技术实施例的垂直领域源数据的过滤装置的结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充本文档来自技高网...

【技术保护点】
1.一种垂直领域源数据的过滤方法，其特征在于，包括：配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，利用所述过滤模型继续对所述源数据进行过滤。

【技术特征摘要】
1.一种垂直领域源数据的过滤方法，其特征在于，包括：配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，利用所述过滤模型继续对所述源数据进行过滤。2.根据权利要求1所述的过滤方法，其特征在于，所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；则，所述对源数据进行规则匹配，包括：根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；否则，根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。3.根据权利要求2所述的过滤方法，其特征在于，所述匹配规则还包括URL白名单匹配规则，则，判断源数据中是否存在白名单中的词条之前，还包括：根据所述URL白名单匹配规则，判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止；否则，进入判断源数据中是否存在关键词白名单中的词条的步骤中。4.根据权利要求1-3中任一项所述的过滤方法，其特征在于，所述过滤模型包括依次执行的多个子过滤模型，则，利用所述过滤模型继续对所述源数据进行过滤，包括：依次利用各子过滤模型对源数据进行过滤，若当前子过滤模型输出分类结果，则停止过滤流程，否则，继续利用下一个子过滤模型对所述源数据进行过滤。5.根据权利要求1-3中任一项所述的过滤方法，其特征在于，所述过滤模型包括多条过滤支路，每条过滤支路包括...

【专利技术属性】
技术研发人员：马庆丽，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11