含有重合数据项标签的数据源优选访问路径方法及装置制造方法及图纸

本发明专利技术实施例提供一种含有重合数据项标签的数据源优选访问路径方法及装置，方法包括：针对用户终端发送的数据获取请求中数据属性字段包含至少两个数据项标签、寻找含有所有数据项标签的数据源并寻找含有部分数据项标签的数据源组成的数据源组合(包括所有数据项标签且有重复数据项标签)的情况，在满足不超过最高成本上限、最长返回时间、每秒最大访问频次，最低成功率的基础上首先选择优选访问数据源的策略，从重复的数据项标签属性组合中，选择后续有更多访问方式的作为优选获取标签，发送本次数据访问请求并接收返回的本次数据访问的结果。通过对重复数据标签的优选策略，可以有效提升访问的成功率。

【技术实现步骤摘要】
含有重合数据项标签的数据源优选访问路径方法及装置
本专利技术涉及计算机
，尤其涉及一种含有重合数据项标签的数据源优选访问路径方法及装置。
技术介绍
近年来，随着大数据风控技术的不断完善，为了提升模型准确率，商户需要从不同数据源获取更多的数据作为模型变量，为了提高效率和降低成本，一般都会选择从数据服务平台获取数据。而数据服务平台，作为一个中间平台，参见图3，会外接很多(第三方)数据源，这些数据源可以为平台提供相同或不同的数据项。现有技术对于用户终端发送的数据获取请求中数据属性字段包含至少两个数据项标签的情况，提供了多数据源访问方法，能够基本满足数据源TPS(TransactionPerSecond，每秒执行的事务数量)、满足商户对于超时时间、降低数据源成本以提升平台整体收益的要求。但是，现有技术对于在数据源访问过程中所寻找的数据源组合(所述数据源组合由含有部分数据项标签的数据源组成)中有重复数据项标签的情况，并没有提供一种数据源访问的解决方案，即当已知所选择的数据源组合存在重复标签，如何选择优选数据标签的数据源优选访问路径方法，以提升访问成功率。
技术实现思路
针对现有技术存在的问题，本专利技术实施例提供一种含有重合数据项标签的数据源优选访问路径方法及装置。本专利技术实施例提供一种含有重合数据项标签的数据源优选访问路径方法，包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。本专利技术实施例提供一种含有重合数据项标签的数据源优选访问路径装置，包括：第一接收模块，用于接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；组成模块，用于在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；挑选模块，用于基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；第二接收模块，用于接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。本专利技术实施例提供的含有重合数据项标签的数据源优选访问路径方法及装置，通过针对用户终端发送的数据获取请求中数据属性字段包含至少两个数据项标签、寻找含有所有数据项标签的数据源并寻找含有部分数据项标签的数据源组成的数据源组合，所述数据源组合包括所有数据项标签且包括重复数据项标签的情况，基于最高成本上限MaxMoney和最长返回时间MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求，接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发给用户终端，由此，能够针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，组成第一数据源集合的情况，能够提供高性能的数据源访问方式，通过所述预设数据源优选访问路径策略中对重复数据标签的优选方式，可以有效提升访问的成功率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的一种含有重合数据项标签的数据源优选访问路径方法的流程示意图；图2为本专利技术一实施例提供的一种含有重合数据项标签的数据源优选访问路径装置的结构示意图；图3为现有的用户终端通过数据服务平台服务访问多个数据源的原理示意图；图4为本专利技术一实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1示出了本专利技术一实施例提供的一种含有重合数据项标签的数据源优选访问路径方法的流程示意图，如图1所示，本实施例的含有重合数据项标签的数据源优选访问路径方法，包括：P1、接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签。可以理解的是，所述数据获取请求中的数据属性字段包含的数据项标签，代表需要获取的数据项。本实施例是针对用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签的情况，实现数据源的访问，例如，所述数据获取请求中的数据属性字段包含的数据项标签可以为Attr1、Attr2、…、Attrn，n为所述数据获取请求中的数据属性字段包含的数据项标签的数量。可以理解的是，所述最高成本上限MaxMoney代表本次访问用户终端接受的最高成本，例如假设MaxMoney为1元，则意味着使用所述用户终端的用户最多愿意花1元获得所述数据项标签的数据项。可以理解的是，所述最长返回时间MaxTime代表本次访问用户终端最长可以等待获得数据项本文档来自技高网...

【技术保护点】
1.一种含有重合数据项标签的数据源优选访问路径方法，其特征在于，包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。

【技术特征摘要】
1.一种含有重合数据项标签的数据源优选访问路径方法，其特征在于，包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签且包括重复的数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设数据源优选访问路径策略，所述预设数据源优选访问路径策略考虑时间、成本、访问数据源的优先级并根据后续的访问方式的作为优选获取标签组合，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。2.根据权利要求1所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，所述预设数据源优选访问路径策略，包括：对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次TopTPS，若否，则确定所述数据源可以访问，将第一数据源集合中所有可以访问的独立的数据源或数据源组合加入第二数据源集合；对于第二数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值，若否，则保留所述数据源，将第二数据源集合中本次保留的独立的数据源或数据源组合加入第三数据源集合；获取所述第三数据源集合中含有所述数据属性字段中数据项标签的价格小于所述MaxMoney的独立的数据源和所述第三数据源集合中含有所述数据属性字段中数据项标签的价格总和小于所述MaxMoney的数据源组合，组成第四数据源集合；对第四数据源集合中的独立的数据源和数据源组合，按照数据源个数进行分组，同时将数据源个数相同的小组中含有最多组合的子数据源排在前面，列为优先访问数据源。3.根据权利要求2所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，所述预设数据源优选访问路径策略，还包括：在优先访问数据源包括多种数据项标签路径时，若首次从优先访问数据源获取某一数据项标签后，后续具有的不同的继续访问方式最多，则将本次获取的数据项标签作为本次获取数据项标签；当有两种获取数据项标签方式的后续有相同数量个不同的继续访问方式时，选择所述两种获取数据项标签方式中价格较低的数据项标签作为本次获取数据项标签。4.根据权利要求1所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，在接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，所述方法还包括：根据所述本次数据访问的结果，生成一个本次访问的状态属性对象，所述本次访问的状态属性对象，包括：本次访问是否成功和本次访问的耗费时间，将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List。5.根据权利要求4所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，在将生成的本次访问的状态属性对象加入所挑选的数据源或数据源组合所对应的访问状态属性列表List之后，所述方法还包括：在预设数据生存时间TTL之后，所挑选的数据源或数据源组合所对应的访问状态属性列表List中所加入的本次访问的状态属性对象被自动清除。6.根据权利要求3所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，在接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，所述方法还包括：若访问失败，则判断本次的访问时间ProcessTime是否大于MaxTime；若本次的访问时间ProcessTime小于等于MaxTime，则将所述MaxTime减去ProcessTime，获得剩余允许时间LeftTime，在所述第四数据源集合中选择AvgTime小于LeftTime的数据源，从当前选择的数据源中挑选含有数据项标签最多的数据源，发送数据访问请求；若本次的访问时间ProcessTime大于MaxTime，则获取数据失败，将获取数据失败的信息发送给所述用户终端。7.根据权利要求2所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，所述预设数据源优选访问路径策略，还包括：在对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断是否超过每秒最大访问频次TopTPS之后，若第一数据源集合中每个独立的数据源或数据源组合中的每个数据源超过每秒最大访问频次TopTPS，则不访问所述数据源。8.根据权利要求2所述的含有重合数据项标签的数据源优选访问路径方法，其特征在于，所述预设数据源优选访问路径策略，还包括：在判断过去一秒内的平均访问成功比例AvgSucc是否小于预设阈值之后，若所述AvgSucc小于预设阈值，则将所述数据源抛弃。9.一种含有重合数据项标签的数据源优选访问路径装置，其特征在于，包括：第一接收模块，用于接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上...

【专利技术属性】
技术研发人员：张惠亮，李贲，吴锋海，刘胜，
申请(专利权)人：联动优势科技有限公司，
类型：发明
国别省市：北京,11