一种复合数据项标签的通用数据源访问方法及装置制造方法及图纸

本发明专利技术实施例提供一种复合数据项标签的通用数据源访问方法及装置，方法包括：对用户终端发送的数据获取请求中数据属性字段包含至少两个数据项标签、寻找含有所有数据项标签数据源并寻找含有部分数据项标签数据源组成的数据源组合情况，基于读取的最高成本上限MaxMoney和最长返回时间MaxTime，按照考虑时间和成本的预设通用数据源访问策略，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。可对于具有多个数据项标签的情况提供高性能、最快、最经济的数据源访问方式。

A general data source access method and device for compound data item label

【技术实现步骤摘要】
一种复合数据项标签的通用数据源访问方法及装置
本专利技术涉及计算机
，尤其涉及一种复合数据项标签的通用数据源访问方法及装置。
技术介绍
近年来，随着大数据风控技术的不断完善，为了提升模型准确率，商户需要从不同数据源获取更多的数据作为模型变量，为了提高效率和降低成本，一般都会选择从数据服务平台获取数据。而数据服务平台，作为一个中间平台，参见图3，会外接很多(第三方)数据源，这些数据源可以为平台提供相同或不同的数据项。目前，现有技术提供的数据源访问方法主要是考虑到当前访问数据源和历史访问数据源的评判参量发生变化时候采用不同的策略，主要是基于业务的通过率等简单指标来进行数据源访问。现有技术没有考虑到如果用户终端发送的是复合数据标签需求，这些标签可以从单一数据源获取，也可以从多个不同的数据源获取后进行组合；如何考虑从单一和数据源组合中选择优选的访问方式和访问顺序，以满足商户对于减少超时时间、降低数据源成本、提升访问成功率的要求，是非常有意义的。
技术实现思路
针对现有技术存在的问题，本专利技术实施例提供一种复合数据项标签的通用数据源访问方法及装置。本专利技术实施例提供一种复合数据项标签的通用数据源访问方法，包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设通用数据源访问策略，所述预设通用数据源访问策略考虑时间和成本，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。本专利技术实施例提供一种复合数据项标签的通用数据源访问装置，包括：第一接收模块，用于接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；组成模块，用于在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；挑选模块，用于基于所读取的MaxMoney和MaxTime，按照预设通用数据源访问策略，所述预设通用数据源访问策略考虑时间和成本，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；第二接收模块，用于接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。本专利技术实施例提供的复合数据项标签的通用数据源访问方法及装置，通过针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签，组成第一数据源集合的情况，基于所读取的MaxMoney和MaxTime，按照预设通用数据源访问策略，所述预设通用数据源访问策略考虑时间和成本，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求，接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端，由此，能够针对接收用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签，组成第一数据源集合的情况，提供高性能的数据源访问方式，可满足对于数据源访问时间和降低数据源成本的要求，以最快、最经济的方式向用户终端返回访问成功结果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的一种复合数据项标签的通用数据源访问方法的流程示意图；图2为本专利技术一实施例提供的一种复合数据项标签的通用数据源访问装置的结构示意图；图3为现有的用户终端通过数据服务平台服务访问多个数据源的原理示意图；图4为本专利技术一实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1示出了本专利技术一实施例提供的一种复合数据项标签的通用数据源访问方法的流程示意图，如图1所示，本实施例的复合数据项标签的通用数据源访问方法，包括：P1、接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签。可以理解的是，所述数据获取请求中的数据属性字段包含的数据项标签，代表需要获取的数据项。本实施例是针对用户终端发送的数据获取请求中的数据属性字段包含至少两个数据项标签的情况，实现数据源的访问，例如，所述数据获取请求中的数据属性字段包含的数据项标签可以为Attr1、Attr2、…、Attrn，n为所述数据获取请求中的数据属性字段包含的数据项标签的数量。可以理解的是，所述最高成本上限MaxMoney代表本次访问用户终端接受的最高成本，例如假设MaxMoney为1元，则意味着使用所述用户终端的用户最多愿意花1元获得所述数据项标签的数据项。可以理解的是，所述最长返回时间MaxTime代表本次访问用户终端最长可以等待获得数据项标签的值的时间。需要说明的是，本实施例所述方法的执行主体为数据服务平台。P2、在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合。可以理解的是，由于所述数据获本文档来自技高网...

【技术保护点】
1.一种复合数据项标签的通用数据源访问方法，其特征在于，包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设通用数据源访问策略，所述预设通用数据源访问策略考虑时间和成本，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。

【技术特征摘要】
1.一种复合数据项标签的通用数据源访问方法，其特征在于，包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含至少两个数据项标签；在所有数据源中寻找含有所述数据属性字段中所有数据项标签的数据源，以及在所有数据源中寻找含有所述数据属性字段中部分数据项标签的不同数据源组合成的数据源组合，所述数据源组合包括所述数据属性字段中所有数据项标签，将所有寻找的数据源和数据源组合组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设通用数据源访问策略，所述预设通用数据源访问策略考虑时间和成本，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求；接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。2.根据权利要求1所述的复合数据项标签的通用数据源访问方法，其特征在于，基于所读取的MaxMoney和MaxTime，按照预设通用数据源访问策略，所述预设通用数据源访问策略考虑时间和成本，在第一数据源集合中挑选独立的数据源或数据源组合发送本次数据访问请求，包括：对于第一数据源集合中每个独立的数据源或数据源组合中的每个数据源，判断所述数据源对应的访问状态属性列表List的总数是否大于所述数据源预设的每秒最大访问频次TopTPS，若否，则确定所述数据源可以访问，将第一数据源集合中所有可以访问的独立的数据源或数据源组合加入第二数据源集合；对于第二数据源集合中每个独立的数据源或数据源组合中的每个数据源，根据所述数据源的访问状态属性列表List，获取所述数据源在过去一秒内的平均访问成功比例AvgSucc，判断所述AvgSucc是否小于预设阈值，若否，则保留所述数据源，将第二数据源集合中本次保留的独立的数据源或数据源组合加入第三数据源集合；获取所述第三数据源集合中每个独立的数据源含有所述数据属性字段中数据项标签的价格，并获取所述第三数据源集合中每个数据源组合含有所述数据属性字段中数据项标签的价格总和，将所述第三数据源集合中含有所述数据属性字段中数据项标签的价格小于所述MaxMoney的独立的数据源和所述第三数据源集合中含有所述数据属性字段中数据项标签的价格总和小于所述MaxMoney的数据源组合，组成第四数据源集合；对于第四数据源集合中每个独立的数据源或每个数据源组合，根据每个数据源的访问状态属性列表List，获取每个数据源在过去一秒内的平均访问时间AvgTime访问属性对应的价格Price，根据第四数据源集合中每个数据源的AvgTime，获取所述第四数据源集合中每个独立的数据源或每个数据源组合的总耗费时间TotalTime，根据当前数据平台的平均被商户请求TPS和数据平台的峰值容量TPS，获取本次向数据源请求的最高预估允许访问时间EstimateTime，判断所述TotalTime是否小于MaxTime的同时小于EstimateTime，若是，则将所述独立的数据源或数据源组合加入第五数据源集合；在所述第五数据源集合中，挑选Price最低的独立的数据源或数据源组合发送本次数据访问请求。3.根据权利要求1所述的复合数据项标签的通用数据源访问方法，其特征在于，在接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，所述方法还包括：根据所述本次数据访问的结果，生成一个本次访问的状态属性对象，所述本次访问的状态属性对象，包括：本次访问是否成功和本次访问的耗费时间，将生成的本次访问的状态属性对象加入所挑选的独立的数据源或数据源组合所对应的访问状态属性列表List。4.根据权利要求3所述的复合数据项标签的通用数据源访问方法，其特征在于，在将生成的本次访问的状态属性对象加入所挑选的独立的数据源或数据源组合所对应的访问状态属性列表List之后，所述方法还包括：在预设数据生存时间TTL之后，所挑选的独立的数据源或数据源组合所对应的访问状态属性列表List中所加入的本次访问的状态属性对象被自动清除。5.根据权利要求2所述的复合数据项标签的通用数据源访问方法，其特征在于，在接收所挑选的独立的数据源或数据源组合返回的本次数据访问的结果之后，所述方法还包括：若访问失败，则判断本次的访问时间ProcessTime是否大于MaxTime；若本次的访问时间ProcessTime小于等于MaxTime，则将所述MaxTime减去ProcessTime，获得剩余允许时间LeftTime，在所述第五数据源集合中选择AvgTime小于LeftTime的数据源，从当前选择的数据源中挑选Price最低的数据源，针对当前挑选的Price最低的数据源，返回执行所述根据每个数据源的访问状态属性列表List，获取每个数据源在过去一秒内的平均访问时间AvgTime访问属性对应的价格Price的步骤；若本次的访问时间ProcessTime大于MaxTime，则获取数据失败，将获取数据失败的信息发送给所述用户终端。6.根据权利要求2所述的复合数据项标签的通用数据源访问方法，其特征在于，在判断所述数据源对应的访问状态属性列表List的总数是否大于所述数据源对应预设的每秒最大访问频次TopTPS之后，所述方法还包括：若所述数据源对应的访问状态属性列表List的总数大于所述数据源预设的TopTPS，则不访问所述数据源。7.根据权利要求2所述的复合数据项标签的通用数据源访问方法，其特征在于，在判断所述AvgSucc是否小于预设阈值之后，所述方法还包括：若所述AvgSucc小于预设阈值，则将所述数据源抛弃。8.根据权利要求2所述的复合数据项标签的通用数据源访问方法，其特征在于，在判断所述TotalTime是否小于MaxTime的同时小于EstimateTime之后，所述方法还包括：若所述TotalTime不满足小于MaxTime的同时小于EstimateTime，则将所述独立的数据源或数据源组合抛弃。9.一种复合数据项标签的通用数据源访问装置，其特征在于，包括：第一接收模块，用于接收用户终端发送的数据获取请求，读取所述数据获取...

【专利技术属性】
技术研发人员：张惠亮，李贲，吴锋海，刘胜，
申请(专利权)人：联动优势科技有限公司，
类型：发明
国别省市：北京,11