基于单数据项标签的数据源访问方法及装置制造方法及图纸

本发明专利技术实施例提供一种基于单数据项标签的数据源访问方法及装置，方法包括：针对用户终端发送的数据获取请求中数据属性字段包含一个数据项标签的情况，通过寻找含有数据项标签的所有数据源，组成第一数据源集合；基于所读取的最高成本上限MaxMoney和最长返回时间MaxTime，按照预设访问策略，所述预设访问策略考虑时间和成本，在第一数据源集合中挑选数据源，发送本次数据访问请求；接收所挑选的数据源返回的本次数据访问的结果，若访问成功则将本次数据访问的结果发给用户终端。可针对用户终端发送的数据获取请求中的数据属性字段包括一个数据项标签的情况，提供高性能、最快、最经济的数据源访问方式，满足对于数据源访问时间和降低数据源成本的要求。

Data source access method and device based on single data item label

【技术实现步骤摘要】
基于单数据项标签的数据源访问方法及装置
本专利技术涉及计算机
，尤其涉及一种基于单数据项标签的数据源访问方法及装置。
技术介绍
近年来，随着大数据风控技术的不断完善，为了提升模型准确率，商户需要从不同数据源获取更多的数据作为模型变量，为了提高效率和降低成本，一般都会选择从数据服务平台获取数据。而数据服务平台，作为一个中间平台，参见图3，会外接很多(第三方)数据源，这些数据源可以为平台提供相同或不同的数据项。现有技术提供的数据源访问方法，是通过每次数据请求时都对之前的数据源生成访问评估参量，如果满足一定条件，则计算第二数据源的访问评估参量；对于不同的条件设定，会判断是不是切换数据源的方式进行；访问评估参量的指标主要为通过率；对于切换数据源的策略，还有人工干预选项策略，人工干预选项优先级优于切换条件。但是，现有技术提供的数据源访问方法主要是考虑到当前访问数据源和历史访问数据源的评判参量发生变化时候采用不同的策略，主要是基于业务的通过率等简单指标，对于用户终端发送的数据获取请求中的数据属性字段包含一个数据项标签的情况，无法满足数据源TPS(TransactionPerSecond，每秒执行的事务数量)的要求，也无法满足商户对于超时时间、降低数据源成本以提升平台整体收益的要求。
技术实现思路
针对现有技术存在的问题，本专利技术实施例提供一种基于单数据项标签的数据源访问方法及装置。本专利技术实施例提供一种基于单数据项标签的数据源访问方法，包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含一个数据项标签；在所有数据源中寻找含有所述数据项标签的所有数据源，组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设访问策略，所述预设访问策略考虑时间和成本，在第一数据源集合中挑选数据源，发送本次数据访问请求；接收所挑选的数据源返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。本专利技术实施例提供一种基于单数据项标签的数据源访问装置，包括：第一接收模块，用于接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含一个数据项标签；组成模块，用于在所有数据源中寻找数据属性字段中含有所述数据项标签的所有数据源，组成第一数据源集合；挑选模块，用于基于所读取的MaxMoney和MaxTime，按照预设访问策略，所述预设访问策略考虑时间和成本，在第一数据源集合中挑选数据源，发送本次数据访问请求；第二接收模块，用于接收所挑选的数据源返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。本专利技术实施例提供的基于单数据项标签的数据源访问方法及装置，针对用户终端发送的数据获取请求中的数据属性字段包含一个数据项标签的情况，通过在所有数据源中寻找含有所述数据项标签的所有数据源，组成第一数据源集合的情况，基于所读取的MaxMoney和MaxTime，按照预设访问策略，所述预设访问策略考虑时间和成本，在第一数据源集合中挑选数据源发送本次数据访问请求，接收所挑选的数据源返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端，由此，能够针对用户终端发送的数据获取请求中的数据属性字段包含一个数据项标签的情况，提供高性能的数据源访问方式，可满足对于数据源访问时间和降低数据源成本的要求，以最快、最经济的方式向用户终端返回访问成功结果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的一种基于单数据项标签的数据源访问方法的流程示意图；图2为本专利技术一实施例提供的一种基于单数据项标签的数据源访问装置的结构示意图；图3为现有的用户终端通过数据服务平台服务访问多个数据源的原理示意图；图4为本专利技术一实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1示出了本专利技术一实施例提供的一种基于单数据项标签的数据源访问方法的流程示意图，如图1所示，本实施例的基于单数据项标签的数据源访问方法，包括：P1、接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含一个数据项标签。可以理解的是，本实施例是针对用户终端发送的数据获取请求中的数据属性字段包含一个数据项标签的情况，实现数据源的访问。可以理解的是，所述数据属性字段包含的数据项标签，代表需要获取的数据项。可以理解的是，所述最高成本上限MaxMoney代表本次访问用户终端接受的最高成本，例如假设MaxMoney为1元，则意味着使用所述用户终端的用户最多愿意花1元获得所述数据项标签的数据项。可以理解的是，所述最长返回时间MaxTime代表本次访问用户终端最长可以等待获得数据项标签的值的时间。需要说明的是，本实施例所述方法的执行主体为数据服务平台。P2、在所有数据源中寻找含有所述数据项标签的所有数据源，组成第一数据源集合。可以理解的是，通过数据服务平台要进行访问的数据源，必须含有所述数据获取请求中的数据属性字段中的数据项标签。P3、基于所读取的MaxMoney和MaxTime，按照预设访问策略，所述预设访问策略考虑时间和成本，在第一数据源集合中挑选数据源，发送本次数据访问请求。可以理解的是，所述预设访问策略考虑时间和成本，能够在第一数据源集合中挑选满足访问时间和数据源成本要求的数据源，提高访问数据源的速度。P4、接收所挑选的数据源返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。可以理解的是，本实施例所述方法是针对用户终端发送的数据获取请求中的数据属性字段包含一个数据项标签的情况，通过在所有数据源中寻找含有所述数据项标签的所有数据源，组成第一数据源集合的情况，基于所读取的MaxMoney和MaxTime，按照预设访问策略，所述预设访问策略考虑时间和成本，在第一数据源集合中挑选数据源发送本次数据访问请求，接收所挑选的数据源返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端，能够提供高性能的数据源访问方式，可满足对于数据源访问时间和降低数据源成本的要求，以最快、最经济的方式向用户终端返回访问成功结果。本专利技术实施例提供的一种基于单数据项标签的本文档来自技高网...

【技术保护点】
1.一种基于单数据项标签的数据源访问方法，其特征在于，包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含一个数据项标签；在所有数据源中寻找含有所述数据项标签的所有数据源，组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设访问策略，所述预设访问策略考虑时间和成本，在第一数据源集合中挑选数据源，发送本次数据访问请求；接收所挑选的数据源返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。

【技术特征摘要】
1.一种基于单数据项标签的数据源访问方法，其特征在于，包括：接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高成本上限MaxMoney和最长返回时间MaxTime，其中，所述数据属性字段包含一个数据项标签；在所有数据源中寻找含有所述数据项标签的所有数据源，组成第一数据源集合；基于所读取的MaxMoney和MaxTime，按照预设访问策略，所述预设访问策略考虑时间和成本，在第一数据源集合中挑选数据源，发送本次数据访问请求；接收所挑选的数据源返回的本次数据访问的结果，若访问成功，则将本次数据访问的结果发送给用户终端。2.根据权利要求1所述的基于单数据项标签的数据源访问方法，其特征在于，所述基于所读取的MaxMoney和MaxTime，按照预设访问策略，所述预设访问策略考虑时间和成本，在第一数据源集合中挑选数据源，发送本次数据访问请求，包括：对于第一数据源集合中每个数据源，判断所述数据源对应的访问状态属性列表List的总数是否大于所述数据源预设的每秒最大访问频次TopTPS，若否，则将所述数据源加入第二数据源集合；对于第二数据源集合中每个数据源，根据所述数据源的访问状态属性列表List，获取所述数据源在过去一秒内的平均访问成功比例AvgSucc，判断所述AvgSucc是否小于预设阈值，若否，则将所述数据源加入第三数据源集合；将所述第三数据源集合中含有数据项标签的价格小于所述MaxMoney的数据源，组成第四数据源集合；对于第四数据源集合中每个数据源，根据所述数据源的访问状态属性列表List，获取所述数据源在过去一秒内的平均访问时间AvgTime和访问属性对应的价格Price，根据当前数据平台的平均被商户请求TPS和数据平台的峰值容量TPS，获取本次向数据源请求的最高预估允许访问时间EstimateTime，判断所述AvgTime是否小于MaxTime的同时小于EstimateTime，若是，则将所述数据源加入第五数据源集合；在所述第五数据源集合中，挑选Price最低的数据源S1发送本次数据访问请求。3.根据权利要求1所述的基于单数据项标签的数据源访问方法，其特征在于，在接收所挑选的数据源返回的本次数据访问的结果之后，所述方法还包括：根据所述本次数据访问的结果，生成一个本次访问的状态属性对象，所述本次访问的状态属性对象，包括：本次访问是否成功和本次访问的耗费时间，将生成的本次访问的状态属性对象加入所挑选的数据源所对应的访问状态属性列表List。4.根据权利要求3所述的基于单数据项标签的数据源访问方法，其特征在于，在将生成的本次访问的状态属性对象加入所挑选的数据源所对应的访问状态属性列表List之后，所述方法还包括：在预设数据生存时间TTL之后，所挑选的数据源所对应的访问状态属性列表List中所加入的本次访问的状态属性对象被自动清除。5.根据权利要求2所述的基于单数据项标签的数据源访问方法，其特征在于，在接收所挑选的数据源返回的本次数据访问的结果之后，所述方法还包括：若访问失败，则判断本次的访问时间ProcessTime是否大于MaxTime；若本次的访问时间ProcessTime小于等于MaxTime，则将所述MaxTime减去ProcessTime，获得剩余允许时间LeftTime，在所述第五数据源集合中选择AvgTime小于LeftTime的数据源，从当前选择的数据源中挑选Price最低的数据源S2，针对所述数据源S2，返回执行所述根据所述数据源的访问状态属性列表List，获取所述数据源在过去一秒内的平均访问时间AvgTime和访问属性对应的价格Price的步骤；若本次的访问时间ProcessTime大于MaxTime，则获取数据失败，将获取数据失败的信息发送给所述用户终端。6.根据权利要求2所述的基于单数据项标签的数据源访问方法，其特征在于，在判断所述数据源对应的访问状态属性列表List的总数是否大于所述数据源对应预设的每秒最大访问频次TopTPS之后，所述方法还包括：若所述数据源对应的访问状态属性列表List的总数大于所述数据源预设的TopTPS，则不访问所述数据源。7.根据权利要求2所述的基于单数据项标签的数据源访问方法，其特征在于，在判断所述AvgSucc是否小于预设阈值之后，所述方法还包括：若所述AvgSucc小于预设阈值，则将所述数据源抛弃。8.根据权利要求2所述的基于单数据项标签的数据源访问方法，其特征在于，在判断所述AvgTime是否小于MaxTime的同时小于EstimateTime之后，所述方法还包括：若所述AvgTime不满足小于MaxTime的同时小于EstimateTime，则将所述数据源抛弃。9.一种基于单数据项标签的数据源访问装置，其特征在于，包括：第一接收模块，用于接收用户终端发送的数据获取请求，读取所述数据获取请求中的数据属性字段、最高...

【专利技术属性】
技术研发人员：张惠亮，李贲，吴锋海，刘胜，
申请(专利权)人：联动优势科技有限公司，
类型：发明
国别省市：北京,11