【技术实现步骤摘要】
本专利技术涉及数据处理领域，具体涉及一种数据请求方法、系统以及计算机设备。
技术介绍
1、现有技术中，针对传统任务式的资源提取，会存在多个任务间夹杂大量的部分重复提取的情况，例如：任务a提取1-15秒的视频资源，任务b提取5-20秒的资源，两者间5到15秒的资源是重复提取，在某些业务场景的某些特殊时间端，多个业务都会进行大量同质化提取，导致提取服务器成为热点，反复的执行同类操作，引起系统瘫痪。
2、若采用传统的工程逻辑手段进行优化，例如将大量任务状态入库管理进行增量计算，需要遍历所有状态，在内存中进行大量复杂逻辑计算，但是大量任务的超时、失败、完成状态也不易管理，还需要引入诸如异步消息队列、缓存等中间件，同时缓存的更新时效，任务结果的反复性，还会带来更复杂的逻辑计算。
技术实现思路
1、有鉴于此，为了克服上述问题的至少一个方面，本专利技术实施例提出一种数据请求方法，包括以下步骤：
2、响应于接收到资源提取请求，确定所述请求中待提取资源对应的时间区间；
3、获取所述时间区间对应的提取状态标识；
4、根据所述提取状态标识确定所述待提取资源的提取状态；
5、根据所述提取状态获取待提取资源。
6、在一些实施例中，根据所述提取状态获取待提取资源，进一步包括：
7、响应于所述待提取资源的提取状态为已提取，根据所述时间区间生成语义化存储地址并从所述语义化存储地址中获取所述待提取资源。
8、在一些实施例
9、根据所述时间区间和预设的前后缀生成语义化存储地址；
10、从所述语义化存储地址中获取所述待提取资源。
11、在一些实施例中，获取根据所述时间区间对应的提取状态标识，进一步还包括：
12、获取所述时间区间的起止时间；
13、根据所述起止时间和预设时间间隔将所述时间区间分成多个一级时间段；
14、确定每一个所述一级时间段对应的切片并根据对应切片的提取状态标识确定每一个所述一级时间段的提取状态。
15、在一些实施例中，还包括：
16、获取根据预设时间间隔将预设周期分成的多个切片，并为每一个切片设置提取状态标识。
17、在一些实施例中，根据所述提取状态获取待提取资源，进一步包括：
18、响应于若干个一级时间段对应的资源的提取状态为未提取，创建对应数量的采集任务以分别从采集设备中提取若干个所述一级时间段对应的资源；
19、根据每一个所述切片对应的时间确定语义化存储地址并将提取到的资源存储到相应的语义化存储地址中。
20、在一些实施例中，还包括：
21、设置n层级联，其中第n层包括多个n级时间段，每一个n级时间段包括多个(n-1)级时间段；
22、响应于n级时间段对应的多个(n-1)级时间段的提取状态为已提取，将所述n级时间段的提取状态更新为已提取。
23、在一些实施例中，响应于若干个一级时间段对应的资源的提取状态为未提取，创建对应数量的采集任务以分别从采集设备中提取若干个所述一级时间段对应的资源，进一步包括：
24、判断第一个一级时间段和最后一个一级时间段是否小于所述预设时间间隔；
25、响应于所述第一个一级时间段和/或所述最后一个一级时间段小于所述预设时间间隔，确定所述第一个一级时间段和/或所述最后一个一级时间段对应的提取状态；
26、响应于所述第一个一级时间段和/或所述最后一个一级时间段对应的提取状态为未提取，根据未提取的所述第一个一级时间段和/或所述最后一个一级时间段对应的切片提取相应的资源；
27、从所述相应的资源中截取所述第一个一级时间段和/或所述最后一个一级时间段对应的资源。
28、在一些实施例中，响应于所述待提取资源的提取状态为已提取，根据所述时间区间生成语义化存储地址并从所述语义化存储地址中获取所述待提取资源，进一步还包括：
29、响应于所述第一个一级时间段和/或所述最后一个一级时间段对应的提取状态为已提取，从相应的语义化存储地址中获取到对应的资源，并从所述对应的资源中截取所述第一个一级时间段和/或所述最后一个一级时间段对应的资源。
30、在一些实施例中，还包括：
31、更新所述若干个一级时间段对应的切片的提取状态标识。
32、在一些实施例中，还包括：
33、每隔预设时间生成所述若干个一级时间段对应的切片的快照；
34、基于所述快照确定采集任务的执行时间；
35、响应于所述执行时间超过时间阈值，则将所述对应的采集任务标记为失败。
36、在一些实施例中，还包括：
37、响应于检测到采集任务失败，将对应的采集任务放入到失败队列并进行任务重试，直到重试次数达到次数阈值仍失败，则标记为失败。
38、在一些实施例中，还包括：
39、响应于多个标记为失败的采集任务对应同一个所述采集设备，将所述采集设备标记为预警。
40、在一些实施例中，还包括：
41、响应于所述采集设备标记为预警，启动背压机制，并不再接收新的采集任务。
42、在一些实施例中，还包括：
43、响应于在相同的时间段内，标记为预警的采集设备的数量达到数量阈值，产生服务告警。
44、基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种数据提取系统，包括：
45、接收模块，配置为响应于接收到资源提取请求，确定所述请求中待提取资源对应的时间区间；
46、第一获取模块，配置为获取所述时间区间对应的提取状态标识；
47、确定模块，配置为根据所述提取状态标识确定所述待提取资源的提取状态；
48、第二获取模块，配置为根据所述提取状态获取待提取资源。
49、基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机设备，包括：
50、至少一个处理器；以及
51、存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行如上所述的任一种数据请求方法的步骤。
52、基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种数据请求方法的步骤。
53、本专利技术具有以下有益技术效果之一：本专利技术提出的方案通过设置提取状态标识，通过提取状态标识确定相应时间区间的资源的提取状态，这样当一段时间内的资源为已提取状态时，可以直接在相应的存储地址获取资源即可，无需重复提取，提升整体的提取效率。
本文档来自技高网...【技术保护点】
1.一种数据请求方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，根据所述提取状态获取待提取资源，进一步包括：
3.如权利要求2所述的方法，其特征在于，根据所述时间区间生成语义化存储地址并从所述语义化存储地址中获取所述待提取资源，进一步包括：
4.如权利要求2所述的方法，其特征在于，获取根据所述时间区间对应的提取状态标识，进一步还包括：
5.如权利要求4所述的方法，其特征在于，还包括：
6.如权利要求4所述的方法，其特征在于，根据所述提取状态获取待提取资源，进一步包括：
7.如权利要求6所述的方法，其特征在于，还包括：
8.如权利要求6所述的方法，其特征在于，响应于若干个一级时间段对应的资源的提取状态为未提取，创建对应数量的采集任务以分别从采集设备中提取若干个所述一级时间段对应的资源，进一步包括：
9.如权利要求8所述的方法，其特征在于，响应于所述待提取资源的提取状态为已提取，根据所述时间区间生成语义化存储地址并从所述语义化存储地址中获取所述待提取资源，进一步还
10.如权利要求6所述的方法，其特征在于，还包括：
11.如权利要求10所述的方法，其特征在于，还包括：
12.如权利要求10所述的方法，其特征在于，还包括：
13.如权利要求10或11所述的方法，其特征在于，还包括：
14.如权利要求13所述的方法，其特征在于，还包括：
15.如权利要求13所述的方法，其特征在于，还包括：
16.一种数据请求系统，其特征在于，包括：
17.一种计算机设备，包括：
...【技术特征摘要】
1.一种数据请求方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，根据所述提取状态获取待提取资源，进一步包括：
3.如权利要求2所述的方法，其特征在于，根据所述时间区间生成语义化存储地址并从所述语义化存储地址中获取所述待提取资源，进一步包括：
4.如权利要求2所述的方法，其特征在于，获取根据所述时间区间对应的提取状态标识，进一步还包括：
5.如权利要求4所述的方法，其特征在于，还包括：
6.如权利要求4所述的方法，其特征在于，根据所述提取状态获取待提取资源，进一步包括：
7.如权利要求6所述的方法，其特征在于，还包括：
8.如权利要求6所述的方法，其特征在于，响应于若干个一级时间段对应的资源的提取状态为未提取，创建对应数量的采集任务以...
【专利技术属性】
技术研发人员：宋靓，赵志猛，
申请(专利权)人：天翼交通科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。