本发明专利技术涉及一种基于动态优先级实现高速数据补维处理的方法，包括以下步骤：搭建动态补维系统；根据动态补维系统进行补维，补维操作模块获取实时处理数据流内的数据，根据获取的数据查找补维数据缓存，若补维数据缓存命中且没有被污染，则补维操作模块根据补维相关数据完成补维操作并将结果放入实时处理数据流；若缓存没有命中，则将数据放入待补维队列，设置待补维处理模块监控所述的待补维队列；若缓存命中且污染标识模块指示数据被污染，则查找补维策略，根据补维策略进行补维处理。采用了本发明专利技术的基于动态优先级实现高速数据补维处理的方法、装置、处理器及其计算机可读存储介质，通过单独的待补维队列实时刷新缓存，提高补维效率，保证补维准确度。保证补维准确度。保证补维准确度。
【技术实现步骤摘要】
基于动态优先级实现高速数据补维处理的方法、装置、处理器及其计算机可读存储介质
[0001]本专利技术涉及数据处理领域，尤其涉及动态补维领域，具体是指一种基于动态优先级实现高速数据补维处理的方法、装置、处理器及其计算机可读存储介质。
技术介绍
[0002]实时处理是指在外部数据流入系统过程中，能够快速(秒级或者毫秒级)处理并输出结果的处理模型。在实时数据处理的过程中，原始流入的数据会出现一些信息缺失。这些信息实际上是通过查询外部相关的数据表格，或者外部文件可以获取的，于是就出现了一个补维操作。这个补维操作就是基于原始数据提供的信息，通过查找其他数据源，得到缺失的信息，获取完成后把这些内容补充到原始数据上，并进一步放入实时数据流，供后续的进一步操作。
[0003]补维操作面临的技术问题就是实时处理必须在很短的时间内完成，所以补维操作能够占用的时间有限，必须在毫秒或者秒级时间内完成。而查询外部数据源(比如运维CMDB)往往耗时比较长，会影响这个实时处理的效率。关于提升补维操作效率的解决办法，比较常用的办法就是把这个关系缓存到一张单独的表格中，在补维操作中，就查询这个缓存的表格快速找到补维需要的信息。这种方案的一个缺陷就是如果这种外部数据本身就是动态的，会发生变化，原始的缓存机制就会出现问题，因为数据本身不准确了。
技术实现思路
[0004]本专利技术的目的是克服了上述现有技术的缺点，提供了一种满足补维速度快、准确度高、适用范围较为广泛的基于动态优先级实现高速数据补维处理的方法、装置、处理器及其计算机可读存储介质。
[0005]为了实现上述目的，本专利技术的基于动态优先级实现高速数据补维处理的方法、装置、处理器及其计算机可读存储介质如下：
[0006]该基于动态优先级实现高速数据补维处理的方法，其主要特点是，所述的方法包括以下步骤：
[0007](1)搭建动态补维系统，所述的动态补维系统包括原始数据源、补维数据缓存、补维操作模块和实时处理数据流，所述的补维数据缓存包括补维相关缓存数据、污染标识模块和污染时间；
[0008](2)根据动态补维系统进行补维，补维操作模块获取实时处理数据流内的数据，根据获取的数据查找补维数据缓存，若补维数据缓存命中且没有被污染，则继续步骤(3)；若缓存没有命中，则继续步骤(4)；若缓存命中且污染标识模块指示数据被污染，则继续步骤(5)；
[0009](3)补维操作模块根据补维相关数据完成补维操作并将结果放入实时处理数据流；
[0010](4)将数据放入待补维队列，设置待补维处理模块监控所述的待补维队列，若待补维队列内有数据，则待补维处理模块对数据进行处理；
[0011](5)查找补维策略，根据补维策略进行补维处理。
[0012]较佳地，所述的步骤(4)的待补维处理模块对数据进行处理的步骤具体包括以下处理过程：
[0013]根据数据查询原始数据源内的相关数据，完成补维并将结果放入所述实时处理数据流，若所述原始数据源内没有相关数据，则将该数据加入所述补维数据缓存中补维相关缓存数据内。
[0014]较佳地，所述的步骤(5)中的补维策略包括速度优先和准确度优先，如果补维策略为速度优先，则使用被污染的数据进行补维；如果补维策略为准确度优先，则继续步骤(4)。
[0015]较佳地，所述的步骤(5)中的补维策略还包括判断时间t内的数据速度优先的策略，若污染时间在判断时间t内，则使用被污染的数据进行补维，否则继续步骤(4)。
[0016]较佳地，所述的步骤(1)的污染标识模块内包含污染标识信息，根据补维相关缓存数据与原始数据源是否发生变化来进行判断，所述的污染标识信息包括已经污染和没有污染。
[0017]较佳地，所述的动态补维系统还包括监控模块，用于监控原始数据源的变更。
[0018]较佳地，在原始数据源发生变化时，监控模块将补维数据缓存中对应补维相关缓存数据的污染标识模块进行刷新，如果污染标识模块内的污染标识信息为已经污染，则不作操作；如果污染标识信息为没有污染，则改变污染标识信息为已经污染，并记录改变时间形成污染时间。
[0019]该用于实现基于动态优先级的高速数据补维处理的装置，其主要特点是，所述的装置包括：
[0020]处理器，被配置成执行计算机可执行指令；
[0021]存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于动态优先级实现高速数据补维处理的方法的各个步骤。
[0022]该用于实现基于动态优先级的高速数据补维处理的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述的基于动态优先级实现高速数据补维处理的方法的各个步骤。
[0023]该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述的基于动态优先级实现高速数据补维处理的方法的各个步骤。
[0024]采用了本专利技术的基于动态优先级实现高速数据补维处理的方法、装置、处理器及其计算机可读存储介质，在保留缓存机制的前提下，能够动态进行缓存刷新，对于依赖刷新后的数据的补维操作，通过单独的待补维队列，不阻挡后续其他数据流操作的前提下实时刷新缓存，提高补维效率，同时保证补维准确度。并且，本专利技术的基于动态优先级实现的高速数据补维的方法提供了一种灵活的机制，可以支持实时要求高到数据准确性要求高的不同策略。
附图说明
[0025]图1为本专利技术的基于动态优先级实现高速数据补维处理的方法的。
具体实施方式
[0026]为了能够更清楚地描述本专利技术的
技术实现思路
，下面结合具体实施例来进行进一步的描述。
[0027]本专利技术的该基于动态优先级实现高速数据补维处理的方法，其中包括以下步骤：
[0028](1)搭建动态补维系统，所述的动态补维系统包括原始数据源、补维数据缓存、补维操作模块和实时处理数据流，所述的补维数据缓存包括补维相关缓存数据、污染标识模块和污染时间；
[0029](2)根据动态补维系统进行补维，补维操作模块获取实时处理数据流内的数据，根据获取的数据查找补维数据缓存，若补维数据缓存命中且没有被污染，则继续步骤(3)；若缓存没有命中，则继续步骤(4)；若缓存命中且污染标识模块指示数据被污染，则继续步骤(5)；
[0030](3)补维操作模块根据补维相关数据完成补维操作并将结果放入实时处理数据流；
[0031](4)将数据放入待补维队列，设置待补维处理模块监控所述的待补维队列，若待补维队列内有数据，则待补维处理模块对数据进行处理；
[0032](5)查找补维策略，根据补维策略进行补维处理。
[0033]作为本专利技术的优选实施方式，所述的步骤(4)的待补维处理模块对数据进行处理的步骤具体包括以下处理过程：
[0034]根据数据查询原始数据源内的相关数据，完成补维并将结果放入所述实时处理数据流本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于动态优先级实现高速数据补维处理的方法，其特征在于，所述的方法包括以下步骤：(1)搭建动态补维系统，所述的动态补维系统包括原始数据源、补维数据缓存、补维操作模块和实时处理数据流，所述的补维数据缓存包括补维相关缓存数据、污染标识模块和污染时间；(2)根据动态补维系统进行补维，补维操作模块获取实时处理数据流内的数据，根据获取的数据查找补维数据缓存，若补维数据缓存命中且没有被污染，则继续步骤(3)；若缓存没有命中，则继续步骤(4)；若缓存命中且污染标识模块指示数据被污染，则继续步骤(5)；(3)补维操作模块根据补维相关数据完成补维操作并将结果放入实时处理数据流；(4)将数据放入待补维队列，设置待补维处理模块监控所述的待补维队列，若待补维队列内有数据，则待补维处理模块对数据进行处理；(5)查找补维策略，根据补维策略进行补维处理。2.根据权利要求1所述的基于动态优先级实现高速数据补维处理的方法，其特征在于，所述的步骤(4)的待补维处理模块对数据进行处理的步骤具体包括以下处理过程：根据数据查询原始数据源内的相关数据，完成补维并将结果放入所述实时处理数据流，若所述原始数据源内没有相关数据，则将该数据加入所述补维数据缓存中补维相关缓存数据内。3.根据权利要求1所述的基于动态优先级实现高速数据补维处理的方法，其特征在于，所述的步骤(5)中的补维策略包括速度优先和准确度优先，如果补维策略为速度优先，则使用被污染的数据进行补维；如果补维策略为准确度优先，则继续步骤(4)。4.根据权利要求3所述的基于动态优先级实现高速数据补维处理的方法，其特征在于，所述的步骤(5)中的补维策略还包括判断时间t内的数据速度优先的策略，若污染时间在判断时间t内，则使...
【专利技术属性】
技术研发人员：俞枫，曾宏祥，毛梦非，王厦，冯一欣，吴康，叶璞钰，朱晓云，
申请(专利权)人：国泰君安证券股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。