数据处理方法及装置制造方法及图纸

本申请公开了一种数据处理方法及装置。其中，该方法包括：获取输入数据流，其中，输入数据流携带有状态标识，状态标识用于标识输入数据流的状态；检测状态标识是否为第一预设状态标识；如果检测出状态标识为第一预设状态标识，则将输入数据流发送至第一数据处理模块；以及通过第一数据处理模块对输入数据流执行数据处理，得到输出数据流。通过本申请，解决了相关技术中数据处理方法的复用性较差的技术问题。

Data processing method and apparatus

The present invention discloses a data processing method and device. Among them, the method includes: obtaining input data stream, wherein the input data stream carrying state identification, state identification is used to identify the input data stream state detection; state identification is the first preset state identification; if the detected state is identified as the first preset identification, the input data stream is transmitted to the first data processing module and through the first; the data processing module performs data processing of the input data stream, output data stream. Through this application, the technical problems of poor reuse of data processing methods in related technologies are solved.

【技术实现步骤摘要】
数据处理方法及装置
本申请涉及数据处理领域，具体而言，涉及一种数据处理方法及装置。
技术介绍
随着互联网技术的深度应用，高并发的大数据量处理已然成为企业的关键技术之一。对于目前的多线程技术，由于实现方法的复杂性，使得其并发的相关处理逻辑极易入侵业务处理过程，从而造成业务逻辑与并发逻辑的强耦合，导致该方法的复用性被弱化。由于需要投入大量的精力处理并发问题，导致开发者无法聚焦业务本身，大大降低了数据处理效率。另外，对于业务逻辑和并发逻辑冗余度很高的数据同步伺服程序，难以进行优化，并且随着其他平台的接入维护的成本也会不断激增。在相关技术中，TPLDataflow是面向高并发应用和高性能而推出的一个类库。借助于异步消息传递与管道，它可以提供比线程池更好的控制，也比手工线程方式具备更好的性能，可以满足多种应用场景。但是，该方案具有以下缺陷：(1)入侵性。该技术屏蔽了诸多多线程细节，同时新的框架引入了新的规范，逻辑处理中很难不通过业务抽象来规避其入侵性，而业务过度抽象又导致复用性降低，从而分散开发者的关注度。(2)耦合性高。容易对其产生依赖和耦合，程序升级与业务规模成正比，难以实现。针对相关技术中数据处理逻辑的复用性较差的技术问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种数据处理方法及装置，以至少解决相关技术中数据处理方法的复用性较差的技术问题。根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取输入数据流，其中，输入数据流携带有状态标识，状态标识用于标识输入数据流的状态；检测状态标识是否为第一预设状态标识；如果检测出状态标识为第一预设状态标识，则将输入数据流发送至第一数据处理模块；以及通过第一数据处理模块对输入数据流执行数据处理，得到输出数据流。进一步地，第一预设状态标识包括以下任意一种状态标识：可用状态标识和忽略状态标识，其中，如果检测出状态标识为可用状态标识，则通过第一数据处理模块对输入数据流执行数据处理包括：通过第一数据处理模块对输入数据流执行第一预设数据处理，如果检测出状态标识为忽略状态标识，则通过第一数据处理模块对输入数据流执行数据处理包括：第一数据处理模块默认对输入数据流不执行数据处理。进一步地，通过以下方式生成输入数据流：接收查询请求；根据查询请求获取元数据；将元数据发送至第二数据处理模块以执行数据处理，得到第一子输入数据流；检测第一子输入数据流的状态，得到检测结果；根据检测结果生成状态标识；以及根据第一子输入数据流和状态标识生成输入数据流。进一步地，将元数据发送至第二数据处理模块以执行数据处理，得到第一子输入数据流包括：利用第二数据处理模块对元数据执行数据处理，得到第二子输入数据流；获取元数据的引用；以及根据第二子输入数据流和元数据的引用生成第一子输入数据流。进一步地，在获取输入数据流之后，该方法还包括：检测状态标识是否为第二预设状态标识，其中，第二预设状态标识用于标识输入数据流为损坏的数据，其中，如果检测出状态标识为第二预设状态标识，则根据元数据的引用追溯元数据。进一步地，通过以下方式生成输入数据流：接收查询请求；以及根据查询请求获取元数据，并将元数据作为输入数据流，其中，输入数据流的状态标识默认为可用状态标识，通过第一数据处理模块对输入数据流执行数据处理包括：通过第一数据处理模块对输入数据流执行第一预设数据处理。进一步地，输入数据流包括多个子输入数据流，多个子输入数据流包括第三子输入数据流和第四子输入数据流，第一数据处理模块包括多个子数据处理模块，多个子数据处理模块包括第一子数据处理模块和第二子数据处理模块，第一子数据处理模块用于对第三子输入数据流执行数据处理，第二子数据处理模块用于对第四子输入数据流执行数据处理，将输入数据流发送至第一数据处理模块包括：以串行模式，将第三子输入数据流发送至第一子数据处理模块以及将第四子输入数据流发送至第二子数据处理模块；或者以并行模式，将第三子输入数据流发送至第一子数据处理模块以及将第四子输入数据流发送至第二子数据处理模块。根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：获取单元，用于获取输入数据流，其中，输入数据流携带有状态标识，状态标识用于标识输入数据流的状态；检测单元，用于检测状态标识是否为第一预设状态标识；发送单元，用于在检测出状态标识为第一预设状态标识时，将输入数据流发送至第一数据处理模块；以及数据处理单元，用于通过第一数据处理模块对输入数据流执行数据处理，得到输出数据流。进一步地，第一预设状态标识包括以下任意一种状态标识：可用状态标识和忽略状态标识，其中，如果检测出状态标识为可用状态标识，则数据处理单元包括：第一处理模块，用于通过第一数据处理模块对输入数据流执行第一预设数据处理，如果检测出状态标识为忽略状态标识，则数据处理单元包括：第二处理模块，用于第一数据处理模块默认对输入数据流不执行数据处理。进一步地，获取单元包括：接收模块，用于接收查询请求；获取模块，用于根据查询请求获取元数据；发送模块，用于将元数据发送至第二数据处理模块以执行数据处理，得到第一子输入数据流；检测模块，用于检测第一子输入数据流的状态，得到检测结果；第一生成模块，用于根据检测结果生成状态标识；以及第二生成模块，用于根据第一子输入数据流和状态标识生成输入数据流。在本申请实施例中，通过获取输入数据流，其中，输入数据流携带有状态标识，状态标识用于标识输入数据流的状态；检测状态标识是否为第一预设状态标识；如果检测出状态标识为第一预设状态标识，则将输入数据流发送至第一数据处理模块；以及通过第一数据处理模块对输入数据流执行数据处理，得到输出数据流，解决了相关技术中数据处理方法的复用性较差的技术问题，达到了提高数据处理方法的复用性的技术效果。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的数据处理方法的流程图；以及图2是根据本申请实施例的数据处理装置的示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本申请实施例，提供了一种数据处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：获取输入数据流，其中，所述输入数据流携带有状态标识，所述状态标识用于标识所述输入数据流的状态；检测所述状态标识是否为第一预设状态标识；如果检测出所述状态标识为所述第一预设状态标识，则将所述输入数据流发送至第一数据处理模块；以及通过所述第一数据处理模块对所述输入数据流执行数据处理，得到输出数据流。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取输入数据流，其中，所述输入数据流携带有状态标识，所述状态标识用于标识所述输入数据流的状态；检测所述状态标识是否为第一预设状态标识；如果检测出所述状态标识为所述第一预设状态标识，则将所述输入数据流发送至第一数据处理模块；以及通过所述第一数据处理模块对所述输入数据流执行数据处理，得到输出数据流。2.根据权利要求1所述的方法，其特征在于，所述第一预设状态标识包括以下任意一种状态标识：可用状态标识和忽略状态标识，其中，如果检测出所述状态标识为所述可用状态标识，则通过所述第一数据处理模块对所述输入数据流执行数据处理包括：通过所述第一数据处理模块对所述输入数据流执行第一预设数据处理，如果检测出所述状态标识为所述忽略状态标识，则通过所述第一数据处理模块对所述输入数据流执行数据处理包括：所述第一数据处理模块默认对所述输入数据流不执行数据处理。3.根据权利要求1所述的方法，其特征在于，通过以下方式生成所述输入数据流：接收查询请求；根据所述查询请求获取元数据；将所述元数据发送至第二数据处理模块以执行数据处理，得到第一子输入数据流；检测所述第一子输入数据流的状态，得到检测结果；根据所述检测结果生成所述状态标识；以及根据所述第一子输入数据流和所述状态标识生成所述输入数据流。4.根据权利要求3所述的方法，其特征在于，将所述元数据发送至第二数据处理模块以执行数据处理，得到第一子输入数据流包括：利用所述第二数据处理模块对所述元数据执行数据处理，得到第二子输入数据流；获取所述元数据的引用；以及根据所述第二子输入数据流和所述元数据的引用生成所述第一子输入数据流。5.根据权利要求4所述的方法，其特征在于，在获取输入数据流之后，所述方法还包括：检测所述状态标识是否为第二预设状态标识，其中，所述第二预设状态标识用于标识所述输入数据流为损坏的数据，其中，如果检测出所述状态标识为所述第二预设状态标识，则根据所述元数据的引用追溯所述元数据。6.根据权利要求1所述的方法，其特征在于，通过以下方式生成所述输入数据流：接收查询请求；以及根据所述查询请求获取元数据，并将所述元数据作为所述输入数据流，其中，所述输入数据流的状态标识默认为可用状态标识，通过所述第一数据处理模块对所述输入数据流执行数据处理包括...

【专利技术属性】
技术研发人员：商平锋，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11