一种数据处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及介质，属于数据处理技术领域。该方法包括：获取数据发送端发送到消息队列中的车机数据，并确定所述车机数据的数据基准量；响应于数据处理端对所述车机数据的实时消费操作，确定消费数据以及所述消费数据的数据消费量；响应于数据落地端对所述消费数据的存储操作，确定存储数据的数据存储量；根据所述数据基准量、所述数据消费量和所述数据存储量，进行数据一致性校验。通过上述技术方案，能够保证数据在传输和处理过程中的准确性和完整性。输和处理过程中的准确性和完整性。输和处理过程中的准确性和完整性。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置、设备及介质。

技术介绍

[0002]随着大数据应用的广泛使用，流式数据处理逐步成为处理海量实时数据的重要手段。然而，在实际的应用场景中，流式数据处理存在诸多问题，如：数据丢失，重复，时序性等一致性的问题，给业务应用带来了诸多的困扰。例如，在车联领域中，一致性问题在车辆健康状态检测中可能导致车辆故障及异常的错误判断和延迟告警；在车辆安全和辅助驾驶系统中，一致性问题可能导致传感器数据处理过程中出现丢失或错误，可能直接导致车辆对周围环境和路况的判断异常，进而影响车辆的决策和控制，危机人身及道路安全。因此，如何确保数据在传输和处理过程中的准确和完整非常重要。

技术实现思路

[0003]本专利技术提供了一种数据处理方法、装置、设备及介质，以保证全链路数据的一致性，确定数据在传输和处理过程中的准确性和完整性。
[0004]根据本专利技术的一方面，提供了一种数据处理方法，该方法包括：
[0005]获取数据发送端发送到消息队列中的车机数据，并确定所述车机数据的数据基准量；
[0006]响应于数据处理端对所述车机数据的实时消费操作，确定消费数据以及所述消费数据的数据消费量；
[0007]响应于数据落地端对所述消费数据的存储操作，确定存储数据的数据存储量；
[0008]根据所述数据基准量、所述数据消费量和所述数据存储量，进行数据一致性校验。
[0009]根据本专利技术的另一方面，提供了一种数据处理装置，该装置包括：
[0010]数据获取模块，用于获取数据发送端发送到消息队列中的车机数据，并确定所述车机数据的数据基准量；
[0011]消费数据确定模块，用于响应于数据处理端对所述车机数据的实时消费操作，确定消费数据以及所述消费数据的数据消费量；
[0012]数据存储量确定模块，用于响应于数据落地端对所述消费数据的存储操作，确定存储数据的数据存储量；
[0013]数据校验模块，用于根据所述数据基准量、所述数据消费量和所述数据存储量，进行数据一致性校验。
[0014]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的
数据处理方法。
[0018]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据处理方法。
[0019]本专利技术实施例的技术方案，通过获取数据发送端发送到消息队列中的车机数据，并确定车机数据的数据基准量，之后响应于数据处理端对车机数据的实时消费操作，确定消费数据以及消费数据的数据消费量，进而响应于数据落地端对消费数据的存储操作，确定存储数据的数据存储量，最后根据数据基准量、数据消费量和数据存储量，进行数据一致性校验。上述技术方案，实时监测和验证数据的一致性，从而能够保证数据在传输和处理过程中的准确性和完整性。
[0020]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0021]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是根据本专利技术实施例一提供的一种数据处理方法的流程图；
[0023]图2是根据本专利技术实施例二提供的一种数据处理方法的流程图；
[0024]图3是根据本专利技术实施例三提供的一种数据处理装置的结构示意图；
[0025]图4是实现本专利技术实施例的数据处理方法的电子设备的结构示意图。
具体实施方式
[0026]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0027]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0028]此外，还需要说明的是，本专利技术的技术方案中，所涉及的车机数据等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0029]实施例一
[0030]图1是根据本专利技术实施例一提供的一种数据处理方法的流程图。本实施例可适用于车联领域中的流式数据处理过程中的如何保证数据一致性的情况，该方法可以由数据处理装置来执行，该装置可以采用硬件和/或软件的形式实现，并可集成于承载数据处理功能的电子设备中，例如服务器中的大数据平台。如图1所示，本实施例的数据处理方法可以包括：
[0031]S110、获取数据发送端发送到消息队列中的车机数据，并确定车机数据的数据基准量。
[0032]本实施例中，数据发送端是指车机数据的数据提供方。所谓车机数据是指车联领域中和车联相关的数据。所谓数据基准量是指上传至大数据平台中的车机数据的数据量，用于后续对车机数据处理过程中的一致性判断。
[0033]具体的，数据发送端可以通过Restful接口、实时数据集成工具(如：Oracle Golden Gate)、车机模块，基于4G/5G信号将车机数据上传至大数据平台的消息队列中，同时上传车机数据的数据发送量；相应的，大数据平台获取消息队列中的车机数据，并存储上传的数据发送量作为车机数据的数据基准量。
[0034]进一步的，有些工具应用无法统计车机数据的数据发送量，则可以依赖消息队列中实际的数据接收量来确定车机数据的数据基准量，具体可以是，根据消息队列中的起始数据偏移和结束数据偏移，确定车机数据的数据基准量。
[0035]其中，起始数据偏移是指开始接收数据时的偏移标记。结束本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据发送端发送到消息队列中的车机数据，并确定所述车机数据的数据基准量；响应于数据处理端对所述车机数据的实时消费操作，确定消费数据以及所述消费数据的数据消费量；响应于数据落地端对所述消费数据的存储操作，确定存储数据的数据存储量；根据所述数据基准量、所述数据消费量和所述数据存储量，进行数据一致性校验。2.根据权利要求1所述的方法，其特征在于，所述确定所述车机数据的数据基准量，包括：根据消息队列中的起始数据偏移和结束数据偏移，确定所述车机数据的数据基准量。3.根据权利要求1所述的方法，其特征在于，所述根据所述数据基准量、所述数据消费量和所述数据存储量，进行数据一致性校验，包括：根据所述数据基准量和所述数据消费量，确定所述数据处理端中消费数据是否与所述车机数据一致；根据所述数据基准量和所述数据存储量，确定所述数据落地端中存储数据是否与所述车机数据一致。4.根据权利要求3所述的方法，其特征在于，还包括：若所述消费数据与所述车机数据不一致，和/或，所述存储数据与所述车机数据不一致，则指示所述数据处理端和/或数据存储端进行数据重处理操作。5.根据权利要求4所述的方法，其特征在于，还包括：若数据重处理后，所述消费数据与所述车机数据不一致，和/或，所述存储数据与所述车机数据不一致，则生成告警信息，以指示相关人员进行异常处理。6.根据权利要求1所述的方法，其特征在于，还包括：对所述消息队列、所述数据处理端以及所述数据落地端进行数据实时监控。7.根据权利要求6所述的方法，其特征在于，所述对所述消息队列、所述数据处理...

【专利技术属性】
技术研发人员：陆菁源，潘佳，邓凌青，王仕杰，
申请(专利权)人：上海南洋宏优智能科技有限公司，
类型：发明
国别省市：