一种车联网实时数据处理方法及系统技术方案

本发明专利技术公开了一种车联网实时数据处理方法及系统。该方法对车联网的终端数据进行实时监测，其中基于时间差值与固定频率相结合的监测策略动态地调整监测时间间隔，对监测到的数据进行实时审查，剔除其中的过期数据，对审查过的数据进行实时处理，清洗和修补其中的错误数据，通过引入双缓冲技术对处理过的数据进行实时存储。本发明专利技术不仅可以实时地提供更为具体、准确和可靠的车辆运行和状态信息，而且还提高了车联网海量数据传输存储实时性以及保证数据的完整性。

Real time data processing method and system for vehicle networking

The invention discloses a method and a system for real-time data processing of a vehicle network. The method of data terminal car network real-time monitoring, the method of dynamic monitoring of time difference and the fixed frequency based on the combination of the adjustment of monitoring time interval, real-time review of monitoring data, remove the expired data, real-time processing of censored data, cleaning and repair the error data by the introduction of double buffering technology for real-time storage of processed data. The invention not only can provide more specific, accurate and reliable vehicle operation and status information in real time, but also improves the real-time data transmission and storage of the vehicle network and ensures the integrity of the data.

【技术实现步骤摘要】

本专利技术涉及车联网数据处理技术，尤其涉及一种车联网实时数据处理方法及系统。
技术介绍
在“大数据”时代，随着3S技术在车辆定位、智能管理、车辆控制领域中的广泛应用，车联网应运而生。车联网是集数据采集、数据通信、实时监控、数据处理和数据挖掘为一体的计算机实时信息系统。实时数据的处理是整个系统工作的核心内容。实时数据的处理需要面向实时采集或分析计算产生的实时数据，其处理过程要求很强的时效性和可靠性，同时也会产生海量的历史数据。这些数据经过挖掘与分析计算，能够为车辆管控部门提供科学、实时、准确的交通信息服务，增加企业收益。因此，这对于海量的历史数据存储过程的实时性和可靠性要求也就越来越高。目前，车联网在车、路与人交互的过程中就会产生海量的数据。如何在给定条件下实时地提供更为具体、准确和可靠的车辆运行和状态信息，提高车联网海量数据传输存储的实时性和可靠性，尤为困难。这主要存在以下几方面的缺陷：1)数据标准化问题。由于车联网终端产生的数据具有“多源异构”的特性(如图片、文字、视频、音频等)，一般的软件工具难以全面地胜任这些数据的提取、管理和处理等工作。2)脏数据问题。由于数据量极大，难免会出现由于终端、人为、环境等因素造成的大量的数据质量问题。譬如数据不完整、奇异、冗余和不一致等。这些质量有问题的数据也被称之为“垃圾数据”。3)数据存储可靠性问题。数据的完整性对于用户来说是非常重要的。只有对完整的数据进行分析,用户才可能会得到准确客观的结果。现阶段，车联网实时数据的传输速度快、数据量大，但是数据存储过程的实时性和可靠性还存在很大的缺陷。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种新的车联网实时数据处理方法及系统。本专利技术提供的一种车联网实时数据处理方法，包括以下步骤：监测步骤，对车联网的终端数据进行实时监测，其中基于时间差值与固定频率相结合的监测策略动态地调整监测时间间隔；审查步骤，对监测到的数据进行实时审查，剔除其中的过期数据；处理步骤，对审查过的数据进行实时处理，清洗和修补其中的错误数据；存储步骤，对处理过的数据进行实时存储。根据本专利技术的实施例，所述监测步骤中，基于时间差值与固定频率相结合的监测策略为：在第一次启动后开始监测数据，并记录该数据的最近一次的更新时间t0，那么下一次要监测数据的时间点为最近一次的更新时间t0与预设的固定监测周期T0之和，此时若当前系统时间为Ts，则监测时间间隔为△t＝t0+T0-Ts；在时间点t0+T0再次监测数据：若该数据尚未更新，则自动调节距离下一次监测的监测时间间隔△t’，令△t’<△t，然后等待下一次监测，继续判断数据是否已经更新，如此反复直至监测到数据更新；其中，一旦数据更新，将监测时间间隔重新设置为预设的固定监测周期T0。根据本专利技术的实施例，所述审查步骤中，基于数据的性质和生存时间来判断数据是否过期，进而剔除过期数据。根据本专利技术的实施例，对于有时效限制的数据，若数据的生存时间大于预设的最大实时时延值，则判断数据为过期数据；其中，所述生存时间等于系统实际处理时间减去数据最近一次的更新时间。根据本专利技术的实施例，所述处理步骤中，采用窗口滑动技术实时清洗和修补错误数据。根据本专利技术的实施例，所述存储步骤中，采用循环缓冲区的存储模式对处理过的数据进行实时存储。此外，本专利技术还提供一种车联网实时数据处理系统，包括：数据实时监测层，用于对车联网的终端数据进行实时监测，其中基于时间差值与固定频率相结合的监测策略动态地调整监测时间间隔；数据实时审查层，用于对监测到的数据进行实时审查，剔除其中的过期数据；数据实时处理层，用于对审查过的数据进行实时处理，清洗和修补其中的错误数据；数据实时存储层，用于对处理过的数据进行实时存储。根据本专利技术的实施例，所述数据实时监测层采用的基于时间差值与固定频率相结合的监测策略为：在第一次启动后开始监测数据，并记录该数据的最近一次的更新时间t0，那么下一次要监测数据的时间点为最近一次的更新时间t0与预设的固定监测周期T0之和，此时若当前系统时间为Ts，则监测时间间隔为△t＝t0+T0-Ts；在时间点t0+T0再次监测数据：若该数据尚未更新，则自动调节距离下一次监测的监测时间间隔△t’，令△t’<△t，然后等待下一次监测，继续判断数据是否已经更新，如此反复直至监测到数据更新；其中，一旦数据更新，将监测时间间隔重新设置为预设的固定监测周期T0。根据本专利技术的实施例，所述数据实时审查层基于数据的性质和生存时间来判断数据是否过期，进而剔除过期数据。根据本专利技术的实施例，所述数据实时处理层采用窗口滑动技术实时清洗和修补错误数据。与现有技术相比，本专利技术的一个或多个实施例可以具有如下优点：本专利技术提出了一种新的车联网实时数据处理方法及系统。该方法及其系统主要用于针对车联网终端采集到的实时数据，对采集到的实时动态数据进行实时更新、数据审查、清洗处理以及缺失修补等，以提高数据质量。而且，还通过引入“双缓冲”技术实现海量历史数据实时存储。本专利技术不仅可以实时地提供更为具体、准确和可靠的车辆运行和状态信息，而且还提高了车联网海量数据传输存储实时性以及保证数据的完整性，从而能够对海量历史数据进行挖掘并分析计算出大量有用信息，为驾驶员、车辆管理公司、车辆监管部门实时提供科学、实时、准确的交通信息服务，进而改善交通服务和智能化管理。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是根据本专利技术实施例一的车联网实时数据处理系统的组成示意图；图2是根据本专利技术实施例二的车联网实时数据处理系统处理数据的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合附图，从系统架构的角度对本专利技术作进一步地详细说明。第一实施例图1是本专利技术实施例提供的车联网实时数据处理系统的组成示意图。从图1中可以看出，该系统主要由数据实时监测层100、数据实时审查层200、数据实时处理层300、数据实时存储层400的模块构成。其中：数据实时监测层100，该层级的模块主要负责对车联网终端数据源进行实时监测，实现对终端数据实时更新状况的实时监测，以便为数据实时审查层200提供“实时”数据。其中，为了达到准确高效的监测效果，本专利技术优选采用一种基于时间差值与固定频率相结合的监测策略动态地调整监测时间间隔。具体内容如下：假设系统在第一次启动后开始监测数据传输服务器，并记录服务器上数据的“最近一次的更新时间”。对于某一数据，假设其最近一次的更新时间为t0，那么该时间点t0加上系统预设的固定监测周期T0就可以得到系统下一次要监测数据传输服务器的时间点t0+T0，因此如果当前系统时间为Ts，那么对于系统而言，需要等待一段时间△t＝t0+T0-Ts才需要再次监测数据传输服务器。这个时间段△t即称为监测时间间隔。需要注意的是，在本专利技术中，这个监测时间间隔△t并不是就此一成不变的。相反，系统随后会根据数据更新的情况动态地调整监测时本文档来自技高网...

【技术保护点】
一种车联网实时数据处理方法，包括以下步骤：监测步骤，对车联网的终端数据进行实时监测，其中基于时间差值与固定频率相结合的监测策略动态地调整监测时间间隔；审查步骤，对监测到的数据进行实时审查，剔除其中的过期数据；处理步骤，对审查过的数据进行实时处理，清洗和修补其中的错误数据；存储步骤，对处理过的数据进行实时存储。

【技术特征摘要】
1.一种车联网实时数据处理方法，包括以下步骤：监测步骤，对车联网的终端数据进行实时监测，其中基于时间差值与固定频率相结合的监测策略动态地调整监测时间间隔；审查步骤，对监测到的数据进行实时审查，剔除其中的过期数据；处理步骤，对审查过的数据进行实时处理，清洗和修补其中的错误数据；存储步骤，对处理过的数据进行实时存储。2.根据权利要求1所述的车联网实时数据处理方法，其特征在于，所述监测步骤中，基于时间差值与固定频率相结合的监测策略为：在第一次启动后开始监测数据，并记录该数据的最近一次的更新时间t0，那么下一次要监测数据的时间点为最近一次的更新时间t0与预设的固定监测周期T0之和，此时若当前系统时间为Ts，则监测时间间隔为△t＝t0+T0-Ts；在时间点t0+T0再次监测数据：若该数据尚未更新，则自动调节距离下一次监测的监测时间间隔△t’，令△t’<△t，然后等待下一次监测，继续判断数据是否已经更新，如此反复直至监测到数据更新；其中，一旦数据更新，将监测时间间隔重新设置为预设的固定监测周期T0。3.根据权利要求1所述的车联网实时数据处理方法，其特征在于：所述审查步骤中，基于数据的性质和生存时间来判断数据是否过期，进而剔除过期数据。4.根据权利要求3所述的车联网实时数据处理方法，其特征在于：对于有时效限制的数据，若数据的生存时间大于预设的最大实时时延值，则判断数据为过期数据；其中，所述生存时间等于系统实际处理时间减去数据最近一次的更新时间。5.根据权利要求1所述的车联网实时数据处理方法，其特征在于：所述处理步骤中，采用窗口滑动技术实时...

【专利技术属性】
技术研发人员：许军，
申请(专利权)人：四川九洲电器集团有限责任公司，
类型：发明
国别省市：四川;51