数据处理方法和汽车大数据管理云平台技术

本发明专利技术涉及大数据技术领域，特别是涉及一种数据处理方法和汽车大数据管理云平台。该方法包括：获取汽车关联数据；确定所述汽车关联数据的数据传输通道；其中，所述数据传输通道包括根据数据接口、数据计算系统、Alluxio存储系统和HDFS集群确定的第一通道，以及根据业务接口和HDFS集群确定的第二通道；通过确定的所述数据传输通道处理所述汽车关联数据。本发明专利技术实施例提供的数据处理方法和汽车大数据管理云平台，能够加快数据处理效率，特别是提高数据传输和数据查询的效率，从而满足了所述云平台业务发展的需求。

【技术实现步骤摘要】
数据处理方法和汽车大数据管理云平台
本专利技术涉及大数据
，特别是涉及一种数据处理方法和汽车大数据管理云平台。
技术介绍
目前，在汽车诊断维修云服务覆盖全球上百万家汽修店业务量基础上，云服务每天会有数千万次的设备检测业务，数百万次的检测、诊断设备接入到云服务平台，与此同时，海量的设备检测业务也产生了大量的数据，这些数据都需要存储于云服务的大数据平台上。该平台基于这些数据进行实时计算和离线作业等数据处理，以为用户提供服务。例如，根据该平台能够为用户提供报表查询等业务，有一种类型为即席报表查询的需求，当前业界常采用的即席查询方案包括采用SQLonHadoop，基于HiveonMR/SparkSQL的查询场景，等。专利技术人在实现本专利技术实施例的过程中，发现相关技术在数据处理时存在查询速度慢等问题，从而极大影响了系统数据分析和处理的效率。
技术实现思路
本专利技术要解决的技术问题是提供一种数据处理方法和汽车大数据管理云平台，以解决相关技术在数据处理时存在查询速度慢的技术问题。为了解决上述技术问题，本专利技术本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法应用于汽车大数据管理云平台，所述汽车大数据管理云平台包括数据接口、业务接口、数据计算系统、Alluxio存储系统和HDFS集群，所述方法包括：/n获取汽车关联数据；/n确定所述汽车关联数据的数据传输通道；其中，所述数据传输通道包括根据所述数据接口、所述数据计算系统、所述Alluxio存储系统和所述HDFS集群确定的第一通道，以及根据所述业务接口和所述HDFS集群确定的第二通道；/n通过确定的所述数据传输通道处理所述汽车关联数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于汽车大数据管理云平台，所述汽车大数据管理云平台包括数据接口、业务接口、数据计算系统、Alluxio存储系统和HDFS集群，所述方法包括：
获取汽车关联数据；
确定所述汽车关联数据的数据传输通道；其中，所述数据传输通道包括根据所述数据接口、所述数据计算系统、所述Alluxio存储系统和所述HDFS集群确定的第一通道，以及根据所述业务接口和所述HDFS集群确定的第二通道；
通过确定的所述数据传输通道处理所述汽车关联数据。


2.根据权利要求1所述的方法，其特征在于，所述汽车关联数据包括汽车检测诊断数据和汽车业务服务数据；
所述确定所述汽车关联数据的数据传输通道包括：
当所述汽车关联数据是所述汽车检测诊断数据时，确定所述汽车关联数据的数据传输通道为所述第一通道；当所述汽车关联数据是所述汽车业务服务数据时，确定所述汽车关联数据的数据传输通道为所述第二通道。


3.根据权利要求2所述的方法，其特征在于，当所述汽车关联数据的数据传输通道为所述第一通道时，所述通过确定的所述数据传输通道处理所述汽车关联数据包括：
控制所述数据接口基于MQTT协议获取所述汽车检测诊断数据；
根据所述汽车检测诊断数据的重要性确定其对应的写策略；
根据所述确定的写策略在所述第一通道处理所述汽车检测诊断数据。


4.根据权利要求3所述的方法，其特征在于，所述根据所述确定的写策略在所述第一通道处理所述汽车检测诊断数据包括：
当所述写策略为只写Alluxio策略时，则基于所述第一通道将所述汽车检测诊断数据写入所述Alluxio存储系统；
当所述写策略为同步到HDFS策略时，则基于所述第一通道将所述汽车检测诊断数据写入所述Alluxio存储系统和所述HDFS集群；
当所述写策略为只写HDFS策略时，则基于所述第一通道将所述汽车检测诊断数据写入所述HDFS集群。


5.根据权利要求4所述的方法，其特征...

【专利技术属性】
技术研发人员：张良，
申请(专利权)人：深圳市道通科技股份有限公司，
类型：发明
国别省市：广东;44