【技术实现步骤摘要】
本专利技术涉及大数据，更具体地说，它涉及基于开源大数据组件的车辆行驶里程批量处理方法及系统。
技术介绍
1、在金融行业的经营性汽车贷款的贷后管理等场景中，往往需要采集车辆的gps定位数据(或其他卫星定位数据)，并基于这些gps数据对车辆的位置、轨迹、里程等信息进行定期的监测，以便及时发现可能存在的车贷风险和异常情况。其中，对车辆的行驶里程数进行定期统计和监测是非常重要的一种风控手段。但由于金融机构的车贷业务的车辆数量往往非常庞大(可达到百万级)，而且出于精确监测的需要，gps数据通常是每隔数秒钟就要采集一次(按每隔10秒钟采集一次计算，一辆车每天的gps数据可达8640条)，这导致要定期统计(比如每天统计一次)所有车辆一天的行驶里程所涉及的明细数据量非常大(可达到百亿级)，计算非常耗时间耗资源。
2、现有技术中关于车辆行驶里程计算相关的技术，几乎都是聚焦在如何提升单车行驶里程计算的精确度，而不是解决如何在海量数据的场景下高效快速地批量计算车辆的行驶里程。比较容易想到的一种方法是，将这些车辆的每一条定位数据存储在mysql、p...
【技术保护点】
1.基于开源大数据组件的车辆行驶里程批量处理方法，其特征是，包括以下步骤：
2.根据权利要求1所述的基于开源大数据组件的车辆行驶里程批量处理方法，其特征是，所述gps表中的字段包括车辆ID、当前车辆位置的经度、当前车辆位置的纬度和当前时间戳。
3.根据权利要求1所述的基于开源大数据组件的车辆行驶里程批量处理方法，其特征是，所述多行转一列的函数为collect_set函数或collect_list函数。
4.根据权利要求1所述的基于开源大数据组件的车辆行驶里程批量处理方法，其特征是，所述UDF函数的输入参数为gps_list字段、返回...
【技术特征摘要】
1.基于开源大数据组件的车辆行驶里程批量处理方法，其特征是，包括以下步骤：
2.根据权利要求1所述的基于开源大数据组件的车辆行驶里程批量处理方法，其特征是，所述gps表中的字段包括车辆id、当前车辆位置的经度、当前车辆位置的纬度和当前时间戳。
3.根据权利要求1所述的基于开源大数据组件的车辆行驶里程批量处理方法，其特征是，所述多行转一列的函数为collect_set函数或collect_list函数。
4.根据权利要求1所述的基于开源大数据组件的车辆行驶里程批量处理方法，其特征是，所述udf函数的输入参数为gps_list字段、返回值为车辆行驶里程，计算逻辑包括：
5.根据权利要求4所述的基于开源大数据组件的车辆行驶里程批量处理方法，其特征是，所述对压缩存储的单条gps_list字段进行拆分和排序的过程具体为：
6.根据权利要求4所述的基于...
【专利技术属性】
技术研发人员：李烨，陈卫，王碧林，王守明，毛晶，
申请(专利权)人：四川新网银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。