海量传感器数据收集处理及反馈的系统和方法技术方案

本发明专利技术提供了一种海量传感器数据收集处理及反馈的系统和方法，传感器数据上传接口收集传感器上传的数据和请求，并下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。

【技术实现步骤摘要】
海量传感器数据收集处理及反馈的系统和方法
本专利技术涉及数据处理
，具体涉及一种海量传感器数据收集处理及反馈的系统和方法。
技术介绍
DR(DeadReckoning，航位推算，也叫惯性导航，简称惯导)可以在GPS(GlobalPositioningSystem，全球定位系统)信号较差时做航位推算，在一定距离内修复GPS定位偏差，DR推算时对传感器器件输出的数据(例如陀螺仪、加速计、气压计等)、情景类型(高架上、隧道中、密集楼宇旁)、用户推算历史等进行建模，模型推算精度误差会随时间推移发散直至不可用，而在模型确定时，模型参数的变化会影响到模型性能，好的模型参数可以有效提升DR推算性能，即延长可靠推算时间、提升推算精度减小误差。现有技术中，DR模型一旦确定后，将模型算法集成在端设备中，并通过对端上设备进行典型场景下的实际测试，得到测试结果后，通过分析测试数据得到模型参数并固化在设备固件中。其存在的缺点包括：可用于模型参数学习的设备仅为测试设备，处理的测试数据量较小，不能准确的反应模型；模型参数确定后并难以通过数据累积优化参数并更改模型参数；不能有效利用情景识别和历史参数。
技术实现思路
本专利技术为海量传感器数据分析处理提供了一种高可用、高可靠、可扩展的分布式架构，解决了数据高效收集、处理的技术问题，并将模型参数反馈到设备端，提升DR(惯导)性能；并可通过不断的累积多源数据，迭代提升反馈参数的有效性。本专利技术采用的技术方案如下：一种海量传感器数据收集处理及反馈的系统，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。进一步地，所述传感器包括加速计、陀螺仪、气压计或者磁强计。进一步地，所述传感器上传的数据采用NMEA数据格式。进一步地，所述传感器上传的数据包括以下任一一种及以上：设备端元信息，端上算法版本、各传感器型号、设备型号；传感器采样时间、采样时经纬度信息、NMEA中包含的传感器数据信息；传感器推算状态信息；模型推算的设备端状态与情景。进一步地，所述服务处理节点集群包括VDRHandlers、PDRHandlers和ContextHandlers；VDRHandlers对车载模式相关的传感器数据进行处理；PDRHandlers对步行模式相关的传感器数据进行处理；ContextHandlers利用传感器上传的数据和请求，进行最大概率情景推断，帮助传感器根据不同情景调整模型参数。进一步地，所述服务处理节点集群还包括OtherHandlers，即其他系统请求与扩展模式处理节点。进一步地，所述离线数据处理引擎根据传感器上传的数据进行情景分析建模，作为ContextHandlers参数输入。进一步地，所述调度引擎根据数据集、任务类型、传感器数据类型调度在线数据处理引擎和离线数据处理引擎。一种海量传感器数据收集处理及反馈的方法，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关进行请求合法性判断和设备合法性检查，并将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据和请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。本专利技术的有益效果在于，从数据收集链路、数据处理与存储、任务调度、参数反馈链路上保证了利用海量传感器数据学习参数的可靠性与高效性。附图说明图1是本专利技术海量传感器数据收集处理及反馈的系统架构图。图2是本专利技术海量传感器数据收集处理及反馈的方法流程图。具体实施方式可靠的模型参数需要通过处理海量数据得到，本专利技术通过定义松散的传感器数据收集接口收集多源数据；利用分布式存储、分布式计算处理海量数据用于机器学习算法；提供灵活的参数反馈链路解决上述缺点。由于利用众包采集数据，避免了测试数据集较小，设备数过少的问题，可动态更新模型参数，并利用多源数据增强情景识别能力，最终提升DR性能。下文中，结合附图和实施例对本专利技术作进一步阐述。图1和图2分别是本专利技术海量传感器数据收集处理及反馈的系统架构图和方法流程图，具体如下：1、传感器数据上传接口定义典型传感器数据包括加速计、陀螺仪、气压计、磁强计等，根据NMEA(NationalMarineElectronicsAssociation，美国国家海洋电子协会的简称，也是一套定义接收机输出的标准信息)数据格式，上传数据包括但不仅为：1)设备端元信息，端上算法版本、各传感器型号、设备型号等；2)传感器采样时间(ms级)、采样时经纬度信息、NMEA中包含的传感器数据信息(姿态、方向等)；3)传感器推算状态信息；4)模型推算的设备端状态与情景。2、网关(Gateway)进行请求合法性判断、设备合法性检查，并将请求转发到对应服务处理节点集群。3、VDRHandlers(VehicleDeadReckoning，车载航位推算)处理车载模式相关的传感器数据，并负责车载相关的模型参数下发。4、PDRHandlers(PedestrianDeadReckoning，行人航位推算)处理步行模式相关的传感器数据，并负责步行模式相关的模型参数下发。5、ContextHandlers利用设备端请求信息与收集的多源数据，做最大概率情景推断，帮助设备端根据不同情景调整模型参数。6、OtherHandlers其他系统请求与扩展模式处理节点。7、消息队列(消息在传输过程中保存消息的容器)、日志服务负责将收集的数据与其他请求发送到分布式文件系统中，同时发送至在线处理引擎。8、DFS(分布式文件系统)类似HDFS、HBASE等分布式文件系统，存储海量数据，用于离线数据分析。9、在线数据处理引擎接受消息队列、日志服务的数据，实时筛选并处理，快速得到局部最优模型参数，并发往模型验证组件。10、离线数据处理引擎处理分布式文件系统中的海量数据，得到全局或特定数据下的最优模型参数；根据设备端上报的数据做情景分析建模，作为ContextHandlers参数输入。11、调度引擎调度在线、离线数据处理引擎；按数据集、任务类型、传感器数据类型等周期性调度。本专利技术优选Java语言进行编程。本专利技术虽然已以较佳实施例公开如上，但其并不是用来限定本专利技术，任何本领域技术人员在不脱离本专利技术的精神和范围内，都可以利用上述揭示的方法和
技术实现思路
对本专利技术技术方案做出可能本文档来自技高网...

【技术保护点】
一种海量传感器数据收集处理及反馈的系统，其特征在于，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。

【技术特征摘要】
1.一种海量传感器数据收集处理及反馈的系统，其特征在于，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。2.如权利要求1所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述传感器包括加速计、陀螺仪、气压计或者磁强计。3.如权利要求1所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述传感器上传的数据采用NMEA数据格式。4.如权利要求3所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述传感器上传的数据包括以下任一一种及以上：设备端元信息，端上算法版本、各传感器型号、设备型号；传感器采样时间、采样时经纬度信息、NMEA中包含的传感器数据信息；传感器推算状态信息；模型推算的设备端状态与情景。5.如权利要求1所述的一种海量传感器数据收集处理及反馈的系统，其特征在于，所述服务处理节点集群包括VDRHandlers、PDRHandlers和ContextHandlers；VDRHandlers对车载模式相...

【专利技术属性】
技术研发人员：丁源熊，
申请(专利权)人：千寻位置网络有限公司，
类型：发明
国别省市：上海,31