一种物联网平台终端数据上报方法技术

本发明专利技术涉及计算机物联网技术领域，特别涉及一种物联网平台终端数据上报方法。本方法中，物联网平台提供定义数据收集器，用于对物联网中采集到的传感器数据进行封装和上报，用户在物联网平台注册并登录后，在Web页面创建数据收集器，配置好目标数据库的类型和连接参数，支持同时配置多种类型数据库。物联网平台对收集到的传感器数据进行封装，根据用户配置上传到指定的目标数据库。对于平台开发者，平台支持目标数据库类型扩展，开发者将新的数据收集器以组件的形式集成到平台，即可对用户开放使用。本发明专利技术的一种物联网平台终端数据上报方法中，其物联网平台数据收集器具有通用性，可以更灵活地管理终端上报的数据，减少终端数据收集开发工作量，提高维护效率。

【技术实现步骤摘要】
一种物联网平台终端数据上报方法
本专利技术涉及计算机物联网
，特别涉及一种物联网平台终端数据上报方法。
技术介绍
物联网是在互联网的基础上延伸和扩展的网络，将大量的终端设备连接到网络中，实现这些终端设备之间的数据交换。物联网技术在智能家居、工业制造、车载通讯等行业中有广泛的应用，逐步实现对设备的智能化控制。在各个控制场景中，数据采集是物联网的基础特性，是数据监控和智能化控制的数据来源。终端传感器的种类众多，物联网平台的作用是适配各种类型的终端传感器，屏蔽设备层的差异性，统一收集传感器的数据，最终将数据上传到数据库用于监控分析。根据数据分析需要，不同用户会搭建不同的数据库来存储数据。物联网平台需要满足不同用户存储需求，将数据上报到指定的存储平台。现有技术下，存在着终端数据收集开发工作量大，维护效率低的问题。
技术实现思路
为了解决现有技术的问题，本专利技术提供了一种物联网平台终端数据上报方法，每个使用者可以创建自己的数据收集器，管理终端设备采集数据的流向。本专利技术所采用的技术方案如下：一种物联网平台终端数据上报方法，包括以下步骤：A、使用者利用物联网平台，对终端传感器采集到的数据进行数据格式定义，并保存至物联网平台；B、使用者在定义好数据模型后，创建数据收集器；C、物联网平台为开发者提供数据收集器扩展配置接口；D、物联网平台为开发者提供数据收集器上报扩展接口；E、物联网平台数据收集器调度运行；数据收集器由物联网平台控制服务进行调度运行，当使用者数据收集器配置完成后，平台控制服务根据数据收集器的类型，维护已开启的数据收集器列表；F、收到数据上报请求后，完成以下操作：1）控制服务对请求的应用启动新的线程，依次初始化数据收集器，开启远程数据库连接；2）控制服务解析上报的数据，执行Avro序列化，将元数据和报文封装为Json字符串，缓存在内存中；3）当数据收集数量达到配置阈值时，依次调用执行每个数据收集器的send方法，将数据批量持久化到数据库；4）启动数据重传定时线程，用于检测数据上报是否成功，当数据上报超时或不成功时，执行数据重传策略；数据上传成功后，中断重传线程的执行。步骤B中的数据收集器包含以下配置：1）存储数据库类型，支持Oracle、Cassandra、MongoDB数据库，选择其中一种数据库类型后，配置数据库的连接方式，包括连接地址、用户名、安全认证方式、数据库名称、数据库表名称、数据库列名称，不同数据库的配置项会有差异；2）上传的数据，包括应用Id、终端Id、上传时间、已创建的数据模型；3）上传策略，包括数据库连接超时时间、上传成功后发送反馈信息。步骤C中，平台数据收集器配置文件使用Json格式描述，采用Avro组件进行反序列化。步骤D中，数据上报接口中定义三个方法：init、send发送数据、close断开连接，init方法读取用户目标数据库配置项，调用Avro将原始字节数据转换为对象，初始化目标数据库连接；send方法实现数据上传到目标数据库；close方法实现关闭数据库连接，释放资源。本专利技术提供的技术方案带来的有益效果是：本专利技术的一种物联网平台终端数据上报方法中，其物联网平台数据收集器具有通用性，可以更灵活地管理终端上报的数据，减少终端数据收集开发工作量，提高维护效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的一种物联网平台终端数据上报方法的物联网平台数据上报示例图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。实施例一本实施例的一种物联网平台终端数据上报方法，其具体实施过程如下：1.物联网平台的用户类型分为使用者和开发者。2.物联网平台为使用者提供终端数据建模。使用者登录物联网平台，对终端传感器采集到的数据进行数据格式定义，包含数据的名称和存储类型（整形数字、浮点型数字、文本字符、字节等），保存至平台。3.物联网平台为使用者提供数据收集器的配置。使用者登录物联网平台，在定义好数据模型后，创建数据收集器。数据收集器包含以下配置：1）存储数据库类型，支持Oracle、Cassandra、MongoDB数据库，选择其中一种数据库类型后，配置数据库的连接方式，包括连接地址、用户名、安全认证方式、数据库名称、数据库表名称、数据库列名称，不同数据库的配置项会有差异；2）上传的数据，包括应用Id、终端Id、上传时间、已创建的数据模型；3）上传策略，包括数据库连接超时时间、上传成功后发送反馈信息。使用者可同时创建多个数据收集器，物联网平台将数据同时分发到多个存储平台。4.物联网平台为开发者提供数据收集器扩展配置接口。平台数据收集器配置文件使用Json格式描述，采用Avro组件进行反序列化。定义字段包含：命名空间（namespace）、映射类名称（name）、定义的字段列表（fields）；其中fileds指定需要配置的各个字段列表，每个filed包含：字段名称（name）、页面显示名称（displayname）、字段类型（type）、默认值（default）。配置文件存储为config.avsc文件。平台在编译收集器时，将config.avsc文件编译成JavaBean对象类，Web页面展示收集器列表时，根据模型配置文件配置的字段信息，展示在Web页面上。5.物联网平台为开发者提供数据收集器上报扩展接口。数据上报接口中定义三个方法：init、send发送数据、close断开连接，init方法读取用户目标数据库配置项，调用Avro将原始字节数据转换为对象，初始化目标数据库连接；send方法实现数据上传到目标数据库；close方法实现关闭数据库连接，释放资源。数据收集器集成方式，将数据收集器导出为Jar包，在平台配置文件中注册数据收集器包的名称。6.物联网平台数据收集器调度运行。数据收集器由物联网平台控制服务进行调度运行，当使用者数据收集器配置完成后，平台控制服务根据数据收集器的类型，维护已开启的数据收集器列表。收到数据上报请求后，完成以下操作：1）控制服务对请求的应用启动新的线程，依次初始化数据收集器，开启远程数据库连接；2）控制服务解析上报的数据，执行Avro序列化，将元数据和报文封装为Json字符串，缓存在内存中。3）当数据收集数量达到配置阈值时，依次调用执行每个数据收集器的send方法，将数据批量持久化到数据库。4）启动数据重传定时线程，用于检测数据上报是否成功，当数据上报超时或不成功时，执行数据重传策略；数据上传成功后，中断重传线程的执行。本实施例的一种物联网平台终端数据上报方法，其具体实现流程如下：1）开发者登录物联网平台，使用物联网平台提供的接口实现新的数据收集器，目标数据库为Kafka通道，建立Kafka收集器工程，编写模型配置文件，包含Kafka地址和端口号、接收Topic、缓存空间大小、线程池线程数量。2）实现Kafka数据上传功能。3）注册Kafka数据收集器。将Kafka数据收集器编译为Jar包，集成到平台依本文档来自技高网...

【技术保护点】
1.一种物联网平台终端数据上报方法，包括以下步骤：A、使用者利用物联网平台，对终端传感器采集到的数据进行数据格式定义，并保存至物联网平台；B、使用者在定义好数据模型后，创建数据收集器；C、物联网平台为开发者提供数据收集器扩展配置接口；D、物联网平台为开发者提供数据收集器上报扩展接口；E、物联网平台数据收集器调度运行；数据收集器由物联网平台控制服务进行调度运行，当使用者数据收集器配置完成后，平台控制服务根据数据收集器的类型，维护已开启的数据收集器列表；F、收到数据上报请求后，完成以下操作：1）控制服务对请求的应用启动新的线程，依次初始化数据收集器，开启远程数据库连接；2）控制服务解析上报的数据，执行Avro序列化，将元数据和报文封装为Json字符串，缓存在内存中；3）当数据收集数量达到配置阈值时，依次调用执行每个数据收集器的send方法，将数据批量持久化到数据库；4）启动数据重传定时线程，用于检测数据上报是否成功，当数据上报超时或不成功时，执行数据重传策略；数据上传成功后，中断重传线程的执行。

【技术特征摘要】
1.一种物联网平台终端数据上报方法，包括以下步骤：A、使用者利用物联网平台，对终端传感器采集到的数据进行数据格式定义，并保存至物联网平台；B、使用者在定义好数据模型后，创建数据收集器；C、物联网平台为开发者提供数据收集器扩展配置接口；D、物联网平台为开发者提供数据收集器上报扩展接口；E、物联网平台数据收集器调度运行；数据收集器由物联网平台控制服务进行调度运行，当使用者数据收集器配置完成后，平台控制服务根据数据收集器的类型，维护已开启的数据收集器列表；F、收到数据上报请求后，完成以下操作：1）控制服务对请求的应用启动新的线程，依次初始化数据收集器，开启远程数据库连接；2）控制服务解析上报的数据，执行Avro序列化，将元数据和报文封装为Json字符串，缓存在内存中；3）当数据收集数量达到配置阈值时，依次调用执行每个数据收集器的send方法，将数据批量持久化到数据库；4）启动数据重传定时线程，用于检测数据上报是否成功，当数据上报超时或不成功时，执行数据重传策略；数据上传成功后，中断重传线程的执行。2.根据权利要求1所述的一种物联...

【专利技术属性】
技术研发人员：徐驰，孙善宝，张爱成，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东,37