【技术实现步骤摘要】
一种基于应用层协议技术的数据实时采集存储的方法、系统
[0001]本专利技术属于大数据
，具体涉及一种基于应用层协议技术数据实时采集存储的方法、系统。
技术介绍
[0002]随着数字经济高速发展，大数据应用向各行业加速渗透，数据要素的价值挖掘已成为各行企业数字化转型的关键因素，尤其是金融、互联网等服务型企业，均有数据实时采集场景需要，如通过互联网网络爬虫获取数据、归集政府各部门的涉企数据、采集系统埋点数据等等。
[0003]主流数据实时采集流程主要包括3部分，客户端(A端)将生产的实时数据发送到自定义的数据接收接口(B端)，数据接收接口将接收到的数据转发至数据缓存组件(如kafka等C端)，数据消费者(如flume等D端)从数据缓存中获取数据后写入数据库完成数据采集(即A
→
B
→
C
→
D
→
数据库)。该业务流程对于不同数据接入场景，存在通用性差、标准化不足的弊端，如不同的公司、不同的团队，B端所用的数据接收接口多为定制化开发，没有统一的标...
【技术保护点】
【技术特征摘要】
1.一种基于应用层协议技术的数据实时采集存储的方法，其特征在于：客户端按照业务需求使用标准传输协议将实时数据发送至数据传输通道网络入口；数据传输通道网络将接收到的数据分发至数据转发节点进行数据转发，所述数据转发节点按照标准传输协议将数据转发至数据缓存组件；数据入库节点按照标准传输协议从数据缓存组件获取数据，进行数据格式校验后，将数据存储入库/文件系统。2.根据权利要求1所述的基于应用层协议技术的数据实时采集存储的方法，其特征在于，所述标准传输协议定义了实时数据的配置信息，包括唯一的数据传输流水号、部门唯一标识、业务唯一标识、数据行分隔符、数据字段分隔符、数据存储固定目录和数据存储动态目录。3.根据权利要求1所述的基于应用层协议技术的数据实时采集存储的方法，其特征在于，所述数据转发节点和数据入库节点均为数据传输工具，所述数据传输工具定义了包括数据传输通道网络管理模块、数据传输配置管理模块、数据存储配置管理模块、数据特征配置管理模块和数据传输状态统计管理模块的功能组件；所述数据传输通道网络管理模块具体为：由大量传输工具组成的数据传输通道网络，用于传输数据；所述数据传输配置管理模块负责传输工具点对点传输配置信息，包括该节点从上游节点获取数据的方式是主动去取还是被动接收、该节点向下游节点传输数据是主动推送还是被动等待下游获取、上游节点组件类型和下游节点组件类型；所述数据存储配置管理模块用于配置节点接收到的数据中带有的存储策略，将实时数据按照行分隔符、字段分隔符进行解析，并存储到数据存储固定目录\动态目录下；所述数据特征配置管理模块用于配置节点所转发的数据格式特征，通过比较节点接收到的数据与节点本地配置信息，对于符合格式要求的数据进行转发，不符合格式要求的数据进行丢弃；所述数据传输状态统计管理模块统计实时数据在当前节点传输情况。4.根据权利要求3所述的基于应用层协议技术的数据实时采集存储的方法，其特征在于，所述数据传输通道网络的组建过程为：步骤(1)：传输工具初始化：传输工具启动后，在服务器本地设置传输工具ID和当前传输工具的所属集群ID；如果当前网络环境中尚未部署其他传输工具，则集群ID设置为当前网络的集群ID；如果当前网络环境中已经部署其他传输工具，则将集群ID与当前其他传输工具设置一致；设置节点传输配置，设置上游节点组件类型、数据获取方式、下游节点组件类型、数据发送方式；步骤(2)：传输工具入网：启动配置完成的传输工具，传输工具向网络环境中广播当前传输工具的ID和集群ID；如果当前网络环境中已存在传输集群，则执行步骤3，如果当前网络中尚未部署其他传输工具，则执行步骤4；步骤(3)：加入现有数据传输通道网络：网络中其他传输工具收到入网请求广播后，检查接收到的集群ID是否与自身集群ID一致，如果一致，则将申请入网传输工具ID所对应的路由信息保存至本地集群管...
【专利技术属性】
技术研发人员：王培才，周云松，王治平，潘书全，瞿兴晨，
申请(专利权)人：江苏省联合征信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。