【技术实现步骤摘要】
一种数据收集与处理的方法及装置
[0001]本专利技术属于数据处理
，具体涉及一种数据收集与处理的方法及装置。
技术介绍
[0002]随着信息化时代的到来，信息技术正以其迅猛态势渗透于社会的方方面面。例如在数字电视机顶盒领域，用户在使用产品时根据用户行为产生的一系列数据，并且随着内容的越来越精细化与多元化，还有用户量的增多，每天所产生的埋点数据内容越来越多样化，数据量越来越庞大，因此就需要对多元化海量的数据进行处理。
[0003]但是目前在面对多元化海量的数据的处理，没有一套统一与兼容性强的方法，每多一种比较特殊的埋点数据需求，就需要手动去编写一种处理方式，这样极大加大了人工成本。而在收集与处理数据的方式普遍采用的都是高成本堆服务器配置的方法，这对于大部分处于起步阶段的企业来说是无法承受的。
技术实现思路
[0004]为了克服上述现有技术的缺陷，本专利技术提出了一种数据收集与处理的方法及装置，具有通用性强，成本低的优点，在减少人工成本与服务器资源的同时，也能够满足丰富的数据埋点需求。
[...
【技术保护点】
【技术特征摘要】
1.一种数据收集与处理的方法，其特征在于，包括：将数据包发送至数据存储服务器，以通过数据存储服务器对数据包进行校验；将通过检验的数据包存储至共享文件存储盘，并且将数据包的存储路径写入开源流处理平台；基于开源流处理平台内的存储路径读取存储路径所对应的数据包，并对数据包进行数据解析和数据处理。2.根据权利要求1所述的数据收集与处理的方法，其特征在于，数据包具有多个，每个数据包存储有对应的数据信息，不同的数据包对应存储有不同的数据信息；将数据包发送至数据存储服务器包括：基于不同的时间段将多个数据包分别发送至数据存储服务器。3.根据权利要求1所述的数据收集与处理的方法，其特征在于，通过数据存储服务器对数据包进行校验包括：获取发送数据包的客户端的令牌信息，并判断令牌信息是否合法，若判断为令牌信息合法，则检验通过。4.根据权利要求1所述的数据收集与处理的方法，其特征在于，将通过检验的数据包存储至共享文件存储盘，并且将数据包的存储路径写入开源流处理平台包括：将通过检验的数据包存储至共享文件存储盘；并且记录共享文件存储盘与数据存储服务器之间的存储路径；将数据包的存储路径写入开源流处理平台。5.根据权利要求1所述的数据收集与处理的方法，其特征在于，基于开源流处理平台的存储路径读取所对应的数据包，以对数据包进行数据解析和数据处理包括：通过订阅开源流处理平台，以获取开源流处理平台内的数据包的存储路径，根据存储路径读取共享文件存储盘中对应的数据包，通过数据处理服务器对数据包进行数据解析和数...
【专利技术属性】
技术研发人员：彭伟男，尹继圣，刘大照，李航，朱正伟，
申请(专利权)人：深圳感臻智能股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。