数据实时存储方法、装置、计算机设备和存储介质制造方法及图纸

本申请属于数据结构化处理领域，公开了一种数据实时存储方法、装置、计算机设备及存储介质，其中，所述方法通过将从所述待确定文本序列中搜索到的指定字符替换为预设切割字符，并在所述预设切割字符处对所述待确定文本序列进行切割。方法、装置、计算机设备及可读存储介质。所述方法包括通过对采集到的日志数据进行分类处理，并将分类处理后的符合日志筛选条件的日志数据写入到kafka中进行缓冲处理，并将从kafka读取到的日志数据进行切分处理得到字符串序列，然后为切割后的意义不明的字符串序列匹配键值文本序列，再通过hbase将数据实时存储到结构化数据中，得到结构化数据。本方法解决了用户不能对日志数据进行实时分析的技术问题。

【技术实现步骤摘要】
数据实时存储方法、装置、计算机设备和存储介质
本申请涉及数据处理领域，特别是涉及一种数据实时存储方法、装置、计算机设备和存储介质。
技术介绍
现有技术中，想对服务器生产的用户访问日志进行数据分析，可以通过基于Hadoop的数据仓库工具Hive，将服务器上日志数据实时写入到Hive中预先创建好的一张数据库表，然后对数据库表中的数据进行查询分析等操作，实现对日志数据的实时分析的功能。但是当所需要的日志数据的数量比较大时，直接将服务器上的海量数据写入到Hive中，因为Hive自身缺陷会导致数据拥堵，写入到Hive数据有延迟，且延迟一般比较长，影响日志数据的存储和分析。
技术实现思路
基于此，有必要针对上述技术问题，本申请提供一种数据实时存储方法、装置、计算机设备及存储介质，以解决现有技术中将读取到的日志数据直接写入hive中进行保存会出现延迟严重导致的影响日志数据的存储和分析的技术问题。一种数据实时存储方法，所述方法包括：读取预设配置文件得到日志筛选条件，从采集到的日志数据中获取符合所述日志筛选条件的日志数本文档来自技高网...

【技术保护点】
1.一种数据实时存储方法，其特征在于，包括：/n读取预设配置文件得到日志筛选条件，从采集到的日志数据中获取符合所述日志筛选条件的日志数据，并根据所述预设配置文件将获取到的日志数据写入kafka中，作为待转化数据；/n定时从kafka中读取所述待转化数据，根据预设切片条件对读取到的所述待转化数据进行切割匹配处理得到待确定文本序列，并将所述待确定文本序列写入hbase上的预设数据表中；/n根据所述预设数据表在所述hbase上的存储路径为hive生成指向所述预设数据库表的结构数据软链接；/n通过正则表达式对根据所述结构数据软链接获取到的所述待确定文本序列进行切割处理，并将切割处理后得到的结构化数据写...

【技术特征摘要】
1.一种数据实时存储方法，其特征在于，包括：
读取预设配置文件得到日志筛选条件，从采集到的日志数据中获取符合所述日志筛选条件的日志数据，并根据所述预设配置文件将获取到的日志数据写入kafka中，作为待转化数据；
定时从kafka中读取所述待转化数据，根据预设切片条件对读取到的所述待转化数据进行切割匹配处理得到待确定文本序列，并将所述待确定文本序列写入hbase上的预设数据表中；
根据所述预设数据表在所述hbase上的存储路径为hive生成指向所述预设数据库表的结构数据软链接；
通过正则表达式对根据所述结构数据软链接获取到的所述待确定文本序列进行切割处理，并将切割处理后得到的结构化数据写入所述hive上的结构化数据库中。


2.根据权利要求1所述的方法，其特征在于，所述根据预设切片条件对读取到的所述待转化数据进行切割匹配处理得到待确定文本序列，包括：
根据所述预设切片条件确定所述待转化数据的切片点；
定位所述切片点在所述待转化数据中的位置坐标，并根据所述位置坐标将所述待转化数据切割为字符串序列；
根据预设匹配条件获取与所述字符串序列对应的键值文本序列并进行关联，得到待确定文本。


3.根据权利要求2所述的方法，其特征在于，所述根据所述预设切片条件确定所述待转化数据的切片点，包括：
将每一个字符串在同一行所述待转化数据中的出现频次作为频次数组，并计算所述频次数组的方差；
若所述频次数组的方差小于特定数值，则将所述字符串作为所述切片点。


4.根据权利要求2所述的方法，其特征在于，所述根据所述预设切片条件确定所述待转化数据的切片点，包括：
将所述待转化数据中出现频次最多的字符串作为所述切片点。


5.根据权利要求2所述的方法，其特征在于，所述根据预设匹配条件获取与所述字符串序列对应的所述键值文本序列并进行关联，包括：
获取所述字符串序列的键值文本序列以及所述键值文本序列的标识符；
将与所述标识符对应的所述字符串序列赋值给所述键值文...

【专利技术属性】
技术研发人员：饶鑫，黄望，石晓龙，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44