一种大数据信息监控方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种大数据信息监控方法、装置及计算机设备，涉及大数据信息监控技术领域，大数据信息监控方法包括：获取大数据更新信息；基于基础大数据更新数据，从多个大数据类型中确定与基础大数据更新数据匹配的第一大数据类型；从与第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集；获得待处理大数据元素集；获得更新大数据元素集；对第一大数据信息监控热力图进行处理，获得处理后的第一大数据信息监控热力图；将处理后的第一大数据信息监控热力图中的数据写入大数据信息监控服务器，更新第一大数据信息集合的信息；基于更新后的第一大数据信息集合，生成目标大数据推荐策略，能够可靠的进行大数据信息监控。

【技术实现步骤摘要】
一种大数据信息监控方法、装置及计算机设备
本专利技术涉及大数据信息监控
，具体而言，涉及一种大数据信息监控方法、装置及计算机设备。
技术介绍
随着大数据的推广应用，为了能够更加智能的进行大数据的处理（例如大数据的整理、存储等），因此对大数据相关内容的收集、统计并进行监控十分的重要。然而在现有技术中，对大数据的监控并不是很便捷，每一次对数据的处理，都需要用户人工进行操作策略的定制以及策略的执行。基于此，如何提供一种便捷的大数据信息监控方案，是本领域技术人员需要解决的。
技术实现思路
本专利技术的目的在于提供一种大数据信息监控方法、装置及计算机设备。第一方面，本专利技术实施例提供一种大数据信息监控方法，应用于大数据信息监控平台，所述大数据信息监控平台与储存有多个大数据信息集合的大数据信息监控服务器通信连接，所述多个大数据信息集合分别定义多个大数据类型，所述大数据类型中包括与该大数据类型对应的大数据信息集合的初始大数据；所述大数据信息监控平台中还包括与所述多个大数据类型分别建立关联的多个大数据信息监控热力图，其中，所述大数据信息监控热力图通过所述初始大数据与所述大数据类型建立关联；所述方法包括：获取大数据更新信息，其中，所述大数据更新信息中包括基础大数据更新数据以及目标大数据元素集；基于所述基础大数据更新数据，从所述多个大数据类型中确定与所述基础大数据更新数据匹配的第一大数据类型，其中，所述第一大数据类型对应所述多个大数据信息集合中的第一大数据信息集合；r>从与所述第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集，其中，所述大数据信息监控热力图中包括已有的大数据元素集，已有的大数据元素集包括所述第一大数据信息集合已更新过的数据更新标识；从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识相同的数据更新标识，获得待处理大数据元素集；从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识不相同的数据更新标识，获得更新大数据元素集；基于所述待处理大数据元素集和所述更新大数据元素集，对所述第一大数据信息监控热力图进行处理，获得处理后的第一大数据信息监控热力图；将所述处理后的第一大数据信息监控热力图中的数据写入所述大数据信息监控服务器，更新所述第一大数据信息集合的信息；基于所述更新后的第一大数据信息集合，生成目标大数据推荐策略。可选地，所述初始大数据包括大数据的名称、大数据相关内容和待更新大数据内容，所述大数据信息监控热力图中包括大数据分布集群；所述大数据信息监控热力图通过所述初始大数据与所述大数据类型建立关联的步骤，包括：将所述大数据的名称、大数据相关内容和待更新大数据内容与所述大数据分布集群建立关联。可选地，所述大数据类型中还包括用于表征该大数据类型对应大数据信息集合的实时更新状态的预设数据段，所述第一大数据信息集合的实时更新状态储存于第一大数据类型中的第一预设数据段；所述方法还包括：基于所述第一预设数据段中的实时更新状态，获得所述第一大数据信息集合的实时更新状态。可选地，所述基于所述更新后的第一大数据信息集合，生成目标大数据推荐策略的步骤，包括：获取更新后的第一大数据信息集合，并基于所述更新后的第一大数据信息集合，生成至少一个待使用大数据推荐策略；获取第一大数据属性参数，其中，所述第一大数据属性参数包括预设大数据类型标识和预设大数据时效标识；使用预设大数据类型标识对应的参数信息和实时的预设大数据时效标识，基于预设的转换规则，将预设大数据时效标识的实时时效参考量转换为所述预设大数据类型标识对应的数据类型参考量的多个参考权重值；基于所述预设大数据类型标识对应的数据类型参考量的多个参考权重值以及所述预设大数据类型标识，在同一预设大数据处理模型中对至少两个待使用大数据推荐策略同时进行策略运行，以得到参考大数据推荐策略结果；基于现有目标大数据推荐策略的运行结果确定所述预设阈值；根据预设阈值对所述参考大数据推荐策略结果进行筛选，以得到对应的目标大数据推荐策略；将目标大数据推荐策略进行展示。可选地，所述基于所述预设大数据类型标识对应的数据类型参考量的多个参考权重值以及所述预设大数据类型标识，在同一预设大数据处理模型中对至少两个待使用大数据推荐策略同时进行策略运行，以得到参考大数据推荐策略结果的步骤，包括：从对初始数据类型参考量进行处理所得到的综合数据类型参考量中，获取目标数据类型参考量；确定与所述目标数据类型参考量中所匹配的所述待使用大数据推荐策略所属的待使用大数据推荐策略匹配的预设策略属性映射数据库；利用所述预设策略属性映射数据库，依次统计匹配所述目标数据类型参考量的策略映射关系对应的所述待使用大数据推荐策略的推荐值；从所述预设策略属性映射数据库中，获取第一大数据库文件，其中，所述第一大数据库文件用于指示至少一个所述策略映射关系持有的所述待使用大数据推荐策略所在的文件；按照预定顺序依次对相邻的两个所述第一大数据库文件进行比对；在比对结果指示不满足合并条件的情况下，将从相邻的两个所述第一大数据库文件中获取的一个第一大数据库文件，和从位于相邻的两个所述第一大数据库文件之后获取的下一个第一大数据库文件，作为下一次将要比对的相邻的两个所述第一大数据库文件；在相邻的两个所述第一大数据库文件中，有且仅有一个所述策略映射关系持有所述待使用大数据推荐策略，且为同一个所述策略映射关系所持有的情况下，确定相邻的两个所述第一大数据库文件满足所述合并条件；合并相邻的两个所述第一大数据库文件得到所述目标大数据文件；将所述目标大数据文件作为下一次将要比对的相邻的两个所述第一大数据库文件中的一个第一大数据库文件；获取与所述综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值；利用与所述综合数据类型参考量中所匹配的每一个待定数据类型参考量分别对应的目标权重值进行处理，得到第一处理结果，其中，所述第一处理结果用于识别与所述初始数据类型参考量存在重复的待定数据类型参考量；按照所述目标数据类型参考量中所匹配的所述待使用大数据推荐策略所属的所述待使用大数据推荐策略，将所述目标大数据文件关联所述目标权重值，其中，同一待使用大数据推荐策略在同一目标大数据文件内统计的推荐值使用第一隔离区间标记，同一待使用大数据推荐策略在不同目标大数据文件内统计的推荐值使用第二隔离区间标记，不同待使用大数据推荐策略内统计的推荐值使用第三隔离区间标记，所述目标权重值根据所述目标数据类型参考量中所对应的待使用大数据推荐策略确定；对所述目标权重值进行处理，得到第二处理结果；在已存储的策略参考模板中查找与所述第二处理结果对应的所述目标大数据参考向量集，其中，所述策略参考模板用于记录已生成的大数据参考向量集与所述大数据参考向量集的索引之间的映射关系，所述本文档来自技高网...

【技术保护点】
1.一种大数据信息监控方法，其特征在于，应用于大数据信息监控平台，所述大数据信息监控平台与储存有多个大数据信息集合的大数据信息监控服务器通信连接，所述多个大数据信息集合分别定义多个大数据类型，所述大数据类型中包括与该大数据类型对应的大数据信息集合的初始大数据；所述大数据信息监控平台中还包括与所述多个大数据类型分别建立关联的多个大数据信息监控热力图，其中，所述大数据信息监控热力图通过所述初始大数据与所述大数据类型建立关联；/n所述方法包括：/n获取大数据更新信息，其中，所述大数据更新信息中包括基础大数据更新数据以及目标大数据元素集；/n基于所述基础大数据更新数据，从所述多个大数据类型中确定与所述基础大数据更新数据匹配的第一大数据类型，其中，所述第一大数据类型对应所述多个大数据信息集合中的第一大数据信息集合；/n从与所述第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集，其中，所述大数据信息监控热力图中包括已有的大数据元素集，已有的大数据元素集包括所述第一大数据信息集合已更新过的数据更新标识；/n从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识相同的数据更新标识，获得待处理大数据元素集；/n从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识不相同的数据更新标识，获得更新大数据元素集；/n基于所述待处理大数据元素集和所述更新大数据元素集，对所述第一大数据信息监控热力图进行处理，获得处理后的第一大数据信息监控热力图；/n将所述处理后的第一大数据信息监控热力图中的数据写入所述大数据信息监控服务器，更新所述第一大数据信息集合的信息；/n基于所述更新后的第一大数据信息集合，生成目标大数据推荐策略。/n...

【技术特征摘要】
1.一种大数据信息监控方法，其特征在于，应用于大数据信息监控平台，所述大数据信息监控平台与储存有多个大数据信息集合的大数据信息监控服务器通信连接，所述多个大数据信息集合分别定义多个大数据类型，所述大数据类型中包括与该大数据类型对应的大数据信息集合的初始大数据；所述大数据信息监控平台中还包括与所述多个大数据类型分别建立关联的多个大数据信息监控热力图，其中，所述大数据信息监控热力图通过所述初始大数据与所述大数据类型建立关联；
所述方法包括：
获取大数据更新信息，其中，所述大数据更新信息中包括基础大数据更新数据以及目标大数据元素集；
基于所述基础大数据更新数据，从所述多个大数据类型中确定与所述基础大数据更新数据匹配的第一大数据类型，其中，所述第一大数据类型对应所述多个大数据信息集合中的第一大数据信息集合；
从与所述第一大数据类型关联的第一大数据信息监控热力图中获取已有的大数据元素集，其中，所述大数据信息监控热力图中包括已有的大数据元素集，已有的大数据元素集包括所述第一大数据信息集合已更新过的数据更新标识；
从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识相同的数据更新标识，获得待处理大数据元素集；
从所述目标大数据元素集中筛选出与所述已有的大数据元素集中的数据更新标识不相同的数据更新标识，获得更新大数据元素集；
基于所述待处理大数据元素集和所述更新大数据元素集，对所述第一大数据信息监控热力图进行处理，获得处理后的第一大数据信息监控热力图；
将所述处理后的第一大数据信息监控热力图中的数据写入所述大数据信息监控服务器，更新所述第一大数据信息集合的信息；
基于所述更新后的第一大数据信息集合，生成目标大数据推荐策略。


2.根据权利要求2所述的方法，其特征在于，所述初始大数据包括大数据的名称、大数据相关内容和待更新大数据内容，所述大数据信息监控热力图中包括大数据分布集群；
所述大数据信息监控热力图通过所述初始大数据与所述大数据类型建立关联的步骤，包括：
将所述大数据的名称、大数据相关内容和待更新大数据内容与所述大数据分布集群建立关联。


3.根据权利要求1所述的方法，其特征在于，所述大数据类型中还包括用于表征该大数据类型对应大数据信息集合的实时更新状态的预设数据段，所述第一大数据信息集合的实时更新状态储存于第一大数据类型中的第一预设数据段；
所述方法还包括：
基于所述第一预设数据段中的实时更新状态，获得所述第一大数据信息集合的实时更新状态。


4.根据权利要求1所述的方法，其特征在于，所述基于所述更新后的第一大数据信息集合，生成目标大数据推荐策略的步骤，包括：
获取更新后的第一大数据信息集合，并基于所述更新后的第一大数据信息集合，生成至少一个待使用大数据推荐策略；
获取第一大数据属性参数，其中，所述第一大数据属性参数包括预设大数据类型标识和预设大数据时效标识；
使用预设大数据类型标识对应的参数信息和实时的预设大数据时效标识，基于预设的转换规则，将预设大数据时效标识的实时时效参考量转换为所述预设大数据类型标识对应的数据类型参考量的多个参考权重值；
基于所述预设大数据类型标识对应的数据类型参考量的多个参考权重值以及所述预设大数据类型标识，在同一预设大数据处理模型中对至少两个待使用大数据推荐策略同时进行策略运行，以得到参考大数据推荐策略结果；
基于现有目标大数据推荐策略的运行结果确定所述预设阈值；
根据预设阈值对所述参考大数据推荐策略结果进行筛选，以得到对应的目标大数据推荐策略；
将目标大数据推荐策略进行展示。


5.根据权利要求4所述的方法，其特征在于，所述基于所述预设大数据类型标识对应的数据类型参考量的多个参考权重值以及所述预设大数据类型标识，在同一预设大数据处理模型中对至少两个待使用大数据推荐策略同时进行策略运行，以得到参考大数据推荐策略结果的步骤，包括：
从对初始数据类型参考量进行处理所得到的综合数据类型参考量中，获取目标数据类型参考量；
确定与所述目标数据类型参考量中所匹配的所述待使用大数据推荐策略所属的待使用大数据推荐策略匹配的预设策略属性映射数据库；
利用所述预设策略属性映射数据库，依次统计匹配所述目标数据类型参考量的策略映射关系对应的所述待使用大数据推荐策略的推荐值；
从所述预设策略属性映射数据库中，获取第一大数据库文件，其中，所述第一大数据库文件用于指示至少一个所述策略映射关系持有的所述待使用大数据推荐策略所在的文件；
按照预定顺序依次对相邻的两个所述第一大数据库文件进行比对；在比对结果指示不满足合并条件的情况下，将从相邻的两个所述第一大数据库文件中获取的一个第一大数据库文件，和从位于相邻的两个所述第一大数据库文件之后获取的下一个第一大数据库文件，作为下一次将要比对的相邻的两个所述第一大数据库文件；
在相邻的两个所述第一大数据库文件中，有且仅有一个所述策略映射关系持有所述待使用大数据推荐策略，且为同一个所述策略映射关系所持有的情况下，确定相邻的两个所述第一大数据库文件满足所述合并条件；
合并相邻的两个所述第一大数据库文件得到所述目标大数据文件；
将所述目标大数据文件作为...

【专利技术属性】
技术研发人员：刘秋杏，其他发明人请求不公开姓名，
申请(专利权)人：广州智物互联科技有限公司，
类型：发明
国别省市：广东;44