大数据活动项目日志分析与资源调配方法组成比例

本发明专利技术公开了大数据活动项目日志分析与资源调配方法，采用本发明专利技术提供的方案将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配；基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶意操作行为。通过实时监控参与人员在活动项目中的资源使用情况而实时并快速的调整其资源的配置，提升资源配置的效率和时效性。另外，还可以判断参与人员是否有违规操作或恶意操作行为，以保证活动项目过程中的数据的安全性。过程中的数据的安全性。过程中的数据的安全性。

【技术实现步骤摘要】
大数据活动项目日志分析与资源调配方法


[0001]本专利技术涉及大数据分析
，具体涉及大数据活动项目日志分析与资源调配方法。

技术介绍

[0002]在大数据的环境下，大数据分析成为近几年的热点。大数据分析是采用私有云系统建设为基础，基于私有云环境架构建设大数据系统，结合当今大数据形势、主流设备、技术在数据挖掘与分析等方向而提供全面的搜索分析环境。通过动手实际操作，强化参与人员对大数据技术知识的理解，提高集群部署与数据分析操作能力。而大数据平台的运行依托于云计算系统，将云计算系统的计算资源与各种大数据资源整合在一起，向用户提供各种服务。
[0003]但现有技术中存在平台资源调配不合理的情况，由于各个参赛人员的不同，所需求的资源利用情况也不同，而不合理的资源调配将会造成活动项目所需时间长，效率低的问题；另外，针对现有技术中日志分析，一般是对单个系统的日志进行单独分析，而具有联系的多个系统的日志分析由于系统对应的日志的独立性，而导致根据日志分析的分析结果不全面的问题，因此，亟需一种方案可以解决现有技术中日志分析独立性以及资源调配效率低的问题。

技术实现思路

[0004]本专利技术提供大数据活动项目日志分析与资源调配方法，用以解决现有技术中不合理的资源调配将会造成活动项目所需时间长，资源调配效率低的问题。
[0005]本专利技术提供大数据活动项目日志分析与资源调配方法，该方法包括：
[0006]将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；
[0007]基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配；
[0008]基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶意操作行为；
[0009]所述基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，包括：
[0010]基于云资源宿主机日志和虚机日志，获得参与人员的CPU利用率、内存以及存储空间的信息；
[0011]基于参与人员的CPU利用率、内存以及存储空间的信息，确定所述参与人员的资源占比；所述资源占比包括：基于CPU回放功能确定预设的历史时间段内所述参与人员的CPU利用率占比，以及内存占比和存储空间占比；所述CPU利用率占比是基于CPU共享的情况；
[0012]判断所述参与人员的资源占比是否在第一阈值范围之内；
[0013]若否，对所述参与人员的资源进行第一次资源调配；
[0014]所述基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶
意操作行为，包括：
[0015]基于监控摄像设备获得存储的视频或图像；
[0016]采用视频和图像识别处理系统对存储的视频或图像进行识别处理，获得文本格式的识别结果，将所述文本格式的识别结果对接至日志分析系统形成监控摄像设备日志；
[0017]所述日志分析系统通过对监控摄像设备日志和堡垒机日志的分析，判断参与人员是否有违规操作和恶意操作行为；所述大数据活动项目要求参与人员不得自行获取活动项目相关材料的行为，以及不允许具有恶意操作行为。
[0018]优选的，当判断所述参与人员的资源占比是否在第一阈值范围之外时，判断所述参与人员的资源占比是否在第二阈值范围内；所述第二阈值范围大于所述第一阈值范围；
[0019]若否，对所述参与人员的资源进行第二次资源调配；
[0020]当判断所述参与人员的资源占比超出第一阈值范围或第二阈值范围时，通过发出警报的方式进行预警展示。
[0021]优选的，所述对所述参与人员的资源进行第一次资源调配，包括：
[0022]当所述参与人员的资源占比达到第一阈值范围的最大值时，提升所述参与人员的资源配置；所述提升所述参与人员的资源配置包括以下情况的一种或者多种的组合：提升CPU利用率的资源配置、提升内存的资源配置、提升存储空间的资源配置；
[0023]当所述参与人员的资源占比低于所述第一阈值范围的最小值时，降低所述参与人员的资源配置；所述降低所述参与人员的资源占比包括降低参与人员的CPU利用率的资源配置。
[0024]优选的，所述第一阈值范围为大于等于40％，小于等于80％；相应的，所述第一阈值范围的最大值为80％，最小值为40％。
[0025]优选的，对所述参与人员的资源占比进行实时监控，当监控到参与人员的资源占比不足40％时，对参与人员的资源进行降配处理，资源配置调整为在原配置的基础上降低50％；当监控到参与人员的资源占比将要达到或超过80％时，对参与人员的资源进行升配处理，资源配置调整为在原配置的基础上增加50％；
[0026]在对所述参与人员的资源占比进行实时监控的过程中，以时间为基准确定参与人员的资源使用情况的曲线图，根据所述曲线图的变化趋势对参与人员的资源使用情况进行预测，及时预测出需要进行资源调配的参与人员以及依据时间紧迫性顺序预测资源调配的调配顺序。
[0027]优选的，所述对所述参与人员的资源进行第一次资源调配，包括：
[0028]采用智能化自动化的方式根据参与人员的资源占比自动对所述参与人员的资源进行第一次资源配置；
[0029]或者，采用人工干预方式根据参与人员的资源占比对所述参与人员的资源进行第一次资源配置。
[0030]优选的，所述将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合，包括：
[0031]将日志融合系统连接所述云资源宿主机、虚机、堡垒机以及监控摄像设备的视频和图像识别处理系统，分别获取云资源宿主机日志、虚机日志、、堡垒机日志以及监控摄像设备日志；
[0032]所述日志融合系统将所述云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合。
[0033]优选的，所述日志融合包括数据采集融合和数据分析融合：
[0034]所述数据采集融合包括：通过agent或syslog协议的方式对日志进行采集；所述针对日志或数据的采集为多源数据采集；所述宿主机日志包括虚机的创建、运维和删除的过程所产生的日志；所述虚机日志包括用户在虚机上执行的操作所产生的日志；所述堡垒机日志包括堡垒机登录用户IP地址所访问的所有应用的操作产生的日志；所述监控摄像设备日志包括将监控摄像设备记录的视频和图像进行识别处理后形成的数据；
[0035]所述数据分析融合包括：将采集到的日志聚合在平台上后，基于不同场景、不同维度采用大数据分布式结构进行日志的数据分析融合处理，形成处理分析结果；
[0036]通过搜索引擎的方式在展示界面上展示分析结果。
[0037]优选的，所述日志分析系统通过对监控摄像设备日志和堡垒机日志的分析，判断参与人员是否有违规操作和恶意操作行为，包括：
[0038]所述监控摄像设备对参与人员的肢体行为的违规操作进行监控，通过视频和图像识别处理系统对监控到的视频或图像进行识别处理，判断参与人员是否有泄露活动项目相关材料的行为；若有，则判定为所述参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.大数据活动项目日志分析与资源调配方法，其特征在于，包括：将云资源宿主机日志、虚机日志、堡垒机日志以及监控摄像设备日志进行日志融合；基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配；基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶意操作行为；所述基于云资源宿主机日志和虚机日志，对参与人员的资源进行调配，包括：基于云资源宿主机日志和虚机日志，获得参与人员的CPU利用率、内存以及存储空间的信息；基于参与人员的CPU利用率、内存以及存储空间的信息，确定所述参与人员的资源占比；所述资源占比包括：基于CPU回放功能确定预设的历史时间段内所述参与人员的CPU利用率占比，以及内存占比和存储空间占比；所述CPU利用率占比是基于CPU共享的情况；判断所述参与人员的资源占比是否在第一阈值范围之内；若否，对所述参与人员的资源进行第一次资源调配；所述基于堡垒机日志以及监控摄像设备日志，判断参与人员是否有违规操作和恶意操作行为，包括：基于监控摄像设备获得存储的视频或图像；采用视频和图像识别处理系统对存储的视频或图像进行识别处理，获得文本格式的识别结果，将所述文本格式的识别结果对接至日志分析系统形成监控摄像设备日志；所述日志分析系统通过对监控摄像设备日志和堡垒机日志的分析，判断参与人员是否有违规操作和恶意操作行为；所述大数据活动项目要求参与人员不得自行获取活动项目相关材料的行为，以及不允许具有恶意操作行为。2.根据权利要求1所述的大数据活动项目日志分析与资源调配方法，其特征在于，当判断所述参与人员的资源占比是否在第一阈值范围之外时，判断所述参与人员的资源占比是否在第二阈值范围内；所述第二阈值范围大于所述第一阈值范围；若否，对所述参与人员的资源进行第二次资源调配；当判断所述参与人员的资源占比超出第一阈值范围或第二阈值范围时，通过发出警报的方式进行预警展示。3.根据权利要求1所述的大数据活动项目日志分析与资源调配方法，其特征在于，所述对所述参与人员的资源进行第一次资源调配，包括：当所述参与人员的资源占比达到第一阈值范围的最大值时，提升所述参与人员的资源配置；所述提升所述参与人员的资源配置包括以下情况的一种或者多种的组合：提升CPU利用率的资源配置、提升内存的资源配置、提升存储空间的资源配置；当所述参与人员的资源占比低于所述第一阈值范围的最小值时，降低所述参与人员的资源配置；所述降低所述参与人员的资源占比包括降低参与人员的CPU利用率的资源配置。4.根据权利要求3所述的大数据活动项目日志分析与资源调配方法，其特征在于，所述第一阈值范围为大于等于40％，小于等于80％；相应的，所述第一阈值范围的最大值为80％，最小值为40％。5.根据权利要求4所述的大数据活动项目日志分析与资源调配方法，其特征在于，对所述参与人员的资源占比进行实时监控，当监控到参与人员的资源占比不足40％时，对参与
人员的资源进行降配处理，资源配置调整为在原配置的基础上降低50％；当监控到参与人员的资源占比将要达到或超过80％时，对参与人员的资源进行升配处理，资源配置调整为在原配置的基础上增加50％；在对所述参与人员的资源占比进行实时监控的过程中，以时间为基准确定参与人员的资源使用情况的曲线图，根...

【专利技术属性】
技术研发人员：单武，赵俊，房璐，陶一瑾，穆勇，
申请(专利权)人：北京市大数据中心，
类型：发明
国别省市：