一种基于对hadoop安全漏洞的检测方法技术

本发明专利技术涉及一种基于对hadoop安全漏洞的检测方法。设立hadoop安全漏洞数据库，添加hadoop核心组件扫描的对象；通过对扫描对象添加扫描策略及配置后，生成扫描任务；调用扫描引擎对已经创建好的扫描任务进行扫描；扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测；当扫描任务和扫描策略无需修改时，扫描执行直到扫描任务结束；否则，可停止扫描任务进行扫描任务和扫描策略的修改，而后重新执行扫描任务：扫描任务结束后，根据系统内置的扫描报告模版，输出扫描结果报告。本发明专利技术可以对系统进行实时监控，第一时间对系统的核心组件扫描并生成报告，减少了漏洞对系统的危害，保障了企业数据的安全性。

A Detection Method Based on Haoop Security Vulnerabilities

The invention relates to a method for detecting Hadoop security vulnerabilities. Set up Hadoop security vulnerability database, add the object scanned by Hadoop core component; create scanning task by adding scanning strategy and configuration to the scanned object; call scanning engine to scan the scanned task that has been created; scan engine automatically crawls the catalogue and file of the scanned object, while realizing crawling while detecting the scanned object; when scanning, it can crawl while detecting the scanned object. When the task and scan strategy need not be modified, the scan is executed until the end of the scan task; otherwise, the scan task can be stopped to modify the scan task and scan strategy, and then the scan task can be re-executed: after the scan task is finished, according to the built-in scan report template of the system, the scan result report can be output. The invention can monitor the system in real time, scan the core components of the system and generate reports at the first time, reduce the harm of vulnerabilities to the system, and ensure the security of enterprise data.

【技术实现步骤摘要】
一种基于对hadoop安全漏洞的检测方法
本专利技术属于大数据领域，具体涉及一种基于对hadoop安全漏洞的检测方法。
技术介绍
Hadoop由多个组件组成，因此Hadoop集群的安全表示确保每个组件的安全，这就使得Hadoop集群安全变成了一项复杂的任务。企业数据包含和销售、客户信息、人力资源等相关的关键信息，在ERP、CRM、总账系统等信息管理系统中安全地存放。在最近的十年，各种数据安全事故造成数十亿美元的损失，也促使企业数据安全保障技术趋于成熟。随着服务业的成长和成熟，大多数系统大部分时间要开放给供应商来处理关键客户信息。因此，形成了很多安全和隐私保护的相关标准，包括HIPAA、HITECH、PCI、SOX、ISO和COBIT。因此需要服务提供者严格遵守这些标准来全面保护客户的数据。这也为企业内服务提供者和客户提供了强有力的数据安全保护措施，不会容忍任何数据安全违规操作。在过去八年的开发过程中，Hadoop已经日趋成熟，企业已经开始采用Hadoop来满足大数据处理的需要，任何数据安全事故将会导致企业对Hadoop生态系统失去信任。除非商业组织对Hadoop生态系统充满信任，否则他们绝不会冒险来采用这项大数据技术，因此，大数据项目成功或失败的关键就在于数据生态系统如何保证数据的安全，及时对漏洞进行检查清理是非常有必要的。
技术实现思路
本专利技术的目的在于提供一种基于对hadoop安全漏洞的检测方法，可以对系统进行实时监控，第一时间对系统的核心组件扫描并生成报告，减少了漏洞对系统的危害，保障了企业数据的安全性。为实现上述目的，本专利技术的技术方案是：一种基于对hadoop安全漏洞的检测方法，包括如下步骤：步骤S1、设立hadoop安全漏洞数据库，添加hadoop核心组件扫描的对象；步骤S2、通过对扫描对象添加扫描策略及配置后，生成扫描任务；步骤S3、调用扫描引擎对步骤S2已经创建好的扫描任务进行扫描；步骤S4、扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测；步骤S5、当步骤S4扫描任务和扫描策略无需修改时，扫描执行直到扫描任务结束；当扫描任务和扫描策略需要修改时，可停止扫描任务进行扫描任务和扫描策略的修改，而后重新执行扫描任务：步骤S6、扫描任务结束后，生成扫描结果，据系统内置的扫描报告模版，输出扫描结果报告，向用户提供扫描结果和扫描报告。在本专利技术一实施例中，所述步骤S1中，扫描的对象包括扫描目标主机的开放端口、指纹信息、信息泄露及hadoop版本信息的检测，以及对hadoop漏洞、hadoop组件安全配置、hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离的检查。在本专利技术一实施例中，所述步骤S3中，扫描引擎包括hadoop漏洞、虚拟化漏洞、配置检查、端口扫描、指纹信息、弱口令资源隔离检查的扫描引擎。在本专利技术一实施例中，所述步骤S3中，扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测的具体实现过程为：采用授权扫描的爬虫技术获取包括hbase、hive、MapReduce、HDFS的hadoop组件的漏洞，依照可配置的扫描策略及扫描配置对hadoop组件进行漏洞探测，采用授权扫描及导入包括raw、cow、qcow、vmdk格式的镜像文件进行检测；实现检查KVM1.2、Xen4.0、Vmware5.0以上版本的虚拟机平台的安全漏洞检测、资源干扰检测、防加载恶意软件检测、存储隔离检测、内存隔离检测、网络隔离检测和磁盘用户数据残留检测，并通过调用对应扫描引擎，对扫描任务中包括hadoop漏洞、hadoop组件安全配置、hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离、指纹信息，根据扫描策略集逐一进行扫描，完成目标的弱点检测任务。在本专利技术一实施例中，所述步骤S6中，扫描结果报告包括对Hadoop安全漏洞的名称、发现时间、对应版本、漏洞说明、修复建议的描述，并存储到所述Hadoop安全漏洞数据库。在本专利技术一实施例中，所述步骤S3中，扫描引擎是VMM漏洞检查工具，基于系统实现检查KVM、Xen虚拟机是否存在漏洞开发。相较于现有技术，本专利技术具有以下有益效果：本专利技术可以对系统进行实时监控，第一时间对系统的核心组件扫描并生成报告，减少了漏洞对系统的危害，保障了企业数据的安全性。具体实施方式下面，对本专利技术的技术方案进行具体说明。本专利技术提供了一种基于对hadoop安全漏洞的检测方法，包括如下步骤：步骤S1、设立hadoop安全漏洞数据库，添加hadoop核心组件扫描的对象；步骤S2、通过对扫描对象添加扫描策略及配置后，生成扫描任务；步骤S3、调用扫描引擎对步骤S2已经创建好的扫描任务进行扫描；步骤S4、扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测；步骤S5、当步骤S4扫描任务和扫描策略无需修改时，扫描执行直到扫描任务结束；当扫描任务和扫描策略需要修改时，可停止扫描任务进行扫描任务和扫描策略的修改，而后重新执行扫描任务：步骤S6、扫描任务结束后，生成扫描结果，据系统内置的扫描报告模版，输出扫描结果报告，向用户提供扫描结果和扫描报告。所述步骤S1中，扫描的对象包括扫描目标主机的开放端口、指纹信息、信息泄露及hadoop版本信息的检测，以及对hadoop漏洞、hadoop组件安全配置、hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离的检查。所述步骤S3中，扫描引擎包括hadoop漏洞、虚拟化漏洞、配置检查、端口扫描、指纹信息、弱口令资源隔离检查的扫描引擎。所述步骤S3中，扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测的具体实现过程为：采用授权扫描的爬虫技术获取包括hbase、hive、MapReduce、HDFS的hadoop组件的漏洞，依照可配置的扫描策略及扫描配置对hadoop组件进行漏洞探测，采用授权扫描及导入包括raw、cow、qcow、vmdk格式的镜像文件进行检测；实现检查KVM1.2、Xen4.0、Vmware5.0以上版本的虚拟机平台的安全漏洞检测、资源干扰检测、防加载恶意软件检测、存储隔离检测、内存隔离检测、网络隔离检测和磁盘用户数据残留检测，并通过调用对应扫描引擎，对扫描任务中包括hadoop漏洞、hadoop组件安全配置、hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离、指纹信息，根据扫描策略集逐一进行扫描，完成目标的弱点检测任务。所述步骤S3中，扫描引擎是VMM漏洞检查工具，基于系统实现检查KVM、Xen虚拟机是否存在漏洞开发。所述步骤S6中，扫描结果报告包括对Hadoop安全漏洞的名称、发现时间、对应版本、漏洞说明、修复建议的描述，并存储到所述Hadoop安全漏洞数据库。以下为本专利技术的具体实现实例。一种基于对Hadoop安全漏洞的检测方法，按照下述步骤依次进行：步骤一：设立Hadoop安全漏洞数据库，添加Hadoop核心组件扫描的对象，实现对对象的扫描；步骤二：通过对步骤一中通过添加扫描对象和扫描策略及配置后，生成扫描任务，实现对扫描对象的扫描；步骤三：调用扫描引擎对步骤二已经创建好的扫描任务进行扫描；步骤四：步骤三中被调用的扫描引擎会自动对扫描对本文档来自技高网...

【技术保护点】
1.一种基于对hadoop安全漏洞的检测方法，其特征在于，包括如下步骤：步骤S1、设立hadoop安全漏洞数据库，添加hadoop核心组件扫描的对象；步骤S2、通过对扫描对象添加扫描策略及配置后，生成扫描任务；步骤S3、调用扫描引擎对步骤S2已经创建好的扫描任务进行扫描；步骤S4、扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测；步骤S5、当步骤S4扫描任务和扫描策略无需修改时，扫描执行直到扫描任务结束；当扫描任务和扫描策略需要修改时，可停止扫描任务进行扫描任务和扫描策略的修改，而后重新执行扫描任务：步骤S6、扫描任务结束后，生成扫描结果，据系统内置的扫描报告模版，输出扫描结果报告，向用户提供扫描结果和扫描报告。

【技术特征摘要】
1.一种基于对hadoop安全漏洞的检测方法，其特征在于，包括如下步骤：步骤S1、设立hadoop安全漏洞数据库，添加hadoop核心组件扫描的对象；步骤S2、通过对扫描对象添加扫描策略及配置后，生成扫描任务；步骤S3、调用扫描引擎对步骤S2已经创建好的扫描任务进行扫描；步骤S4、扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测；步骤S5、当步骤S4扫描任务和扫描策略无需修改时，扫描执行直到扫描任务结束；当扫描任务和扫描策略需要修改时，可停止扫描任务进行扫描任务和扫描策略的修改，而后重新执行扫描任务：步骤S6、扫描任务结束后，生成扫描结果，据系统内置的扫描报告模版，输出扫描结果报告，向用户提供扫描结果和扫描报告。2.根据权利要求1所述的一种基于对hadoop安全漏洞的检测方法，其特征在于，所述步骤S1中，扫描的对象包括扫描目标主机的开放端口、指纹信息、信息泄露及hadoop版本信息的检测，以及对hadoop漏洞、hadoop组件安全配置、hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离的检查。3.根据权利要求2所述的一种基于对hadoop安全漏洞的检测方法，其特征在于，所述步骤S3中，扫描引擎包括hadoop漏洞、虚拟化漏洞、配置检查、端口扫描、指纹信息、弱口令资源隔离检查的扫描引擎。4.根据权利要求3所述的一种基于对hadoop...

【专利技术属性】
技术研发人员：何金栋，唐志军，赵志超，吴飞，吴丹，谢新志，吴丽进，林承华，罗富财，
申请(专利权)人：国网福建省电力有限公司，国网福建省电力有限公司电力科学研究院，
类型：发明
国别省市：福建,35