一种基于数据量的本地化硬件部署方法技术

本发明专利技术公开了一种基于数据量的本地化硬件部署方法，所述方法包括以下步骤：步骤一：根据大数据平台分析计算出客户端数据平均值；步骤二：获取所有硬件服务器型号参数并记录到数据库表中，判断该硬件服务器型号参数对应机型，并在该机型打上对应组件服务的标签；步骤三：获取对应机型的服务器详细信息，包括服务器硬盘信息和电源配件信息，并记录到数据库表中；步骤四：编写API接口，该接口用于提供具体容量算法，并结合所有硬件服务器的服务器详细信息计算出对应的硬件配置。本发明专利技术可以根据客户提供的数据类型、数据量或其他更丰富的信息，高效、快速的构建一套本地化硬件部署方案，保证在一定的网络数据量下服务的正常、稳定的运行。运行。

【技术实现步骤摘要】
一种基于数据量的本地化硬件部署方法


[0001]本专利技术属于硬件部署领域，尤其涉及一种基于数据量的本地化硬件部署方法。

技术介绍

[0002]现有网页、app、微信等客户端单条数据平均大小在海量、时间跨度长的大数据存储中没有一个明确、标准的值，市面上还没有类似的工具可以根据网络数据量比如一天10万条微信数据来自动计算出在舆情系统中各组件如Elasticsearch、Hbase等存储容量大小，往往依据大数据工程师经验来重复的计算此类需求。根据大数据工程师经验计算出具体的组件服务存储的大小后，如何能高效、快速的构建一套本地化硬件部署方案，保证在一定的网络数据量下服务的正常、稳定的运行，是一个系统性且复杂的问题。

技术实现思路

[0003]本专利技术的目的在于克服现有技术存在的以上问题，提供一种基于数据量的本地化硬件部署方法。
[0004]为实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：一种基于数据量的本地化硬件部署方法，所述方法包括以下步骤：步骤一：根据大数据平台分析计算出客户端数据平均值；步骤二：获取所有硬件服务器型号参数并记录到数据库表中，判断该硬件服务器型号参数对应机型，并在该机型打上对应组件服务的标签；步骤三：获取对应机型的服务器详细信息，包括服务器硬盘信息和电源配件信息，并记录到数据库表中；步骤四：编写API接口，该接口用于提供具体容量算法，并结合所有硬件服务器的服务器详细信息计算出对应的硬件配置。
[0005]进一步地，所述步骤一中客户端数据平均值包括客户端不同数据类型的年数据量平均值和月数据量平均值。
[0006]进一步地，所述步骤二中标签对应服务器均为裸盘。
[0007]进一步地，所述步骤二中硬件服务器用于存储所有客户端正文信息，并计算Hbase服务和kafka集群服务的存储容量。
[0008]进一步地，所述步骤三中服务器硬盘信息包括：硬盘类型、大小、品牌、价格。
[0009]进一步地，所述步骤四具体包括：API接口通过规定所有硬件服务器默认的副本数、存储容量健康模式、集群服务日志默认保留天数、硬件服务器容量盘raid级别，获取各客户端数据平均值，根据客户端的数据类型、数据量计算出对应的存储容量需求，再结合所有硬件服务器详细信息计算出硬件配置。
[0010]进一步地，所述步骤四具体容量算法包括：采集并统计所有客户端数据量样本，并对每个客户端的数据量样本计算方差，若方差值大于预设数值，则根据方差值与预设数值之差调整配置容量上限值和下限值，并将调整后的配置容量上限值和下限值作为对应客户
端的硬件配置。
[0011]本专利技术的有益效果是：本专利技术可以根据客户提供的数据类型、数据量或其他更丰富的信息，高效、快速的构建一套本地化硬件部署方案，保证在一定的网络数据量下服务的正常、稳定的运行。
具体实施方式
[0012]下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0013]一种基于数据量的本地化硬件部署方法，所述方法包括以下步骤：步骤一：根据大数据平台分析计算出客户端数据平均值，客户端数据平均值包括客户端不同数据类型的年数据量平均值和月数据量平均值；步骤二：获取所有硬件服务器型号参数并记录到数据库表中，判断该硬件服务器型号参数对应机型，并在该机型打上对应组件服务的标签，标签对应服务器均为裸盘，硬件服务器用于存储所有客户端正文信息，并计算Hbase服务和kafka集群服务的存储容量；步骤三：获取对应机型的服务器详细信息，包括服务器硬盘信息和电源配件信息，并记录到数据库表中，服务器硬盘信息包括：硬盘类型、大小、品牌、价格；步骤四：编写API接口，该接口用于提供具体容量算法，并结合所有硬件服务器的服务器详细信息计算出对应的硬件配置；具体包括：API接口通过规定所有硬件服务器默认的副本数、存储容量健康模式、集群服务日志默认保留天数、硬件服务器容量盘raid级别，获取各客户端数据平均值，根据客户端的数据类型、数据量计算出对应的存储容量需求，再结合所有硬件服务器详细信息计算出硬件配置。
[0014]具体容量算法包括：采集并统计所有客户端数据量样本，并对每个客户端的数据量样本计算方差，若方差值大于预设数值，则根据方差值与预设数值之差调整配置容量上限值和下限值，并将调整后的配置容量上限值和下限值作为对应客户端的硬件配置。
[0015]例如：首先根据大数据平台分析计算出客户端不同数据类型的年数据量平均值和月数据量平均值；然后获取硬件服务器如华为、戴尔等主流常规型号参数记录到数据库表中，如dellR740一颗10核cpu、64G内存、2.3GHz、600G系统盘，此参数机型可满足Elasticsearch服务需求，则对此型号服务器打上ES标签，其他机型以此类推打上对应组件服务的标签；再获取上面对应机型的服务器硬盘各种大小容量盘、电源等配件信息记录到数据库表中，不需要标签，只需精确记录硬盘类型、大小、品牌、价格、硬件类型即可；最后编写一个API接口，该接口提供具体容量算法，比如规定好elasticsearch服务默认的副本数、存储容量健康模式，kafka集群服务日志默认保留天数，硬件服务器容量盘raid级别，自动获取各客户端如微信、app等平均值等，能够根据客户提供的数据类型、数据量来计算相关服务的存储容量需求，再结合硬件服务器类型、配件类型计算出合理的硬
件配置并返回。
[0016]以上显示和描述了本专利技术的基本原理、主要特征和本专利技术的优点。本行业的技术人员应该了解，本专利技术不受上述实施例的限制，上述实施例和说明书中描述的只是说明本专利技术的原理，在不脱离本专利技术精神和范围的前提下，本专利技术还会有各种变化和改进，这些变化和改进都落入要求保护的本专利技术范围内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据量的本地化硬件部署方法，其特征在于：所述方法包括以下步骤：步骤一：根据大数据平台分析计算出客户端数据平均值；步骤二：获取所有硬件服务器型号参数并记录到数据库表中，判断该硬件服务器型号参数对应机型，并在该机型打上对应组件服务的标签；步骤三：获取对应机型的服务器详细信息，包括服务器硬盘信息和电源配件信息，并记录到数据库表中；步骤四：编写API接口，该接口用于提供具体容量算法，并结合所有硬件服务器的服务器详细信息计算出对应的硬件配置。2.根据权利要求1所述的一种基于数据量的本地化硬件部署方法，其特征在于：所述步骤一中客户端数据平均值包括客户端不同数据类型的年数据量平均值和月数据量平均值。3.根据权利要求1所述的一种基于数据量的本地化硬件部署方法，其特征在于：所述步骤二中标签对应服务器均为裸盘。4.根据权利要求1所述的一种基于数据量的本地化硬件部署方法，其特征在于：所述步骤二中硬件服务器用于存储所有客户端正文信息，...

【专利技术属性】
技术研发人员：王欢，何乐松，韩启红，
申请(专利权)人：安徽清博大数据科技有限公司，
类型：发明
国别省市：