一种B2B平台分布式应用调度与资源分配方法，包括如下步骤：定时任务，系统可使用消息传递代替部分使用作业的场景；将待处理的数据放入队列表，然后使用频率极短的定时任务拉取队列表的数据并处理；将B2B平台的日志处理资源分配，对B2B平台所有的日志处理与数据处理时，资源的调度和程序的统一运行达到了统一的分配；所有输入的程序先向该全局资源管理器申请资源，申请成功之后，再由集群的节点中的自身的调度器决定资源交由哪个可用的节点，并分配任务使用；通过三种调度器的调度，按照先进先出的方式处理应用；队列设定最大提交的应用数量和占用资源的百分比；在分布式应用调度与自动资源分配上有显著的效果。
【技术实现步骤摘要】
本专利技术涉及网站平台分布式应用调度计算与存储等资源分配的方法，尤其是一种B2B平台分布式应用调度与资源分配方法。
技术介绍
电子商务发展至今，各运营系统已经产生海量的数据日志，我们需要对这些数据分析的同时，也在考虑集群的资源调度情况。国内现有的用调度与资源分配方法，特别是针对B2B平台的分布式用调度与资源分配，以及在大数据用调度与资源分配中，海量数据调度的情况下，容易出现很多问题或者无法保证实时性，比如：中国专利CN201210155124.8，给出了一种使用多点协作传输技术的通信系统中。该方法包括步骤：S1，染色体编码；S2，初始化设置；S3，计算适应度值；S4，判断最优解是否优于精英，若是进行精英更新执行S5；否则跳到S5；S5，判断是否已产生预定代种群，若否执行S6；否则跳到S8；S6，参加繁殖过程产生两个子染色体个体；S7，判断是否已产生预定个子染色体个体，若是跳到S3重新计算；否则转S6继续繁殖；S8，依据精英对应的解进行调度和资源分配。本专利技术的方法可在满足调度限制及功率限制条件下，联合地进行调度和资源分配，以较低的计算复杂度可靠高效地优化系统性能。该方法属于在网络通讯方面的数据传输技术，无法适用于网页以及B2B的网站中。中国专利CN200810216675.4，提出的方法包括：一、根据UE的反馈信息，生成重传UE序列和新传UE序列；二、对所述重传UE序列进行排序，得到的重传UE优先级顺序；并计算所有重传UE所需的资源块的总数，判断所述资源块总数是否大于等于调度周期内可用资源块总数，若是，则执行步骤四；否则，执行步骤三；三、计算新传UE的公平因子，并对所述新传UE进行排序，按照得到的优先级顺序，依次为所述新传UE分配资源块并进行调度；四、按照所述重传UE优先级顺序，依次为每个重传UE分配资源块并进行调度。本专利技术兼顾了UE的业务类型，将调度与资源分配相对独立化，提高了系统性能。。该方法主要解决网络通讯中的调度与分配的方法，以及仅针对对LTEFDD系统，在B2B网站中无法实施该内容。
技术实现思路
专利技术目的：为了解决B2B网站在大数据集群分析中各程序之间运行资源分配与执行的调度与资源分配，本专利技术提供一种B2B平台分布式应用调度与资源分配方法，针对B2B网站平台集群的分布式调用，以及自动资源分配的方法。针对各运营系统已经产生海量的数据日志，我们需要对这些数据分析的同时，也在考虑集群的资源调度情况。通过B2B平台的海量日志文件在各分布式运用平台上的调用与资源分配，包括实时计算等运用，并且通过该方法高效的解决了该问题。本专利技术的技术方案是，一种B2B平台分布式应用调度与资源分配方法，其特征在于：包括如下步骤：(1)定时任务，B2B平台系统使用消息传递代替部分使用作业的场景；消息传递时通过队列列表，将待处理的数据放入队列表，然后使用消息中间件的定时任务拉取队列表的数据并处理；这种情况使用消息中间件的推送模式更好的处理实时性数据；而且基于数据库的消息存储吞吐量远远小于基于文件的顺序追加消息的存储量；将B2B平台系统的日志处理资源分配：对B2B平台所有的日志处理与数据处理时，资源的调度和程序的统一运行达到了统一的分配；(2)B2B平台系统中所有输入的程序(节点)先向该全局资源管理器申请资源，申请成功之后，再由平台系统集群的节点调度器,所述节点调度器是由当前节点的资源占有率来决定资源交由哪个可用的节点，并分配任务使用，包括内存，CPU，网络IO等不同资源，所有程序运行在同一个集群中，通过资源隔离容器软件模块的设定避免任务之间由资源争用导致效率下降，采用静态的资源分配，将所有输入的程序、各种资源的框架部署到同一个集群中，进行统一管理和调度，由于各种作业交错且作业提交频率大幅度升高，所以提高了资源利用率；(3)通过三种调度器的调度，第一种，按照先进先出的方式处理应用，对先进入队列的数据具有最高优先级，第二种，按照容量大小进行调度，队列进入容易大的和容量小的，按不同容量大小的数据进行并发处理，第三种，通过公平调度原则，当前队列自动根据所需资源大小进行分配并发调度；(4)队列可以设定最大提交的应用数量和占用资源的百分比。占用资源的百分比这个配置是用来计算队列的最大活跃应用数量。调度器中最大活跃应用数量＝占用资源的百分比*队列最大可使用资源量/最小的容器分配额度。配置文件中会配置内存额度会比最小容器分配额度大，最大活跃应用数量高，加入不同的计算框架,分配会不同，使用最小容器分配额度来计算。并且计算内存使用量来控制；(5)不同队列之间，按照队列的资源使用比排序。同一队列中的应用按照应用id排序，也就是先进先出。当调度次数小于本地延迟调度次数的时候不接受机架调度。本地延迟调度次数进行配置，默认是-1，不开启延迟调度。任意调度的延迟调度上限是应用申请的机器的数量。(6)计算比较是否需要资源；资源使用量小于资源需求量且小于最小共享量；如果两者都需要资源，计算资源分配比＝资源使用量/Min(资源需求量，最小共享量)；资源分配比较小的优先；如果一个需要，一个不需要，需要的优先；如果两者都不需要资源，计算使用权值比＝资源使用量/权值；使用权值比较小的优先；具体而言，各步骤的具体化：(1)定时任务，定义队列列表，将待处理的数据放入队列表，然后使用频率极短的定时任务拉取队列表的数据并处理。这种情况使用消息中间件的推送模式可更好的处理实时性数据。(2)所有输入的程序先向该全局资源管理器申请资源，申请成功之后，再由集群的节点中的自身的调度器决定资源交由哪个可用的节点，并分配任务使用；通过资源隔离容器避免任务之间由资源争用导致效率下降；(3)通过三种调度器的调度，按照先进先出的方式处理应用；只有一个队列可提交应用，所有用户提交到这个队列；针对这个队列设置ACL；没有应用优先级可以配置。多队列调度，设置当前限制资源使用量。队列间的资源分配按使用量进行排列，使得容量小的队列有竞争优势，尤其是队列间的资源分配以使用量作排列依据，使得使用量在200M以下的队列有竞争优势；如果平台系统集群整体吞吐较大，延迟调度机制使得应用可以放弃跨机器或者跨机架的调度机会，进行本地调度。多队列多用户共享资源，设置特有的客户端创建队列的特性，使得进行权限控制。根据队列设定的最小共享量或者权重等参数，按比例共享资源。判断延迟调度机制的目标对象相等。如果存在资源抢占特性，当前调度器能够依据公平资源共享，计算每个队列应得的资源，将超额资源的队列的部分容器进行释放。(4)队列设定最大提交的应用数量和AM占用资源的百分比；AM占用资源的百分比这个配置是用来计算队列的最大活跃应用数量；(5)计算比较体是否需要资源；即资源使用量是否小于资源需求量且小于最小共享量。有益效果：为了解决B2B网站在大数据集群分析中各程序之间运行资源分配与执行的调度与资源分配，针对各运营系统已经产生海量的数据日志，我们需要对这些数据分析的同时，也在考虑集群的资源调度情况。包括实时计算等运用，并且通过该方法高效的解决了该问题。本专利技术多队列多用户共享资源，设置特有的客户端创建队列的特性，使得进行权限控制。根据队列设定的最小共享量或者权重等参数，按比例共享资源。附图说明图1为本专利技术方法的实施流程图。本文档来自技高网...
【技术保护点】
一种B2B平台分布式应用调度与资源分配方法，其特征在于：包括如下步骤：(1)定时任务，系统可使用消息传递代替部分使用作业的场景；通过队列列表；将待处理的数据放入队列表，然后使用频率极短的定时任务拉取队列表的数据并处理；这种情况使用消息中间件的推送模式可更好的处理实时性数据；而且基于数据库的消息存储吞吐量远远小于基于文件的顺序追加消息存储；将B2B平台的日志处理资源分配，对B2B平台所有的日志处理与数据处理时，资源的调度和程序的统一运行达到了统一的分配；(2)所有输入的程序先向该全局资源管理器申请资源，申请成功之后，再由集群的节点中的自身的调度器决定资源交由哪个可用的节点，并分配任务使用，包括资源的内存、CPU、网络IO不同；所有程序运行在同一个集群中，通过资源隔离容器避免任务之间由资源争用导致效率下降；采用静态资源分配，将各种框架部署到同一个集群中，进行统一管理和调度，因各种作业交错且作业提交频率大幅度升高，所以提高了资源利用率；(3)通过三种调度器的调度，按照先进先出的方式处理应用；当只有一个队列提交应用，所有用户提交到这个队列；针对这个队列设置ACL，没有应用优先级能够配置；多队列调度，每个队列限制资源使用量；但是，队列间的资源分配以使用量作排列依据，使得容量小的队列有竞争优势；集群整体吞吐较大；延迟调度机制使得应用可以放弃，跨机器或者跨机架的调度机会，争取本地调度；(4)队列设定最大提交的应用数量和占用资源的百分比；如果加入不同的计算框架,AM的分配会不一致，所以这里使用最小容器分配额度来计算；计算AM的内存使用量来控制；(5)不同队列之间，按照队列的资源使用比排序；同一队列中的应用按照应用id排序，也就是先进先出；当调度次数小于本地延迟调度次数的时候不接受机架调度；本地延迟调度次数，默认是‑1，不开启延迟调度；任意调度的延迟调度上限是应用申请的机器的数量；(6)计算比较是否需要资源，即资源使用量小于资源需求量且小于最小共享量；如果两者都需要资源，计算资源分配比＝资源使用量/Min；资源分配比较小的优先；如果一个需要，一个不需要，需要的优先；如果两者都不需要资源，计算使用权值比＝资源使用量/权值；使用权值比较小的优先。...
【技术特征摘要】
1.一种B2B平台分布式应用调度与资源分配方法，其特征在于：包括如下步骤：(1)定时任务，系统可使用消息传递代替部分使用作业的场景；通过队列列表；将待处理的数据放入队列表，然后使用频率极短的定时任务拉取队列表的数据并处理；这种情况使用消息中间件的推送模式可更好的处理实时性数据；而且基于数据库的消息存储吞吐量远远小于基于文件的顺序追加消息存储；将B2B平台的日志处理资源分配，对B2B平台所有的日志处理与数据处理时，资源的调度和程序的统一运行达到了统一的分配；(2)所有输入的程序先向该全局资源管理器申请资源，申请成功之后，再由集群的节点中的自身的调度器决定资源交由哪个可用的节点，并分配任务使用，包括资源的内存、CPU、网络IO不同；所有程序运行在同一个集群中，通过资源隔离容器避免任务之间由资源争用导致效率下降；采用静态资源分配，将各种框架部署到同一个集群中，进行统一管理和调度，因各种作业交错且作业提交频率大幅度升高，所以提高了资源利用率；(3)通过三种调度器的调度，按照先进先出的方式处理应用；当只有一个队列提交应用，所有用户提交到这个队列；针对这个队列设置ACL，没有应用优先级能够配置；多队列调度，每个队列限制资源使用量；但是，队列间的资源分配以使用量作排列依据，使得容量小的队列有竞争优势；集群整体吞吐较大；延迟调度机制使得应用可以放弃，跨机器或者跨机架的调度机会，争取本地调度；(4)队列设定最大提交的应用数量和占用资源的百分比；如果加入不同的计算框架,AM的分配会不一致，所以这里使用最小容器分配额度来计算；计算AM的内存使用量来控制；(5)不同队列之间，按照队列的资源使用比排序；同一队列中的应用按照应用id排序，也就是先进先出；当调度次数小于本地延迟调度次数的时候不接受机架调度；本地延迟调度次数，默认是-1，不开启延迟调度；任意调度的延迟调度上限是应用申请的机器的数量；(6)计算比较是否需要资源，即资源使用量小于资源需求量且小于最小共享量；如果两者都需要资源，计...
【专利技术属性】
技术研发人员：徐飞，房鹏展，
申请(专利权)人：焦点科技股份有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。