流计算性能优化方法及装置、电子设备、存储介质制造方法及图纸

本公开提供了一种流计算性能优化方法及装置、电子设备、存储介质，该方法包括：获取流计算作业运行过程中目标对象的运行参数，其中，目标对象为反映流计算作业实时运行性能的对象；根据该运行参数，确定流计算作业的运行状态，其中，该运行状态用于表示所述流计算作业的消息处理能力的强弱状态；根据该运行状态，使用与该目标对象对应的预设调整策略规则，在该流计算作业运行过程中调整所述运行参数，以优化该流计算作业的流计算性能。根据本公开的实施例能够方便、高效地优化流计算作业的流计算性能。的流计算性能。的流计算性能。

【技术实现步骤摘要】
流计算性能优化方法及装置、电子设备、存储介质


[0001]本公开涉及计算机
，特别涉及一种流计算性能优化方法及装置、电子设备、存储介质。

技术介绍

[0002]随着互联网技术的不断发展，各种业务场景都会有大量的数据产生，因此，基于Apache Flink分布式处理框架开发流计算flink作业任务(简称flink作业)，以方便、高效地对数据进行实时处理得到了广泛应用。为实现任务资源的弹性扩缩容以及降低运维成本，flink作业一般运行在容器集群上，该容器集群例如可以为通用分布式资源管理系统和调度平台(YARN，Yet Another Resource Negotiator)集群或者kubernetes(K8S)集群。
[0003]目前，当在容器集群中部署flink作业时，一般需要由用户根据经验手动配置任务资源参数，这可能出现因为任务资源参数配置不合理而导致flink作业的流计算性能过剩或不足。因此，在flink作业运行过程时，通常需要用户根据flink作业运行时出现的问题，并通过反复多次的执行以下步骤：1、停止flink作业；2、调整任务资源参数；3、重新启动flink作业，以优化flink作业的流计算性能。
[0004]由此可知，现有对flink作业的流计算性能进行优化的方法至少存在步骤繁琐、不够方便的问题。

技术实现思路

[0005]本公开提供一种流计算性能优化方法及装置、电子设备、存储介质。
[0006]第一方面，本公开提供了一种流计算性能优化方法，该流计算性能优化方法包括：
[0007]获取流计算作业运行过程中目标对象的运行参数，其中，所述目标对象为反映所述流计算作业实时运行性能的对象；
[0008]根据所述运行参数，确定所述流计算作业的运行状态，其中，所述运行状态用于表示所述流计算作业的消息处理能力的强弱状态；
[0009]根据所述运行状态，使用与所述目标对象对应的预设调整策略规则，在所述流计算作用也运行过程中调整所述运行参数，以优化所述流计算作业的流计算性能。
[0010]第二方面，本公开提供了一种流计算性能优化装置，该流计算性能优化装置包括：
[0011]获取单元，用于获取流计算作业运行过程中目标对象的运行参数，其中，所述目标对象为反映所述流计算作业实时运行性能的对象；
[0012]确定单元，用于根据所述运行参数，确定所述流计算作业的运行状态，其中，所述运行状态用于表示所述流计算作业的消息处理能力的强弱状态；
[0013]调整单元，用于根据所述运行状态，使用与所述目标对象对应的预设调整策略规则，在所述流计算作业运行过程中调整所述运行参数，以优化所述流计算作业的流计算性能。
[0014]第三方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的流计算性能优化方法。
[0015]第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的流计算性能优化方法。
[0016]本公开所提供的实施例，通过获取流计算作业，即flink作业运行过程中能够反映flink作业实时运行性能的目标对象的运行参数，并根据该运行参数，确定flink作业的运行状态，从而使得实施本公开实施例的电子设备可以在不需要人工参与的情况下，能够根据该运行状态，在该flink作业运行过程中使用与该目标对象对应的预设调整策略规则在不需要停止该flink作业的情况下自适应的调整该运行参数，以方便、高效地优化flink作业的流计算性能。
[0017]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0018]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0019]图1为本公开实施例提供的一种流计算性能优化方法的流程图；
[0020]图2为本公开实施例提供的第一运行状态确定处理示意图；
[0021]图3为本公开实施例提供的第二运行状态确定处理示意图；
[0022]图4为本公开实施例提供的流计算性能优化方法的应用场景示意图；
[0023]图5为本公开实施例提供的一种流计算性能优化装置的框图；
[0024]图6为本公开实施例提供的一种电子设备的框图。
具体实施方式
[0025]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0026]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0027]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0028]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0029]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0030]在相关技术中，为对不同业务场景下大量产生的数据进行实时处理，用户一般会针对性的开发流计算flink作业任务，并根据个人经验为flink作业配置任务资源参数，以将flink作业部署在容器集群，例如K8S集群中，从而基于该flink作业实现对数据的实时处理，其中，该业务场景可以为用于执行图像处理任务、语音处理任务、文本处理任务以及视频处理任务等至少一种任务的业务场景，在不同业务场景下，用户开发的flink作业任务处理的数据可以为图像数据、语音数据、文本数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流计算性能优化方法，其特征在于，包括：获取流计算作业运行过程中目标对象的运行参数，其中，所述目标对象为反映所述流计算作业实时运行性能的对象；根据所述运行参数，确定所述流计算作业的运行状态，其中，所述运行状态用于表示所述流计算作业的消息处理能力的强弱状态；根据所述运行状态，使用与所述目标对象对应的预设调整策略规则，在所述流计算作业运行过程中调整所述运行参数，以优化所述流计算作业的流计算性能。2.根据权利要求1所述的方法，其特征在于，所述目标对象包括目标作业顶点，所述目标作业顶点为所述流计算作业中包括目标计算任务的逻辑作业顶点，所述目标计算任务为所述流计算作业的多个计算任务中单位时间内的消息处理量最低的计算任务；所述运行参数包括所述目标作业顶点的并发度、所述目标作业顶点在单位时间内的消息输出量、所述目标作业顶点在单位时间内的消息输入量和所述目标计算任务在单位时间内的最大消息处理时间；所述根据所述运行参数，确定所述流计算作业的运行状态，包括：根据所述并发度和所述最大消息处理时间，计算所述目标作业顶点在单位时间内的消息处理量；根据所述消息输入量、所述消息输出量和所述消息处理量，确定所述流计算作业的运行状态。3.根据权利要求2所述的方法，其特征在于，所述根据所述消息输入量、所述消息输出量和所述消息处理量，确定所述流计算作业的运行状态，包括：获取所述消息输入量和所述消息输出量之间差值的绝对值作为第一差值；在所述第一差值小于第一预设阈值的情况下，获取所述消息处理量和所述消息输入量之间的差值的绝对值作为第二差值；在所述消息处理量大于所述消息输入量且所述第二差值大于或等于第二预设阈值的情况下，确定所述运行状态为强消息处理能力状态；在所述消息输出量小于所述消息输入量，所述消息处理量小于所述消息输入量，并且，所述第二差值大于或等于所述第二预设阈值的情况下，确定所述运行状态为弱消息处理能力状态。4.根据权利要求3所述的方法，其特征在于，所述预设调整策略规则用于指示基于所述目标作业顶点对应的消息处理量和消息输入量之间的第一比值对所述运行参数进行调整；所述根据所述运行状态，使用与所述目标对象对应的预设调整策略规则，在所述流计算作业运行过程中调整所述运行参数，包括：获取所述消息处理量和所述消息输入量之间的第一比值；在所述运行状态为所述强消息处理能力状态的情况下，在所述流计算作业运行过程中，根据所述第一比值对所述并发度进行缩小处理；在所述运行状态为所述弱消息处理能力状态的情况下，在所述流计算作业运行过程中，根据所述第一比值对所述并发度进行放大处理。5.根据权利要求1所述的方法，其特征在于，所述目标对象包括为所述流计算作业所处容器分配的内存资源；
所述运行参数包括老年代占用内存数值，所述老年代占用内存数值为承载所述流计算作业的虚拟机在执行多个堆内存回收处理后剩余老年代所占用内存资源的大小；所述根据所述运行参数，确定所述流计算作业的运行状态，包括：根据所述老年代占用内存数值，基于预设内存配置算法，获得所述内存资源的推荐数值；计算所述内存资源的实时数值和所述推荐数值之间差值的绝对值，并将所述绝对值作为第三差值；在所述第三差值大于或等于第三预设阈值，且所述推荐数值小于所述实时数值的情况下，确定所述运行状态为强消息处理能力状态；在所述第三差值大于或等于所述第三预设阈值，且所述推荐数值大于所述实时数值的情况下，确定所述运行状态为弱消息处理能力状态。6.根据权利要求5所述的方法，其特征在于，所述预设...

【专利技术属性】
技术研发人员：王曾，赵国庆，刘德华，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：