基于人工智能的数据分流方法及相关设备技术

本申请提出一种基于人工智能的数据分流方法、装置、电子设备及存储介质，基于人工智能的数据分流方法包括：依据服务器的负载计算每个服务器的存储优先级；依据存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；依据服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；将预设集群生成的数据写入所述目标存储空间；实时接收数据查询请求，依据所述数据查询请求从所述预设集群中查询与所述数据查询请求对应的数据。该方法可以依据服务器的负载不断调整配置文件，从而将数据写入任务和查询任务合理分配至集群中的各个服务器中，能够提升集群中数据读写的效率。能够提升集群中数据读写的效率。能够提升集群中数据读写的效率。

【技术实现步骤摘要】
基于人工智能的数据分流方法及相关设备


[0001]本申请涉及数据处理
，尤其涉及一种基于人工智能的数据分流方法及相关设备，其中，相关设备包括基于人工智能的数据分流装置、电子设备及存储介质。

技术介绍

[0002]随着信息科技的发展，各行各业倾向于运用分布式集群存储并分析数据以提升数据可靠性，分布式集群上的数据处理任务的运行过程中，会产生大量的日志文件，为便捷管理日志以高效查看数据处理任务的运行状态，分布式集群通常会开启日志聚集功能，在数据处理任务运行完成后将这些日志统一存储于集群中的服务器上，以便查看程序运行详情，方便开发调试和生产问题定位。
[0003]目前，日志文件的聚合与存储地址通常由配置文件进行控制，且日志文件的存储地址通常是固定不变的，而频繁地向同一个存储地址进行文件读写给日志文件的存储地址所在的服务器带来较大的负载压力，从而会降低集群中数据读写的效率。

技术实现思路

[0004]鉴于以上内容，有必要提供一种基于人工智能的数据分流方法及相关设备，以解决如何提高数据读写的效率这一技术问题，其中，相关设备包括基于人工智能的数据分流装置、电子设备及存储介质。
[0005]本申请实施例提供一种基于人工智能的数据分流方法，所述方法包括：
[0006]查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级；
[0007]依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；
[0008]依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；
[0009]将所述预设集群生成的数据写入所述目标存储空间；
[0010]实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。
[0011]在一些实施例中，所述查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级，包括：
[0012]依据预设集群的数据生成记录计算采样周期；
[0013]每隔一个所述采样周期查询所述集群中每个所述服务器的负载，所述负载至少包括CPU占用率、内存占用率、磁盘占用率；
[0014]将所述负载输入预设的优先级计算公式以计算每个所述服务器的存储优先级，所述预设的优先级计算公式满足以下关系式：
[0015][0016]其中，T
i
代表第i次计算获得的所述服务器的存储优先级，且T的取值为(1,+∞)，i的取值为(0，+∞)；代表第i次查询获得的所述CPU占用率，且的取值为0到1之间的任意实数；代表第i次查询获得的所述内存占用率，且的取值为0到1之间的任意实数；代表第i次查询获得的所述磁盘占用率，且的取值为0到1之间的任意实数。
[0017]在一些实施例中，所述依据预设集群的数据生成记录计算采样周期，包括：
[0018]采集所述预设集群中的数据生成记录，所述数据生成记录用于记载所述预设集群中数据生成量的变化趋势，所述数据生成量指所述预设集群产生的数据的数量；
[0019]标记所述数据生成量的变化趋势中的波峰与波谷；
[0020]将所述波峰与所述波谷之间的时间差的均值作为一个采样周期。
[0021]在一些实施例中，所述依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列，包括：
[0022]将每个所述服务器的名称作为键，并将每个所述服务器的存储优先级作为值，构建键值对；
[0023]将所述键值对依据所述存储优先级由高到低的顺序进行排序；
[0024]将排序后的键值对联合存储为服务器队列，所述服务器队列用于实时表征所述服务器存储数据的能力。
[0025]在一些实施例中，所述依据所述服务器队列中服务器的次序编辑预设配置文件，包括：
[0026]从所述服务器队列中选取次序最靠前的所述服务器作为目标服务器，并查询所述目标服务器在所述预设集群中的存储目录和存储地址；
[0027]依据预设的正则表达式从所述预设配置文件中查询所述预设集群的数据存储目录和数据存储地址所在的行以作为目标行；
[0028]将所述目标行中的内容替换为所述目标服务器的存储目录和所述目标服务器的存储地址，以将所述目标服务器定义为所述预设集群中存储数据的目标存储空间。
[0029]在一些实施例中，所述预设集群包含至少一个数据应用，所述数据应用在运行结束后生成数据，所述将所述预设集群生成的数据写入所述目标存储空间，包括：
[0030]在所述数据应用开始运行后查询所述目标服务器的存储目录和存储地址；
[0031]在所述数据应用运行完成后，将所述数据应用生成的数据、所述目标服务器的存储目录和存储地址封装为请求数据；
[0032]依据预设的通信协议将所述请求数据发送至所述目标存储空间进行存储。
[0033]在一些实施例中，所述实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据，包括：
[0034]解析实时接收到的数据查询请求，获得待查询数据的索引；
[0035]依据所述待查询数据的索引从所述目标存储空间中查询目标数据；
[0036]若查询到所述目标数据，则向数据接收方推送所述目标数据；
[0037]若未查询到所述目标数据，则依据所述服务器的存储优先级由大到小的顺序从每个所述服务器中依次查询所述目标数据，若查询到所述目标数据则向数据接收方推送所述目标数据，若遍历完所有服务器仍未查询到所述目标数据，则向数据接收方告警。
[0038]本申请实施例还提供一种基于人工智能的数据分流装置，所述装置包括：
[0039]计算单元，用于查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级；
[0040]排序单元，用于依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；
[0041]配置单元，用于依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；
[0042]写入单元，用于将所述预设集群生成的数据写入所述目标存储空间；
[0043]查询单元，用于实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。
[0044]本申请实施例还提供一种电子设备，所述电子设备包括：
[0045]存储器，存储计算机可读指令；及
[0046]处理器，执行所述存储器中存储的计算机可读指令以实现所述基于人工智能的数据分流方法。
[0047]本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现所述基于人工智能的数据分流方法。
[0048]上述基于人工智能的数据分流方法基于服务器的负载计算每个服务器的存储优先级，并依据存储优先级由高到低的顺序对服务器进行排序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的数据分流方法，其特征在于，所述方法包括：查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级；依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；将所述预设集群生成的数据写入所述目标存储空间；实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。2.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级，包括：依据预设集群的数据生成记录计算采样周期；每隔一个所述采样周期查询所述集群中每个所述服务器的负载，所述负载至少包括CPU占用率、内存占用率、磁盘占用率；将所述负载输入预设的优先级计算公式以计算每个所述服务器的存储优先级，所述预设的优先级计算公式满足以下关系式：其中，T
i
代表第i次计算获得的所述服务器的存储优先级，且T的取值为(1,+∞)，i的取值为(0，+∞)；代表第i次查询获得的所述CPU占用率，且的取值为0到1之间的任意实数；代表第i次查询获得的所述内存占用率，且的取值为0到1之间的任意实数；代表第i次查询获得的所述磁盘占用率，且的取值为0到1之间的任意实数。3.如权利要求2所述的基于人工智能的数据分流方法，其特征在于，所述依据预设集群的数据生成记录计算采样周期，包括：采集所述预设集群中的数据生成记录，所述数据生成记录用于记载所述预设集群中数据生成量的变化趋势，所述数据生成量指所述预设集群产生的数据的数量；标记所述数据生成量的变化趋势中的波峰与波谷；将所述波峰与所述波谷之间的时间差的均值作为一个采样周期。4.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列，包括：将每个所述服务器的名称作为键，并将每个所述服务器的存储优先级作为值，构建键值对；将所述键值对依据所述存储优先级由高到低的顺序进行排序；将排序后的键值对联合存储为服务器队列，所述服务器队列用于实时表征所述服务器存储数据的能力。5.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述依据所述服务器队列中服务器的次序编辑预设配置文件，包括：从所述服务器队列中选取次序最靠前的所述服务器作为目标服务器，并查询所述目标
服务器在所述预...

【专利技术属性】
技术研发人员：刘潭义，张观成，万书武，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：