基于人工智能的数据分流方法及相关设备技术

本申请提出一种基于人工智能的数据分流方法、装置、电子设备及存储介质，基于人工智能的数据分流方法包括：依据服务器的负载计算每个服务器的存储优先级；依据存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；依据服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；将预设集群生成的数据写入所述目标存储空间；实时接收数据查询请求，依据所述数据查询请求从所述预设集群中查询与所述数据查询请求对应的数据。该方法可以依据服务器的负载不断调整配置文件，从而将数据写入任务和查询任务合理分配至集群中的各个服务器中，能够提升集群中数据读写的效率。能够提升集群中数据读写的效率。能够提升集群中数据读写的效率。

【技术实现步骤摘要】
基于人工智能的数据分流方法及相关设备


[0001]本申请涉及数据处理
，尤其涉及一种基于人工智能的数据分流方法及相关设备，其中，相关设备包括基于人工智能的数据分流装置、电子设备及存储介质。

技术介绍

[0002]随着信息科技的发展，各行各业倾向于运用分布式集群存储并分析数据以提升数据可靠性，分布式集群上的数据处理任务的运行过程中，会产生大量的日志文件，为便捷管理日志以高效查看数据处理任务的运行状态，分布式集群通常会开启日志聚集功能，在数据处理任务运行完成后将这些日志统一存储于集群中的服务器上，以便查看程序运行详情，方便开发调试和生产问题定位。
[0003]目前，日志文件的聚合与存储地址通常由配置文件进行控制，且日志文件的存储地址通常是固定不变的，而频繁地向同一个存储地址进行文件读写给日志文件的存储地址所在的服务器带来较大的负载压力，从而会降低集群中数据读写的效率。

技术实现思路

[0004]鉴于以上内容，有必要提供一种基于人工智能的数据分流方法及相关设备，以解决如何提高数据读写的效率这一技术问题，其中，相关设备包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的数据分流方法，其特征在于，所述方法包括：查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级；依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列；依据所述服务器队列中服务器的次序编辑预设配置文件，所述预设配置文件用于定义所述预设集群中的目标存储空间；将所述预设集群生成的数据写入所述目标存储空间；实时接收数据查询请求，从所述预设集群中查询与所述数据查询请求对应的数据。2.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述查询预设集群中每个服务器的负载，并依据所述负载计算每个所述服务器的存储优先级，包括：依据预设集群的数据生成记录计算采样周期；每隔一个所述采样周期查询所述集群中每个所述服务器的负载，所述负载至少包括CPU占用率、内存占用率、磁盘占用率；将所述负载输入预设的优先级计算公式以计算每个所述服务器的存储优先级，所述预设的优先级计算公式满足以下关系式：其中，T
i
代表第i次计算获得的所述服务器的存储优先级，且T的取值为(1,+∞)，i的取值为(0，+∞)；代表第i次查询获得的所述CPU占用率，且的取值为0到1之间的任意实数；代表第i次查询获得的所述内存占用率，且的取值为0到1之间的任意实数；代表第i次查询获得的所述磁盘占用率，且的取值为0到1之间的任意实数。3.如权利要求2所述的基于人工智能的数据分流方法，其特征在于，所述依据预设集群的数据生成记录计算采样周期，包括：采集所述预设集群中的数据生成记录，所述数据生成记录用于记载所述预设集群中数据生成量的变化趋势，所述数据生成量指所述预设集群产生的数据的数量；标记所述数据生成量的变化趋势中的波峰与波谷；将所述波峰与所述波谷之间的时间差的均值作为一个采样周期。4.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述依据所述存储优先级由高到低的顺序对所述服务器进行排序以构建服务器队列，包括：将每个所述服务器的名称作为键，并将每个所述服务器的存储优先级作为值，构建键值对；将所述键值对依据所述存储优先级由高到低的顺序进行排序；将排序后的键值对联合存储为服务器队列，所述服务器队列用于实时表征所述服务器存储数据的能力。5.如权利要求1所述的基于人工智能的数据分流方法，其特征在于，所述依据所述服务器队列中服务器的次序编辑预设配置文件，包括：从所述服务器队列中选取次序最靠前的所述服务器作为目标服务器，并查询所述目标
服务器在所述预...

【专利技术属性】
技术研发人员：刘潭义，张观成，万书武，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：