【技术实现步骤摘要】
本申请涉及人工智能，特别涉及一种基于人工智能的算力运营管理系统及方法。
技术介绍
1、随着云计算、大数据等技术的发展，数据中心规模不断扩大，数据量呈爆炸式增长。为提高数据中心的运维效率，利用人工智能技术实现数据中心的智能化、自动化管理成为发展趋势。然而，现有的基于人工智能的算力运营管理系统在进行海量异构数据格式转换时，转换效率较低。
2、现有技术中，基于人工智能的算力运营管理系统通常采用专家系统和机器学习等方式生成数据格式转换规则。但是这种转换规则往往包含大量冗余判断条件和嵌套循环逻辑，不仅编码复杂，而且执行效率低。
3、在相关技术中，比如中国专利文献cn113112234a中提供了一种基于人工智能的企业运营管理平台，涉及人工智能相关领域，为解决现有技术中的企业运营管理平台的运营范围不够全面，仅针对业务端和管理端进行业务运营的问题。所述运营管理平台和人工智能数据交互，所述运营管理平台包括目标运营子系统、责任运营子系统、流程运营子系统、薪酬运营子系统、绩效运营子系统、培训运营子系统、财务运营子系统、风控运营子系统和人员通信子系统，目标运营子系统、责任运营子系统、流程运营子系统、薪酬运营子系统、绩效运营子系统、培训运营子系统、财务运营子系统、风控运营子系统和人员通信子系统相互之间数据交互。但是该方案中，子系统之间的数据交互涉及不同的数据格式和结构，导致在转换过程中需要进行复杂的映射和处理。因此该方案的数据转换效率有待进一步提高。
技术实现思路
1、1.要解决的技
2、针对现有技术中存在的基于人工智能的算力运营管理系统中数据转换效率低的问题，本申请提供了一种基于人工智能的算力运营管理系统及方法，通过规则编码和循环结构优化等，提高了算力资源利用效率。
3、2.技术方案
4、本申请的目的通过以下技术方案实现。
5、本说明书实施例的一个方面提供一种基于人工智能的算力运营管理系统，包括：采集模块，通过多线程并发获取数据，并将获取的数据分为访问频率大于阈值的热点数据和访问频率小于阈值的冷数据；多线程并发具体可以通过线程池的方式实现，预设n个线程在后台监听数据源，当有新数据到达时，就由线程池分配一个空闲线程去获取数据。这样可以避免频繁创建/销毁线程的资源消耗。获取到的数据会记录每个数据项的访问频率，可以通过哈希表或者搜索树来保存数据项和其访问频率的对应关系。然后根据预设的频率阈值，将访问频率大于阈值的数据区分为热点数据，访问频率小于阈值的区分为冷数据。热点数据和冷数据可以写入不同的数据库表中进行存储，也可以在内存中用不同的数据结构组织区分开。这样可以对热点数据和冷数据进行差异化处理，例如热点数据可以置于缓存中加速访问，冷数据可以负责存储到磁盘中。
6、具体的，多线程并发是指在一个程序中同时启动多个线程执行不同的任务，这些线程可以同时运行，相互之间并行不互相影响。在本申请中，预先创建一个线程池，线程池中维护多个线程。当有新的数据需要获取时，从线程池中选取一个空闲的线程，分配给该线程获取数据的任务。该线程完成数据获取后，释放线程返回线程池等待下一次使用。同时线程池中的其他空闲线程可以获取其他数据源的数据。这样多个线程并发地处理数据获取任务，充分利用多核cpu的计算资源，提高数据获取的效率。相比串行获取数据，并发多线程可以显著减少数据的获取时间。
7、具体地，访问频率阈值的设置可以通过：采用统计一定时间窗口内对某数据的访问次数来计算，例如统计过去1小时内访问次数。根据经验预设一个固定的数值作为阈值，例如设置阈值为100，即访问超过100次的为热点数据。根据系统整体访问频率分布及变化趋势，选择一个合适百分比作为阈值，例如超过访问频率分布的90分位频率视为热点数据。让访问频率阈值与系统负载等指标挂钩，在系统负载高时提高阈值，避免分类过多热点数据。优选地，可以定期监测访问频率分布，如果需要可以调整阈值，也可以设置成自适应调整。还可以区分读写比例，读频率高的作为热点数据，写频率高的作为冷数据。频率统计可以采用计数器或使用redis等缓存数据库的原生支持。
8、转换模块，与采集模块连接，根据转换规则对获取的数据进行格式转换；其中，转换模块与采集模块连接，从采集模块接收获取到的各种数据。转换模块需要存储预定义的转换规则，这些规则可以由用户制定，也可以通过机器学习生成。转换规则一般包含数据的源格式、目标格式、转换逻辑等。源格式指输入数据的结构，目标格式是期望输出的数据结构。转换逻辑则定义了如何根据输入数据，生成输出数据。逻辑可包含过滤、映射、分组、连接等操作。当输入新的待转换数据时，转换模块会匹配转换规则，找到输入数据格式对应的转换规则。然后按照规则中定义的转换逻辑，逐项处理输入数据，最终生成输出结果。转换后的输出会提交到后续模块进行存储或处理。转换模块可以采用编译或解释方式执行转换规则，并进行优化。如提前编译规则为可执行代码。
9、缓存模块，与转换模块连接，缓存访问频率高于阈值的转换规则；缓存模块与转换模块相连接，可以直接访问转换模块中的转换规则。缓存模块会统计每条转换规则被访问或使用的频率。对于频率较高的规则，即访问频率超过预设阈值的规则，缓存模块会将其缓存到高速缓存中。高速缓存可以采用redis、memcached等内存数据库实现，使访问速度大幅提升。当转换模块需要对热点数据进行转换时，可以直接从缓存模块中查询对应的热点规则，避免每次都访问存储模块，提高转换效率。对于冷数据，由于转换规则访问不频繁，可以直接从存储模块中加载规则。缓存模块需要定期更新规则的访问频率统计，并维护缓存中的规则集合。可以根据缓存容量、访问频率分布来动态调整缓存策略。
10、执行模块，分别与转换模块和缓存模块连接，基于转换规则，对采集的数据进行分布式并行格式转换；执行模块需要同时连接转换模块和缓存模块，可以获取转换规则。从转换模块获取普通规则，从缓存模块获取热点规则，以提高获取效率。在进行数据转换时，执行模块会利用转换规则生成可执行的转换代码。转换代码可采用编译或解释的方式执行，提前编译可以提高效率。执行模块会将输入的数据按块分区，采用mapreduce等技术分发到多节点。每个节点并行执行转换代码，实现分布式并行转换。转换后的数据汇总输出。采用分布式可以处理超大规模数据。执行模块可基于spark、flink等分布式框架实现，也可以调用函数服务如lambda实现服务器less执行。执行模块还可以实现弹性扩缩容，根据数据量动态调整节点数。
11、元数据模块，分别与转换模块和执行模块连接，通过关联分析算法优化转换规则；其中，元数据模块需要连接转换模块和执行模块，可以获取第一手的数据。从转换模块获取各转换规则使用的源数据格式、目标格式等元信息。从执行模块获取转换性能数据，如转换耗时、失败率等。元数据模块对获取的信息进行关联分析，可以采用关联规则学习算法。分析出哪些源数据格式频繁一起转换到某目标格式。或者分析出哪些转换规则失败率高本文档来自技高网...
【技术保护点】
1.一种基于人工智能的算力运营管理系统，包括：
2.根据权利要求1所述的基于人工智能的算力运营管理系统，其特征在于：
3.根据权利要求2所述的基于人工智能的算力运营管理系统，其特征在于：
4.根据权利要求3所述的基于人工智能的算力运营管理系统，其特征在于：
5.根据权利要求4所述的基于人工智能的算力运营管理系统，其特征在于：
6.根据权利要求5所述的基于人工智能的算力运营管理系统，其特征在于：
7.根据权利要求6所述的基于人工智能的算力运营管理系统，其特征在于：
8.根据权利要求7所述的基于人工智能的算力运营管理系统，其特征在于：
9.根据权利要求8所述的基于人工智能的算力运营管理系统，其特征在于：
10.一种基于权利要求1至9任一所述的基于人工智能的算力运营管理系统的方法，包括：
【技术特征摘要】
1.一种基于人工智能的算力运营管理系统，包括：
2.根据权利要求1所述的基于人工智能的算力运营管理系统，其特征在于：
3.根据权利要求2所述的基于人工智能的算力运营管理系统，其特征在于：
4.根据权利要求3所述的基于人工智能的算力运营管理系统，其特征在于：
5.根据权利要求4所述的基于人工智能的算力运营管理系统，其特征在于：
6.根据权利...
【专利技术属性】
技术研发人员：计建国，
申请(专利权)人：维能深圳大数据股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。