【技术实现步骤摘要】
本专利技术涉及人工智能算法，更具体地说，它涉及一种高可靠性的通用人工智能核心软件算法系统。
技术介绍
1、人工智能，英文缩写为ai，它由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作，软件算法是人工智能的基础，要使计算机能完成人们预定的工作，首先必须为如何完成预定的工作设计一个软件算法，然后再根据软件算法编写程序；计算机程序要对问题的每个对象和处理规则给出正确详尽的描述，其中程序的数据结构和变量用来描述问题的对象，程序结构、函数和语句用来描述问题的算法。
2、目前，人工智能核心软件算法系统用来获取描述问题的相关数据和变量，并对相关数据和变量进行相应的处理，以实现利用处理后的数据进行算法的设计，因此由于人工智能核心软件算法系统需要大量的数据输入，并且需要经过复杂的处理和计算，从而导致对模型的响应速度和效率产生影响，尤其是在处理大量数据时，可能会存在性能瓶颈，难以满足日益发展的人工智能需求。
技术实现思路
1、本专利技术的目的在于提供一种高可靠性的通用人工智能核心软件算法系统，以解决上述
技术介绍
中存在的问题。
2、本专利技术的上述技术目的是通过以下技术方案得以实现的：
3、本申请提供了一种高可靠性的通用人工智能核心软件算法系统，包括存在连接关系的数据收集模块、数据预处理模块、数据存储模块以及组合模块，其中：
4、数据收集模块，用于从各个不同的数据源中获
5、数据预处理模块，用于将受到的训练数据进行预处理，得到预处理完成的第一数据，预处理包括数据清洗、数据过滤和数据转换，并将第一数据传输至数据存储模块；
6、数据存储模块，用于将接收的第一数据存储在数据存储模块中设置的分布式数据库中，并对第一数据进行水平扩展和负载均衡，且将第一数据分散到分布式数据库的各个存储节点中；
7、组合模块，用于从分布式数据库中获取第一数据，并利用第一数据对预置的初始模型进行训练，得到与初始模型对应并训练完成的算法模型；算法模型，用于将经过预处理后并存储在分布式数据库中的目标数据进行处理，得到目标数据的处理结果。
8、本专利技术的有益效果是：本方案中，通过数据收集模块能够从各种数据源中高效地收集数据，并通过数据预处理模块进行数据的清洗、过滤和转换，提高了数据的质量和可用性，且数据存储模块将处理后的数据安全地存储在分布式数据库中，确保数据的可靠性和可扩展性，其中，通过在数据存储模块中引入分布式数据库的技术，将各个数据分散到分布式数据库中的多个数据库节点上，以实现数据的水平扩展和负载均衡，从而可以提高数据处理能力和响应速度，同时降低单台机器的负载，提高对大量数据进行计算时的处理能力和处理效率。
9、在上述技术方案的基础上，本专利技术还可以做如下改进。
10、进一步，上述数据源包括传感器数据、日志文件、网络请求、预置数据库、消息队列中的一项或多项。
11、进一步，上述用于从各个不同的数据源中获取训练数据，具体为，根据训练数据的类型特点，并针对类型特点采用预置的编程语言工具编辑相应的数据采集程序，其中：
12、数据源为传感器数据时，使用传感器驱动程序读取传感器数据，数据采集程序包括感器驱动程序；
13、数据源为日志文件时，使用日志轮转或归档工具来收集或管理日志文件，数据采集程序包括日志轮转或归档工具；
14、数据源为网络请求时，使用http抓包工具来收集或管理网络请求，数据采集程序包括http抓包工具。
15、进一步，上述预处理包括数据清洗、数据过滤和数据转换，其中：
16、数据清洗，用于去除训练数据或目标数据中的重复数据；
17、数据过滤，用于过滤掉无效或错误的训练数据或目标数据；
18、数据转换，用于训练数据或将目标数据转换为预置格式的数据流。
19、采用上述进一步方案的有益效果是：预处理的过程可以确保收集到的数据的质量和准确性，并方便后续的数据处理和数据分析。
20、进一步，上述数据清洗或数据过滤采用预置数据清洗工具或预置过滤工具来执行。
21、进一步，上述预置数据清洗工具或预置过滤工具包括openrefine、excel、python、vba、pycharm中的一项或多项。
22、进一步，上述组合模块包括存在连接关系的数据抓取模块、算法模块、数据传输模块和缓存模块，其中：
23、算法模块，用于通过数据抓取模块从分布式数据库中获取第一数据，并利用第一数据对预置的初始模型进行训练，得与初始模型对应并训练完成的算法模型，并通过算法模型，将经过预处理后并存储在分布式数据库中的目标数据进行处理，得到目标数据的处理结果；还用于将处理结果通过数据传输模块传输至缓存模块；
24、缓存模块，用于将传输模块传输过来的各个数据进行临时存储。
25、采用上述进一步方案的有益效果是：算法模块将数据的处理结果通过数据传输模块传输送到缓存模块中进行储存，即将经常访问的数据存储在缓存模块中，减少对分布式数据库的访问次数，提高整个系统的反应速度。
26、进一步，上述利用第一数据对预置的初始模型进行训练，得与初始模型对应并训练完成的算法模型，具体为：
27、特征提取，根据获取的用户需求，从第一数据中提取与用户需求对应的数据特征；
28、模型训练，根据各个用户需求或第一数据对应的数据特征，将数据特征输入至初始模型中，并对初始模型进行训练，直到得到与初始模型对应并训练完成的算法模型；
29、模型评估，通过计算算法模型的各个模型指标来进行算法模型的优劣评估，并得到评估结果，并在评估结果为不合格时，通过调整算法模型的模型参数并进行多次迭代和优化，直到评估结果为合格，模型指标包括准确率、召回率、f1值中的一项或多项。
30、进一步，上述算法模型将经过预处理后并存储在分布式数据库中的目标数据进行处理，得到目标数据的处理结果，具体为：
31、部署优化，根据算法模型的真实运行情况对算法模型进行优化调整；
32、数据挖掘，根据目标数据进行数据挖掘，得到目标数据对应的分析处理结果；
33、结果呈现，根据分析处理结果以预置方式呈现给用户，预置方式包括可视化图表、报告。
34、进一步，上述系统还包括负载均衡模块和并行处理模块，负载均衡模块和并行处理模块连接数据存储模块；
35、负载均衡模块和并行处理模块，均用于实现第一数据或目标数据在数据存储模块中的平衡分配，且实现将第一数据或目标数据分配给算法模型的多个处理节点。
36、采用上述进一步方案的有益效果是：通过采用并行处理模块和负载均衡模块，使负载能够被分散到多个存储节点上，实现负载的平衡分配，提高了系统的处理能力和响本文档来自技高网...
【技术保护点】
1.一种高可靠性的通用人工智能核心软件算法系统，其特征在于，包括存在连接关系的数据收集模块、数据预处理模块、数据存储模块以及组合模块，其中：
2.根据权利要求1所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述数据源包括传感器数据、日志文件、网络请求、预置数据库、消息队列中的一项或多项。
3.根据权利要求2所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述用于从各个不同的数据源中获取训练数据，具体为，根据所述训练数据的类型特点，并针对所述类型特点采用预置的编程语言工具编辑相应的数据采集程序，其中：
4.根据权利要求3所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述预处理包括数据清洗、数据过滤和数据转换，其中：
5.根据权利要求4所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述数据清洗或所述数据过滤采用预置数据清洗工具或预置过滤工具来执行。
6.根据权利要求5所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述预置数据清洗工具或所述预置过滤工
7.根据权利要求6所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述组合模块包括存在连接关系的数据抓取模块、算法模块、数据传输模块和缓存模块，其中：
8.根据权利要求7所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述利用所述第一数据对预置的初始模型进行训练，得与初始模型对应并训练完成的算法模型，具体为：
9.根据权利要求8所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述算法模型将经过预处理后并存储在分布式数据库中的目标数据进行处理，得到所述目标数据的处理结果，具体为：
10.根据权利要求1所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，还包括负载均衡模块和并行处理模块，负载均衡模块和并行处理模块连接所述数据存储模块；
...【技术特征摘要】
1.一种高可靠性的通用人工智能核心软件算法系统，其特征在于，包括存在连接关系的数据收集模块、数据预处理模块、数据存储模块以及组合模块，其中：
2.根据权利要求1所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述数据源包括传感器数据、日志文件、网络请求、预置数据库、消息队列中的一项或多项。
3.根据权利要求2所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述用于从各个不同的数据源中获取训练数据，具体为，根据所述训练数据的类型特点，并针对所述类型特点采用预置的编程语言工具编辑相应的数据采集程序，其中：
4.根据权利要求3所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述预处理包括数据清洗、数据过滤和数据转换，其中：
5.根据权利要求4所述的一种高可靠性的通用人工智能核心软件算法系统，其特征在于，所述数据清洗或所述数据过滤采用预置数据清洗工具或预置过滤工具来执行。
6.根据权利要求5所述的一种高可靠性...
【专利技术属性】
技术研发人员：曾威，
申请(专利权)人：成都威世通智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。