一种基于机器学习的人工智能数据处理方法及系统技术方案

本发明专利技术公开了一种基于机器学习的人工智能数据处理方法及系统，包括以下步骤：步骤一、通过人工智能设备对机器的待处理数据信息进行采集，将采集到的数据信息建立对应的待处理数据模型；步骤二、通过人工智能设备对机器的历史数据信息进行采集，并将历史数据信息建立历史数据模型；步骤三、通过数据存储模块对采集的待处理数据信息和历史数据信息进行存储，并将对应的数据模型发送到数据处理模块中进行数据处理分析；在语音交互数据采集和视觉交互数据采集无法实现的基础上，通过人工输入数据信息实现数据的采集功能，其确保了数据的采集全面性和多样性，自动化存储已保存的数据信息，可以对缺失的信息进行补录，确保数据采集的准确性。的准确性。的准确性。

【技术实现步骤摘要】
一种基于机器学习的人工智能数据处理方法及系统


[0001]本专利技术涉及数据处理
，具体涉及一种基于机器学习的人工智能数据处理方法及系统。

技术介绍

[0002]人工智能能够让计算机拥有自主学习能力，可以通过对图像、声音、温度等的探测感知，得到可数据化的信息，可以通过学习实现人脑的自我辨识和产生自主指令。当前人工智能自学习模式可以在大型计算机和计算机集群中实现，但是算法极为复杂，而且需要前期建立众多的数据模型和大量原始数据的输入。人工智能与互联网当前的结合，都是由终端设备采集使用者的输入数据与云端人工智能数据处理中心进行交互，由云端人工智能数据处理中心给出响应，再回传给终端设备，做出响应的反馈。或者是将部分简单的人工智能算法嵌入终端设备，实现部分简单的人工智能应用功能。
[0003]当前人工智能的数据采集存在不足，无法根据多种不同类型的方式实现对数据的采集导入，这导致了对数据的采集存在局限性以及数据采集的准确性差。

技术实现思路

[0004]本专利技术的目的在于提供一种基于机器学习的人工智能数据处理方法及系统，确保了数据的采集全面性和多样性，采用类似拖拽式制作表单的方式，一键发布即可收集信息，其自动化存储已保存的数据信息，可以对缺失的信息进行补录，确保数据采集的准确性。
[0005]本专利技术的目的可以通过以下技术方案实现：
[0006]一种基于机器学习的人工智能数据处理方法，包括以下步骤：
[0007]步骤一、通过人工智能设备对机器的待处理数据信息进行采集，将采集到的数据信息建立对应的待处理数据模型；
[0008]步骤二、通过人工智能设备对机器的历史数据信息进行采集，并将历史数据信息建立历史数据模型；
[0009]步骤三、通过数据存储模块对采集的待处理数据信息和历史数据信息进行存储，并将对应的数据模型发送到数据处理模块中进行数据处理分析；
[0010]步骤四、数据处理模块对新采集的数据信息所建立的数据模型和历史数据模型进行对比，建立机器学习模型及推理执行代码对待处理原数据进行推理执行，得到处理请求对应的推理执行结果；
[0011]步骤五、将推理执行结果反馈数据存储模块中进行存储，并发送到数据消费模块中反馈至人工智能设备处。
[0012]作为本专利技术进一步的方案：所述待处理数据信息采集包括语音交互数据采集、视觉交互数据采集和人工输入数据采集。
[0013]作为本专利技术进一步的方案：所述语音交互数据采集基于自然语言处理技术，包括文本分词、语义理解和语义消歧。
[0014]作为本专利技术进一步的方案：所述数据存储模块采用HDFS分布式文件系统存储模式。
[0015]作为本专利技术进一步的方案：数据存储模块对数据进行存储的同时，对新导入的数据信息进行分析，如新导入的数据信息已记载于数据存储模块的数据库中，则直接将历史存储的推理执行结果发送反馈至人工智能设备处；如新导入的数据信息未记载于数据库中，则将新导入的数据信息发送至数据处理模块中进行处理分析。
[0016]作为本专利技术进一步的方案：一种基于机器学习的人工智能数据处理系统，包括数据接入模块，用于对数据进行采集输入；
[0017]数据存储模块，用于对数据信息进行存储和调用；
[0018]数据处理模块，用于对数据进行处理分析，并通过建立机器学习模型及推理执行代码对待处理原数据进行推理执行，得到处理请求对应的推理执行结果；
[0019]数据消费模块，用于将处理结果进行反馈输出。
[0020]作为本专利技术进一步的方案：所述数据接入模块连接多个人工智能设备，同时接收多组数据输入。
[0021]作为本专利技术进一步的方案：所述数据存储模块根据数据存储层功能的差异性，分为非结构化数据存储、ODS缓冲区、统一信息视图区和数据仓库。
[0022]ODS缓冲区，将MySQL数据库当作结构化数据的存储媒介，MySQL数据库能够对海量的数据进行处理。统一信息视图区，该部分主要以MySQL数据库当作结构化清理优化的存储媒介。
[0023]数据仓库，主要实现面向分析的集成化数据环境的建立，便于进行决策工作。数据仓库应用Hive当作结构化数据存储媒介。
[0024]数据集市，其数据的主要来源是数据仓库，并且能在数据仓库当中收集数据，对相关的数据进行分析，从而符合规定的需要。
[0025]实时数据存储区，对于实时数据的提取和存储工作而言，可以应用Kafka+Hbase方式。
[0026]非结构化数据存储，该层的数据一般是日志文件，可以将HDFS用于非结构数据的存储方案，不仅能够对大型的文件进行访问，而且可以对失败的节点进行再处理。
[0027]作为本专利技术进一步的方案：所述数据处理模块包括对数据进行离线批量处理以及实时在线处理。
[0028]作为本专利技术进一步的方案：所述数据消费模块包括推荐模块，用于根据反馈得出的推理执行结果，推荐相匹配的数据导航。
[0029]本专利技术的有益效果：
[0030](1)通过语音或视觉信息进行表达，人工智能设备通过采集语音或视觉信息来感应识别外界环境的变化以及用户的需求，采用语音交互数据采集，通过文字输入或者语音输入的方式提问，快速获得正确的分析结果，极大的降低数据的分析门槛。
[0031](2)在语音交互数据采集和视觉交互数据采集无法实现的基础上，通过人工输入数据信息实现数据的采集功能，其确保了数据的采集全面性和多样性，采用类似拖拽式制作表单的方式，一键发布即可收集信息，其自动化存储已保存的数据信息，可以对缺失的信息进行补录，确保数据采集的准确性。
[0032](3)数据存储模块对数据进行存储的同时，对新导入的数据信息进行分析，如新导入的数据信息已记载于数据存储模块的数据库中，则直接将历史存储的推理执行结果发送反馈至人工智能设备处；如新导入的数据信息未记载于数据库中，则将新导入的数据信息发送至数据处理模块中进行处理分析，通过数据存储模块对记录的数据进行存储，遇到相同的问题则可以省去判断处理的流程，可以有效提高出结果的速度。
[0033](4)实时在线处理可以针对实时数据进行处理，从而有效减少对数据结果的等待时间，而离线批量数据处理则可用于对历史数据进行分析处理，或者对数据存储模块中所存储的数据进行分析处理，对比近期的输入数据，对数据存储模块中所存储的数据信息进行分析处理并更新，从而减少系统数据的延时性，提高数据分析处理的精度。
附图说明
[0034]下面结合附图对本专利技术作进一步的说明。
[0035]图1是本专利技术数据处理系统的结构框图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0037]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的人工智能数据处理方法，其特征在于，包括以下步骤：步骤一、通过人工智能设备对机器的待处理数据信息进行采集，将采集到的数据信息建立对应的待处理数据模型；步骤二、通过人工智能设备对机器的历史数据信息进行采集，并将历史数据信息建立历史数据模型；步骤三、通过数据存储模块对采集的待处理数据信息和历史数据信息进行存储，并将对应的数据模型发送到数据处理模块中进行数据处理分析；步骤四、数据处理模块对新采集的数据信息所建立的数据模型和历史数据模型进行对比，建立机器学习模型及推理执行代码对待处理原数据进行推理执行，得到处理请求对应的推理执行结果；步骤五、将推理执行结果反馈数据存储模块中进行存储，并发送到数据消费模块中反馈至人工智能设备处。2.根据权利要求1所述的一种基于机器学习的人工智能数据处理方法，其特征在于，所述待处理数据信息采集包括语音交互数据采集、视觉交互数据采集和人工输入数据采集。3.根据权利要求2所述的一种基于机器学习的人工智能数据处理方法，其特征在于，语音交互数据采集基于自然语言处理技术，包括文本分词、语义理解和语义消歧。4.根据权利要求1所述的一种基于机器学习的人工智能数据处理方法，其特征在于，所述数据存储模块采用HDFS分布式文件系统存储模式。5.根据权利要求1所述的一种基于机器学习的人工智能数据处理方法，其特征在于，数据存储模块对数据进行存储...

【专利技术属性】
技术研发人员：李婷妹，刘超云，王敏军，
申请(专利权)人：广州芸荟数字软件有限公司，
类型：发明
国别省市：