数据编配平台管理制造技术

本发明专利技术的方面涉及在包括一组信息源的网络通信环境中的数据编配平台管理。可从该组数据源摄取一组原始数据。可通过使用数据解析字典分析该组原始数据生成一组已解析数据，该组已解析数据指示所述网络通信环境的一组属性。可使用数据编配平台管理引擎分析所述网络通信环境的该组属性以确定用于对该组已解析数据进行处理的AI逻辑单元。可使用所述AI逻辑单元处理该组已解析数据。

Data Allocation Platform Management

【技术实现步骤摘要】
数据编配平台管理
本专利技术涉及计算机系统，具体地涉及包括一组信息源的网络通信环境中的数据编配平台管理。
技术介绍
近年来，网络通信环境(例如，物联网网络、传感器网络和大数据网络)已经扩展到支持各种应用的功能。例如，网络通信环境可以包括用于监测自然现象(例如，温度、压力、湿度、降水和地震活动)、运输(例如，城市地图、交通流量和车辆停放)、工业生产率(例如，工厂效率和电力使用)和安全(例如，入侵检测和犯罪预防)等的传感器。随着网络通信环境的功能和应用的增加，适当配置这些传感器并正确解析它们提供的数据的开销也会增加。本专利技术的方面涉及以下认识：在包含大量数据源(例如，传感器设备)的当前网络通信环境中，不同数据源可以以不同方式收集、格式化和传输原始数据。例如，一些数据传感器可以以二进制格式发送采集到的测量值，其他数据传感器可以以十六进制格式化测量值，还有一些数据传感器可以使用专有格式来构造原始数据。这样，用户必须手动配置每个数据源(例如，传感器设备)，解析由数据源收集的数据，并随后选择AI逻辑单元来处理所收集的数据。例如，专利文献1公开了一种用于从用户请求语义标签技术，以解析由物联网环境中的设备接收的数据。然而，专利文献1没有公开动态解析数据和确定合适AI逻辑单元来处理已解析数据的方法，因此必须依赖用户来获取用于解析网络通信环境中的传感器中摄取的原始数据所需的信息。[引用列表][专利文献]美国专利申请公开号：US2015/0019714A1USPatentApplicationPublicationUS2015/0019714A1。
技术实现思路
因此，本专利技术的一个目的是解析从各种数据源摄取的原始数据，并动态地确定用于处理已解析数据的合适AI逻辑单元。因此，本专利技术的方面涉及一种数据编配平台，其被配置为在没有用户干预的情况下，以动态和自动的方式解析从各种数据源摄取的原始数据。数据编配平台可以利用机器学习技术和数据解析字典，以便解析从任意一个数据源接收的数据。随后，机器学习模型可以管理对合理AI逻辑单元的选择，其基于与已解析数据相关联的属性来处理已解析数据。基于AI逻辑单元的处理结果，可以针对网络通信环境执行管理操作，以促进后续数据收集操作的性能、效率和可靠性。本专利技术的方面涉及用于在包括一组信息源的网络通信环境中进行数据编配平台管理的计算机实现方法，该方法包括从该组信息源中摄取一组原始数据，使用数据解析字典分析该组原始数据生成一组已解析数据，该组已解析数据指示所述网络通信环境的一组属性，使用数据编配平台管理引擎分析所述网络通信环境的该组属性以确定用于对该组已解析数据进行处理的人工智能(AI)；以及使用所述AI逻辑单元处理该组已解析数据。响应于该组已解析数据的生成，通过将该组已解析数据的该组属性与一组机器学习可用性标准进行比对，识别用于机器学习的该组已解析数据的第一子集；以及将该组已解析数据的第一子集路由到机器学习引擎。本专利技术的方面涉及到通过所述机器学习引擎使用机器学习技术导出第一处理规则，所述机器学习技术被配置为通过一组AI逻辑单元对一组AI逻辑单元分析该组已解析数据的第一子集的属性组的子集，所述第一处理规则指示该组AI逻辑单元的第一AI处理单元以处理该组已解析数据的第一子集；以及通过使用所述第一处理规则构建机器学习模型，所述机器学习模型用于管理被配置为管理该组已解析数据管理的AI逻辑单元选择。本专利技术的方面涉及到利用所述机器学习模型以确定对该组已解析数据进行处理的AI逻辑单元；以及通过所述数据解析词典利用该组信息源的一组信息源配置文件分析该组原始数据。在本专利技术的方面中，该组原始数据包括该组信息源的第一信息源的信息源识别元素和一组内容数据；利用该组信息源配置文件进一步包括通过将所述第一信息源的信息源识别元素与该组信息源配置文件进行比较，确定与所述第一信息源对应的第一信息源配置文件；以及响应于确定对应于第一信息源的第一信息源配置文件，通过所述第一信息源配置文件对该组原始数据进行解析生成该组已解析数据。在本专利技术的方面中，该组原始数据包括该组信息源的第一信息源的信息源识别元素和一组内容数据；利用该组信息源配置文件进一步包括通过将所述第一信息源的信息源识别元素与该组信息源配置文件进行比较，确定不存在与所述第一信息源对应的信息源配置文件；以及响应于确定不存在与所述第一信息源对应的信息源配置文件，使用所述机器学习引擎建立与所述第一信息源的信息源识别元素相关联的新信息源配置文件。在本专利技术的方面中，该组内容数据包括以下数据中的一组或多组：一组文本数据、一组图像数据、一组音频数、一组视频数据、一测量值、一组生物识别数据，一组状态信息或一组位置信息。在本专利技术的方面中，该组属性包括以下属性中的一种或多种：数据类型、语义因子、时间戳、度量单位、置信度值或严重性级别。在本专利技术的方面中，通过所述AI处理单元处理该组已解析数据进一步包括：使用预测分析技术生成关于网络通信环境的一组候选预测上下文，该预测分析技术被配置为提取该组已解析数据和一组历史已解析数据之间的关系；以及响应于该组候选预测上下文的生成，为该组候选预测上下文分配一组置信度值本专利技术的方面涉及通过将该组候选预测上下文的置信度值与置信度阈值进行比较，选择满足所述阈值置信度阈值的第一候选预测上下文；以及通过采用所述网络通信环境的数据编配平台管理引擎，执行基于所述第一候选预测上下文的管理操作。本专利技术的方面涉及通过数据编配平台管理引擎构造数据处理流水线，所述数据处理流水线包括一组用于对该组已解析数据执行处理操作的AI逻辑单元。本专利技术的方面涉及通过所述数据编配平台管理引擎以动态的方式并采用机器学习模型修改所述数据处理流水线，所述机器学习模型被配置为管理AI逻辑单元选择以处理该组已解析数据。本专利技术的方面涉及在基于AI的数据存储系统中，基于该组属性，以输出数据类型存储该组已解析数据。本专利技术的方面涉及以动态方式执行所述提取、所述生成、所述确定和所述处理中每一过程以简化数据编配平台管理。本专利技术的方面涉及在没有用户干预的情况下以自动方式执行所述提取、所述生成、所述确定和所述处理中的每一过程。本专利技术的方面涉及一种在包括一组信息源的网络通信环境中进行数据编配平台管理的系统，所述系统包括具有一组计算机可读计算机指令的存储器以及用于执行该组计算机可读指令的处理器，该组计算机可读指令包括从该组数据源摄取一组原始数据；通过使用数据解析字典分析该组原始数据生成一组已解析数据，该组已解析数据指示所述网络通信环境的一组属性；使用数据编配平台管理引擎分析所述网络通信环境的该组属性以确定用于对该组已解析数据进行处理的人工智能(AI)逻辑单元；以及使用所述AI逻辑单元处理该组已解析数据。本专利技术的方面涉及一种在包括一组信息源的网络通信环境中进行数据编配平台管理的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有编入其中的程序指令，该计算机可读存储介质不是瞬时信号本身，该程序指令可由处理器执行以使该处理器执行一种方法，该方法包括从该组数据源摄取一组原始数据；通过使用数据解析字典分析该组原始数据生成一组已解析数据，该组已解析数据指示所述网络通信环境的一组属性；使用数据编配平台管理引擎分析所述网络本文档来自技高网...

【技术保护点】
1.一种在包括一组信息源的网络通信环境中进行数据编配平台管理的计算机实现方法，其特征在于，所述方法包括：从该组数据源摄取一组原始数据；通过使用数据解析字典分析该组原始数据生成一组已解析数据，该组已解析数据指示所述网络通信环境的一组属性；使用数据编配平台管理引擎分析所述网络通信环境的该组属性以确定用于对该组已解析数据进行处理的AI逻辑单元；以及使用所述AI逻辑单元处理该组已解析数据。

【技术特征摘要】
2018.02.03 JP 2018-0177351.一种在包括一组信息源的网络通信环境中进行数据编配平台管理的计算机实现方法，其特征在于，所述方法包括：从该组数据源摄取一组原始数据；通过使用数据解析字典分析该组原始数据生成一组已解析数据，该组已解析数据指示所述网络通信环境的一组属性；使用数据编配平台管理引擎分析所述网络通信环境的该组属性以确定用于对该组已解析数据进行处理的AI逻辑单元；以及使用所述AI逻辑单元处理该组已解析数据。2.如权利要求1所述的方法，其特征在于，还包括：响应于该组已解析数据的生成，通过将该组已解析数据的该组属性与一组机器学习可用性标准进行比对，识别用于机器学习的该组已解析数据的第一子集；以及将该组已解析数据的第一子集路由到机器学习引擎。3.如权利要求2所述的方法，其特征在于，还包括：通过所述机器学习引擎使用机器学习技术导出第一处理规则，所述机器学习技术被配置为通过一组AI逻辑单元对一组AI逻辑单元分析该组已解析数据的第一子集的属性组的子集，所述第一处理规则指示该组AI逻辑单元的第一AI处理单元以处理该组已解析数据的第一子集；以及通过使用所述第一处理规则构建机器学习模型，所述机器学习模型用于管理被配置为管理该组已解析数据管理的AI逻辑单元选择。4.如权利要求3所述的方法，其特征在于，还包括：利用所述机器学习模型以确定对该组已解析数据进行处理的AI逻辑单元；以及通过所述数据解析词典利用该组信息源的一组信息源配置文件分析该组原始数据。5.如权利要求4所述的方法，其特征在于，该组原始数据包括该组信息源的第一信息源的信息源识别元素和一组内容数据；利用该组信息源配置文件进一步包括：通过将所述第一信息源的信息源识别元素与该组信息源配置文件进行比较，确定与所述第一信息源对应的第一信息源配置文件；以及响应于确定对应于第一信息源的第一信息源配置文件，通过所述第一信息源配置文件对该组原始数据进行解析生成该组已解析数据。6.如权利要求4所述的方法，其特征在于，该组原始数据包括该组信息源的第一信息源的信息源识别元素和一组内容数据；利用该组信息源配置文件进一步包括：通过将所述第一信息源的信息源识别元素与该组信息源配置文件进行比较，确定不存在与所述第一信息源对应的信息源配置文件；以及响应于确定不存在与所述第一信息源对应的信息源配置文件，使用所述机器学习引擎建立与所述第一信息源的信息源识别元素相关联的新信息源配置文件。7.如权利要求5所述的方法，其特征在于，该组内容数据包括以下数据中的一组或多组：一组文本数据、一组图像数据、一组音频数、一组视频数据、一测量值、一组生物识别数据，一组状态信息或一组位置信息。8.如权利要求5所述的方法，其特征在于，该组属性包括以下属性中的一种或多种：数据类型、语义因子、时间戳、度量单位、置信度值或严重性级别。9.如权利要求1所述的方法，其特征在于，通过所述AI处理单元处理该组已解析数据进一步包括：使用预测分析技术生成关于网络通信环境的一组候选预测上下文，该预测分析技术被配置为提取该组已解析数据和一组历史已解析数据之间的关系；以及响应于该组候选预测上下文的生成，为该组候选预测上下文分配一组置信...

【专利技术属性】
技术研发人员：田渕鸣利，原田充，
申请(专利权)人：快板智能株式会社，
类型：发明
国别省市：日本,JP