深度学习的训练数据处理方法和装置制造方法及图纸

本申请实施例公开了深度学习的训练数据处理方法和装置。该方法的一具体实施方式包括：获取针对深度学习的中间训练数据的可视化展示请求，可视化展示请求包括所请求展示的深度学习训练作业的目标作业标识；从数据库中读取目标作业标识对应的中间训练数据；根据所读取的中间训练数据，生成目标作业标识所指示的深度学习作业的中间训练数据的可视化图表。该实施方式实现了对深度学习训练过程的中间数据进行自动读取和可视化效果生成，有助于用户更好地优化和调节深度学习模型。

【技术实现步骤摘要】
深度学习的训练数据处理方法和装置
本申请实施例涉及计算机
，具体涉及人工智能领域，尤其涉及深度学习的训练数据处理方法和装置。
技术介绍
随着深度学习技术的不断发展，深度学习被应用在越来越多的领域。由于深度学习本身比较复杂且不易解释，使用者很难理解训练的过程，只能通过训练结果来评价模型的性能。为了方便使用者理解训练过程，便于观测训练效果，可以将训练过程的所有数据输出至日志并以文本的方式进行保存和呈现。而现有的文本日志存储方式将训练过程中的所有数据进行保存，不利于对深度学习训练过程的感知和理解，由此可能增加模型调整的难度和训练的时间成本。
技术实现思路
本申请实施例提出了深度学习的训练数据处理方法和装置。第一方面，本申请实施例提供了一种深度学习的训练数据处理方法，包括：获取针对深度学习的中间训练数据的可视化展示请求，可视化展示请求包括所请求展示的深度学习训练作业的目标作业标识；从数据库中读取目标作业标识对应的中间训练数据；根据所读取的中间训练数据，生成目标作业标识所指示的深度学习作业的中间训练数据的可视化图表。在一些实施例中，上述从数据库中读取目标作业标识对应的中间训练数据，包括：从时序数据库中读取目标作业标识对应的时序数据；和/或从对象存储数据库中读取目标作业标识对应的非时序数据。在一些实施例中，上述方法还包括：获取数据可视化配置信息所指示的深度学习作业的中间训练数据，并存储至对应的数据库中。在一些实施例中，上述获取数据可视化配置信息所指示的深度学习作业的中间训练数据，并存储至对应的数据库中，包括：响应于检测到数据可视化配置信息所指示的深度学习作业的中间训练数据，获取对应的深度学习作业的中间训练数据并解析，得到对应的深度学习作业标识；将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中。在一些实施例中，上述中间训练数据包括时序数据；以及上述将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中，包括：将获取的时序数据存储至时序数据库中对应的作业标识的数据表中。上述中间训练数据包括非时序数据；以及上述将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中，包括：解析接收到的非时序数据，得到非时序数据的数据标签；基于深度学习作业标识和数据标签生成对应的非时序数据的数据索引，将非时序数据添加至对象存储数据库中对应数据索引的数据结构中。第二方面，本申请实施例提供了一种深度学习的训练数据处理装置，包括：获取单元，被配置成获取针对深度学习的中间训练数据的可视化展示请求，可视化展示请求包括所请求展示的深度学习训练作业的目标作业标识；读取单元，被配置成从数据库中读取目标作业标识对应的中间训练数据；生成单元，被配置成根据所读取的中间训练数据，生成目标作业标识所指示的深度学习作业的中间训练数据的可视化图表。在一些实施例中，上述读取单元进一步被配置成按照如下方式从数据库中读取目标作业标识对应的中间训练数据：从时序数据库中读取目标作业标识对应的时序数据；和/或从对象存储数据库中读取目标作业标识对应的非时序数据。在一些实施例中，上述装置还包括：存储单元，被配置成获取数据可视化配置信息所指示的深度学习作业的中间训练数据，并存储至对应的数据库中。在一些实施例中，上述存储单元进一步被配置成按照如下方式获取数据可视化配置信息所指示的深度学习作业的中间训练数据，并存储至对应的数据库中：响应于检测到数据可视化配置信息所指示的深度学习作业的中间训练数据，获取对应的深度学习作业的中间训练数据并解析，得到对应的深度学习作业标识；将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中。在一些实施例中，上述中间训练数据包括时序数据；以及存储单元进一步被配置成按照如下方式将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中：将获取的时序数据存储至时序数据库中对应的作业标识的数据表中。在一些实施例中，上述中间训练数据包括非时序数据；以及存储单元进一步被配置成按照如下方式将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中：解析接收到的非时序数据，得到非时序数据的数据标签；基于深度学习作业标识和数据标签生成对应的非时序数据的数据索引，将非时序数据添加至对象存储数据库中对应数据索引的数据结构中。第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的深度学习的训练数据处理方法。第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的深度学习的训练数据处理方法。本申请上述实施例的深度学习的训练数据处理方法和装置，通过获取针对深度学习的中间训练数据的可视化展示请求，可视化展示请求包括所请求展示的深度学习作业的目标作业标识，然后从数据库中读取目标作业标识对应的中间训练数据，之后根据所读取的中间训练数据，生成目标作业标识所指示的深度学习作业的中间训练数据的可视化图表，实现了对深度学习训练过程的中间数据进行自动读取和可视化效果生成，无需解析日志文件，使用户可以快速、直观地了解训练过程和模型的训练效果，有助于用户更好地优化和调节深度学习模型。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请实施例可以应用于其中的示例性系统架构图；图2是根据本申请的深度学习的训练数据处理方法的一个实施例的流程图；图3是根据本申请的深度学习的训练数据处理方法的一个应用场景示意图；图4是根据本申请的深度学习的训练数据处理方法的另一个实施例的流程图；图5是本申请的深度学习的训练数据处理装置的一个实施例的结构示意图；图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的深度学习的训练数据处理方法或深度学习的训练数据处理装置的示例性系统架构100。如图1所示，系统架构100可以包括由多个深度学习作业节点组成的分布式深度学习作业集群、网络以及租户客户端。其中，租户客户端通过网络与深度学习作业集群中的作业节点连接。租户可以是使用分布式集群的资源进行深度学习计算的用户。租户可以通过租户客户端向深度学习作业集群提交作业，通过租户客户端查询作业进程，查看作业结果数据等。在实践中，租户在获得使用深度学习的分布式集群的计算资源的权限之后，可以通过租户客户端访问深度学习计算平台来提交深度学习作业任务或查询作业进程。租户客户端可以是具有显示器、扬声器或其他输出部件并支持互联网访问的各种本文档来自技高网...

【技术保护点】
1.一种深度学习的训练数据处理方法，包括：获取针对深度学习的中间训练数据的可视化展示请求，所述可视化展示请求包括所请求展示的深度学习训练作业的目标作业标识；从数据库中读取所述目标作业标识对应的中间训练数据；根据所读取的中间训练数据，生成所述目标作业标识所指示的深度学习作业的中间训练数据的可视化图表。

【技术特征摘要】
1.一种深度学习的训练数据处理方法，包括：获取针对深度学习的中间训练数据的可视化展示请求，所述可视化展示请求包括所请求展示的深度学习训练作业的目标作业标识；从数据库中读取所述目标作业标识对应的中间训练数据；根据所读取的中间训练数据，生成所述目标作业标识所指示的深度学习作业的中间训练数据的可视化图表。2.根据权利要求1所述的方法，其中，所述从数据库中读取所述目标作业标识对应的中间训练数据，包括：从时序数据库中读取所述目标作业标识对应的时序数据；和/或从对象存储数据库中读取所述目标作业标识对应的非时序数据。3.根据权利要求1或2所述的方法，其中，所述方法还包括：获取数据可视化配置信息所指示的深度学习作业的中间训练数据，并存储至对应的数据库中。4.根据权利要求3所述的方法，其中，所述获取数据可视化配置信息所指示的深度学习作业的中间训练数据，并存储至对应的数据库中，包括：响应于检测到数据可视化配置信息所指示的深度学习作业的中间训练数据，获取对应的深度学习作业的中间训练数据并解析，得到对应的深度学习作业标识；将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中。5.根据权利要求4所述的方法，其中，所述中间训练数据包括时序数据；以及所述将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中，包括：将获取的时序数据存储至时序数据库中对应的作业标识的数据表中。6.根据权利要求4所述的方法，其中，所述中间训练数据包括非时序数据；以及所述将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中，包括：解析接收到的非时序数据，得到所述非时序数据的数据标签；基于所述深度学习作业标识和数据标签生成对应的非时序数据的数据索引，将所述非时序数据添加至对象存储数据库中对应数据索引的数据结构中。7.一种深度学习的训练数据处理装置，包括：获取单元，被配置成获取针对深度学习的中间训练数据的可视化展示请求，所述可视化展示请求包括所请求展示的深度学习训练作业的目标作业标识；读取单元，被配置成从数据库中读取所述目标作业标识对应的中间训练数据；生成单...

【专利技术属性】
技术研发人员：夏燕明，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11