实时数据的处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种实时数据的处理方法、装置、设备及计算机可读存储介质。本发明专利技术实施例通过对数据仓库中的数据表进行解析处理，以获得实时数据的输出参数，所述实时数据的输出参数包括分区字段、文件输出目录和文件输出格式，进而，则可以根据所述输出参数，将来自数据源的实时数据，进行计算存储到文件系统中对应的分区目录中，使得能够将所述分区目录的元数据添加到所述数据仓库中，通过自动执行离线输出的参数指定操作，无需用户手动参与，操作简单，且正确率高，从而提高了实时数据输出的效率和可靠性。

Real-time data processing methods, devices, devices and computer readable storage media

【技术实现步骤摘要】
实时数据的处理方法、装置、设备及计算机可读存储介质
本专利技术涉及实时数据的离线输出技术，尤其涉及一种实时数据的处理方法、装置、设备及计算机可读存储介质。
技术介绍
实时转离线一直是流式产品中的强需求，数据源所产生的实时数据能够实时输出到离线系统。目前的实时转离线的技术方案中，需要用户手动指定实时数据的输出路径、输出格式等输出信息，才可以将实时数据输出到离线系统。然而，由于完全依赖用户手动指定实时数据的输出路径、输出格式等输出信息，会使得输出操作复杂，且容易出错，从而导致了实时数据输出的效率和可靠性的降低。
技术实现思路
本专利技术的多个方面提供一种实时数据的处理方法、装置、设备及计算机可读存储介质，用以提高实时数据的输出效率和可靠性。本专利技术的一方面，提供一种实时数据的处理方法，包括：对数据仓库中的数据表进行解析处理，以获得实时数据的输出参数；其中，所述实时数据的输出参数包括分区字段、文件输出目录和文件输出格式；根据所述输出参数，将来自数据源的实时数据，进行计算存储到文件系统中对应的分区目录中；将所述分区目录的元数据添加到所述数据仓库中。本专利技术的另一方面，提供一种实时本文档来自技高网...

【技术保护点】
1.一种实时数据的处理方法，其特征在于，包括：对数据仓库中的数据表进行解析处理，以获得实时数据的输出参数；其中，所述实时数据的输出参数包括分区字段、文件输出目录和文件输出格式；根据所述输出参数，将来自数据源的实时数据，进行计算存储到文件系统中对应的分区目录中；将所述分区目录的元数据添加到所述数据仓库中。

【技术特征摘要】
1.一种实时数据的处理方法，其特征在于，包括：对数据仓库中的数据表进行解析处理，以获得实时数据的输出参数；其中，所述实时数据的输出参数包括分区字段、文件输出目录和文件输出格式；根据所述输出参数，将来自数据源的实时数据，进行计算存储到文件系统中对应的分区目录中；将所述分区目录的元数据添加到所述数据仓库中。2.根据权利要求1所述的方法，其特征在于，所述根据所述输出参数，将来自数据源的实时数据，进行计算存储到文件系统中对应的分区目录中，包括：对来自数据源的实时数据，进行数据分析与计算处理，以获得字段相同的计算数据；根据所述分区字段，获得所述计算数据的分区字段对应的数据内容；根据所述分区字段对应的数据内容和所述文件输出目录，在文件系统中创建分区目录；根据所述文件输出格式，将所述计算数据写出到所述分区目录中。3.根据权利要求1所述的方法，其特征在于，所述将所述分区目录的元数据添加到所述数据仓库中，包括：监听所述文件系统中所创建的分区目录；根据所创建的分区目录，获得所创建的分区目录的元数据；将所创建的分区目录的元数据添加到所述数据仓库中。4.根据权利要求1所述的方法，其特征在于，所述输出参数还包括所述文件输出目录的权限。5.根据权利要求1～4任一权利要求所述的方法，其特征在于，还包括：对所述数据表进行调整处理，以更新所述实时数据的输出参数。6.一种实时数据的处理装置，其特征在于，包括：解析单元，用于对数据仓库中的数据表进行解析处理，以获得实时数据的输出参数；其中，所述实时数据的输出参...

【专利技术属性】
技术研发人员：李俊卿，张志宏，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11