数据存取方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开实施例公开了一种数据存取方法、装置、电子设备及计算机可读存储介质。所述方法包括：响应于数据存取事件，确定所存取数据中数据存储方和数据获取方之间的存取关系；存取关系包括存取数据的数据存储方、数据获取方以及获取方式；根据数据存取事件确定通过获取方式从数据获取方获得的元数据中至少一个第一预设粒度的第一子数据与存取数据中至少一个第二预设粒度的第二子数据之间的对应关系；根据对应关系设置触发条件，使得满足所述触发条件时，触发数据存储方的数据取操作。本公开实施例通过预设粒度如最细粒度数据之间的对应关系，使得下游工作即数据获取方的工作不需要依赖完整的存取数据，且触发条件通过可配置，简单、灵活。

Data access methods, devices, electronic devices and computer-readable storage media

【技术实现步骤摘要】
数据存取方法、装置、电子设备及计算机可读存储介质
本公开涉及数据存储
，具体涉及一种数据存取方法、装置、电子设备及计算机可读存储介质。
技术介绍
在大数据生产的过程中，存在各个方向汇总数据，并在基于明细数据逐级向上进行数据处理生成中间表等，在这个协作过程中涉及到多个表组织数据过程的上下游依赖，使得数据存取过程较为复杂，时间成本较高。
技术实现思路
本公开实施例提供一种数据存取方法、装置、电子设备及计算机可读存储介质。第一方面，本公开实施例中提供了一种数据存取方法。具体的，所述数据存取方法，包括：响应于数据存取事件，确定所存取数据中数据存储方和数据获取方之间的存取关系；所述存取关系包括所述存取数据的数据存储方、数据获取方以及获取方式；根据所述数据存取事件确定通过所述获取方式从所述数据获取方获得的元数据中至少一个第一预设粒度的第一子数据与所述存取数据中至少一个第二预设粒度的第二子数据之间的对应关系；根据所述对应关系设置触发条件，使得满足所述触发条件时，触发所述数据存储方的数据取操作。结合第一方面，本公开在第一方面的第一种实现方式中，根据所述对应关系设置触发条件，使得满足所述触发条件时，触发所述数据存储方的数据取操作，包括：将所述对应关系中所述第一子数据被存储至所述预设缓存设置为触发条件，使得在所述第一子数据存储至所述预设缓存后，触发所述数据存储方从预设缓存中获取所述第一子数据。结合第一方面、第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，根据所述对应关系设置触发条件，使得满足所述触发条件时，触发所述数据存储方的数据取操作，还包括：将所述对应关系中所述第一子数据被存储至所述预设缓存，且满足预设执行条件设置为触发条件，使得在所述第一子数据存储至所述预设缓存，并且满足所述预设执行条件后，触发所述数据存储方从预设缓存中获取所述第一子数据。结合第一方面，结合第一方面、第一方面的第一种实现方式或第二种实现方式，本公开在第一方面的第三种实现方式中，所述方法还包括：通过所述获取方式从所述数据获取方获得所述元数据；将所述元数据存储至所述预设缓存中；根据所述元数据以及所述触发条件确定是否触发所述数据存储方的数据取操作。结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，根据所述元数据以及所述触发条件确定是否触发所述数据存储方的数据取操作，包括：在所述元数据中存在能够满足所述触发条件的所述第一子数据时，触发所述数据存储方从所述预设缓存中获取所述第一子数据，以使所述数据存储方根据所述第一子数据获取所述第二子数据，并存储至所述第二子数据的存储地址中。结合第一方面的第三种实现方式，本公开在第一方面的第五种实现方式中，根据所述元数据以及所述触发条件确定是否触发所述数据存储方的数据取操作，包括：在所述元数据中存在能够满足所述触发条件的所述第一子数据时，确定是否满足预设执行条件；在满足所述预设执行条件时，触发所述数据存储方从所述预设缓存中获取所述第一子数据，以使所述数据存储方根据所述第一子数据获取所述第二子数据，并存储至所述第二子数据的存储地址中。结合第一方面的第四种实现方式或第五种实现方式，本公开在第一方面的第六种实现方式中，触发所述数据存储方从所述预设缓存中获取所述至少一个预设粒度的第一子数据，以使所述数据存储方将所述至少一个预设粒度的第一子数据存储至与其对应的所述至少一个预设粒度的第二子数据的存储地址中，包括：从所述预设缓存中获取所述至少一个预设粒度的第一子数据；将所述至少一个预设粒度的第一子数据以所述数据存储方的预设请求方式提供给所述数据存储方。结合第一方面的第三种实现方式，本公开在第一方面的第七种实现方式中，通过所述获取方式从所述数据获取方获得所述元数据，包括：将所述数据获取方式中的通用变量替换为当前数据值，获得当前的数据获取方式；利用所述当前的数据获取方式从所述数据获取方获得所述元数据。结合第一方面的第七种实现方式，所述当前数据值包括当前时间和/或所述元数据的当前获取的偏移量。第二方面，本公开实施例提供了一种数据存取装置，包括：响应模块，被配置为响应于数据存取事件，确定所存取数据中数据存储方和数据获取方之间的存取关系；所述存取关系包括所述存取数据的数据存储方、数据获取方以及获取方式；第一确定模块，被配置为根据所述数据存取事件确定通过所述获取方式从所述数据获取方获得的元数据中至少一个第一预设粒度的第一子数据与所述存取数据中至少一个第二预设粒度的第二子数据之间的对应关系；设置模块，被配置为根据所述对应关系设置触发条件，使得满足所述触发条件时，触发所述数据存储方的数据取操作。结合第二方面，本公开在第二方面的第一种实现方式中，所述设置模块，包括：第一设置子模块，被配置为将所述对应关系中所述第一子数据被存储至所述预设缓存设置为触发条件，使得在所述第一子数据存储至所述预设缓存后，触发所述数据存储方从预设缓存中获取所述第一子数据。结合第二方面、第二方面的第一种实现方式，本公开在第二方面的第二种实现方式中，所述设置模块，包括：第二设置子模块，被配置为将所述对应关系中所述第一子数据被存储至所述预设缓存，且满足预设执行条件设置为触发条件，使得在所述第一子数据存储至所述预设缓存，并且满足所述预设执行条件后，触发所述数据存储方从预设缓存中获取所述第一子数据。结合第二方面，结合第二方面、第二方面的第一种实现方式或第二种实现方式，本公开在第二方面的第三种实现方式中，所述装置还包括：第一获取模块，被配置为通过所述获取方式从所述数据获取方获得所述元数据；存储模块，被配置为将所述元数据存储至所述预设缓存中；第二确定模块，被配置为根据所述元数据以及所述触发条件确定是否触发所述数据存储方的数据取操作。结合第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，所述第二确定模块，包括：第一触发子模块，被配置为在所述元数据中存在能够满足所述触发条件的所述第一子数据时，触发所述数据存储方从所述预设缓存中获取所述第一子数据，以使所述数据存储方根据所述第一子数据获取所述第二子数据，并存储至所述第二子数据的存储地址中。结合第二方面的第三种实现方式，本公开在第二方面的第五种实现方式中，所述第二确定模块，包括：第一确定子模块，被配置为在所述元数据中存在能够满足所述触发条件的所述第一子数据时，确定是否满足预设执行条件；第二触发子模块，被配置为在满足所述预设执行条件时，触发所述数据存储方从所述预设缓存中获取所述第一子数据，以使所述数据存储方根据所述第一子数据获取所述第二子数据，并存储至所述第二子数据的存储地址中。结合第二方面的第四种实现方式或第五种实现方式，本公开在第二方面的第六种实现方式中，所述第一触发子模块或第二触发子模块，包括：第一获取子模块，被配置为从所述预设缓存中获取所述至少一个预设粒度的第一子数据；提供子模块，被配置为将所述至少一个预设粒度的第一子数据以所述数据存储方的预设请求方式提供给所述数据存储方。结合第二方面的第三种实现方式，本公开在第二方面的第七种实现方式中，所述第一获取模块，包括：替换子模块，被配置为将所述数据获取方式中的通用变量替换为当前数据值，获得当前的数据获取方式；第二获取子模块，被配置为利用所述当前的数据本文档来自技高网...

【技术保护点】
1.一种数据存取方法，其特征在于，包括：响应于数据存取事件，确定所存取数据中数据存储方和数据获取方之间的存取关系；所述存取关系包括所述存取数据的数据存储方、数据获取方以及获取方式；根据所述数据存取事件确定通过所述获取方式从所述数据获取方获得的元数据中至少一个第一预设粒度的第一子数据与所述存取数据中至少一个第二预设粒度的第二子数据之间的对应关系；根据所述对应关系设置触发条件，使得满足所述触发条件时，触发所述数据存储方的数据取操作。

【技术特征摘要】
1.一种数据存取方法，其特征在于，包括：响应于数据存取事件，确定所存取数据中数据存储方和数据获取方之间的存取关系；所述存取关系包括所述存取数据的数据存储方、数据获取方以及获取方式；根据所述数据存取事件确定通过所述获取方式从所述数据获取方获得的元数据中至少一个第一预设粒度的第一子数据与所述存取数据中至少一个第二预设粒度的第二子数据之间的对应关系；根据所述对应关系设置触发条件，使得满足所述触发条件时，触发所述数据存储方的数据取操作。2.根据权利要求1所述的数据存取方法，其特征在于，根据所述对应关系设置触发条件，使得满足所述触发条件时，触发所述数据存储方的数据取操作，包括：将所述对应关系中所述第一子数据被存储至所述预设缓存设置为触发条件，使得在所述第一子数据存储至所述预设缓存后，触发所述数据存储方从预设缓存中获取所述第一子数据。3.根据权利要求1所述的数据存取方法，其特征在于，根据所述对应关系设置触发条件，使得满足所述触发条件时，触发所述数据存储方的数据取操作，还包括：将所述对应关系中所述第一子数据被存储至所述预设缓存，且满足预设执行条件设置为触发条件，使得在所述第一子数据存储至所述预设缓存，并且满足所述预设执行条件后，触发所述数据存储方从预设缓存中获取所述第一子数据。4.根据权利要求1所述的数据存取方法，其特征在于，还包括：通过所述获取方式从所述数据获取方获得所述元数据；将所述元数据存储至所述预设缓存中；根据所述元数据以及所述触发条件确定是否触发所述数据存储方的数据取操作。5.根据权利要求4所述的数据存取方法，其特征在于，根据所述元数据以及所述触发条件确定是否触发所述数据存储方的数据取操作，包括：在所述元数据中存在能够满足所述触发条件的所述第一子数据时，触发所述数据存储方从所述预设缓存中获取所述第一子数据，以使所述数据存储方根据所述第一子数据获取所述第二子数据，并存储至所述...

【专利技术属性】
技术研发人员：梁福坤，
申请(专利权)人：北京小度信息科技有限公司，
类型：发明
国别省市：北京,11