数据处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及商品服务数据处理技术领域，具体涉及一种商品服务数据的数据处理方法、装置、计算机设备和存储介质。所述方法包括：从目标商品服务的全量数据中获取目标商品服务的第一服务入参数据；根据第一服务入参数据从数据库的服务数据中获取目标商品服务的第一商品服务数据，以及从缓存服务数据中获取目标商品服务的第二商品服务数据；当第一商品服务数据与第二商品服务数据不相同时，根据第一服务入参数据更新目标商品服务的预热表中的第二服务入参数据；根据预热表中更新后的第二服务入参数据将目标商品服务对应的数据库的服务数据同步至缓存服务数据。上述方法能够自动化监控商品服务数据的更新缓存处理过程。

Data processing methods, devices, computer equipment and storage media

【技术实现步骤摘要】
数据处理方法、装置、计算机设备和存储介质
本申请涉及数据处理
，特别是涉及一种商品服务数据的数据处理方法、装置、计算机设备和存储介质。
技术介绍
互联网商品服务管理平台主要价值在提供商品信息的数据服务，其中包括数据的分发接收，入库，缓存预热，数据服务，下游系统服务推送通知等基础功能的数据服务。但是，由于商品服务数据存在服务的区分，平台根据业务场景多维度分库分表存储服务数据。因此，容易造成平台对商品服务数据的数据处理的监控不够精细。特别是，缺乏对将数据库中服务数据同步到缓存服务数据的数据处理过程的监控。对于该数据处理过程，传统监控的方式为，人工检测到生产环境中数据库的服务数据与缓存服务数据存在数据不一致的情况时，手工输入对应入参，根据对应入参将数据库中服务数据同步到缓存服务数据。该人工监控以及人工操作的方式，导致商品服务数据的数据处理的时效性低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够自动化监控商品服务数据更新缓存的处理过程并提高更新缓存商品服务数据的时效性的商品服务数据的数据处理方法、装置、计算机设备和存储介质。一种商品服务数据的数据处理方法，该方法包括：从目标商品服务的全量数据中获取目标商品服务的第一服务入参数据；根据第一服务入参数据从数据库的服务数据中获取目标商品服务的第一商品服务数据；根据第一服务入参数数据从缓存服务数据中获取目标商品服务的第二商品服务数据；当第一商品服务数据与第二商品服务数据不相同时，根据第一服务入参数据更新目标商品服务的预热表中的第二服务入参数据，预热表用于存储将数据库的服务数据同步至缓存服务数据时对应的服务入参数据，第二服务入参数据为预热表中第二商品服务数据对应的服务入参数据；根据预热表中更新后的第二服务入参数据将目标商品服务对应的数据库的服务数据同步至缓存服务数据。在其中一个实施例中，第一服务入参数据为多个，根据第一服务入参数据从数据库的服务数据中获取目标商品服务的第一商品服务数据，包括：分别根据各第一服务入参数据从数据库的服务数据中获取多个第一商品服务数据；根据第一服务入参数从缓存服务数据中获取目标商品服务的第二商品服务数据，包括：分别根据各第一服务入参数从缓存服务数据中获取目标商品服务的多个第二商品服务数据；当第一商品服务数据与第二商品服务数据不相同时，根据第一服务入参数据更新目标商品服务的预热表中的第二服务入参数据，包括：当多个第一服务入参数中任一第一服务入参数对应的第一商品服务数据与第二商品服务数据不相同时，根据任一第一服务入参数更新目标商品服务的预热表中对应的第二服务入参数据。在其中一个实施例中，根据预热表中更新后的第二服务入参数据将目标商品服务对应的数据库的服务数据同步至缓存服务数据，包括：按照预设周期读取预热表中更新的第二服务入参数据；根据读取到的第二服务入参数据将数据库的服务数据同步至缓存服务数据。在其中一个实施例中，该方法还包括：获取目标商品服务的增量数据；从增量数据中获取目标商品服务的第三服务入参数据；根据第三服务入参数据从数据库的服务数据中获取目标商品服务的第三商品服务数据，以及根据第三服务入参数从缓存服务数据中获取目标商品服务的第四商品服务数据；当第三商品服务数据与第四商品服务数据不相同时，根据第三服务入参数据更新目标商品服务的预热表中的第四服务入参数据，第四服务入参为预热表中第四商品服务数据对应的服务入参；根据预热表中更新后的第四服务入参将数据库的服务数据同步至缓存服务数据。在其中一个实施例中，获取目标商品服务的增量数据，包括：根据目标商品服务的商品服务数据的更新时间创建滑动时间窗口；通过滑动时间窗口从存储目标商品服务的商品数据中获取增量数据。在其中一个实施例中，该方法还包括：将缓存服务数据写入搜索服务平台；开发搜索服务平台的数据查询接口和异常数据统计接口；通过前端展示页面调用数据查询接口，以通过数据查询接口查询搜索服务平台中的商品服务数据，并在前端展示页面展示搜索服务平台中的商品服务数据；通过前端展示页面调用异常数据统计接口，以通过异常数据统计接口查询搜索服务平台中统计出的异常商品服务数据，并在前端展示页面展示搜索服务平台中统计出的异常商品服务数据。在其中一个实施例中，该方法还包括：当第一商品服务数据与第二商品服务数据不相同时，根据第一服务入参数据生成数据日志；将数据日志写入搜索服务平台；通过前端展示页面调用数据查询接口，以通过数据查询接口查询搜索服务平台中的数据日志，并在前端展示页面展示搜索服务平台中的数据日志。一种商品服务数据的数据处理装置，该装置包括：第一获取模块，用于从目标商品服务的全量数据中获取目标商品服务的第一服务入参数据；第二获取模块，用于根据第一服务入参数据从数据库的服务数据中获取目标商品服务的第一商品服务数据；第三获取模块，用于根据第一服务入参数数据从缓存服务数据中获取目标商品服务的第二商品服务数据；更新模块，用于当第一商品服务数据与第二商品服务数据不相同时，根据第一服务入参数据更新目标商品服务的预热表中的第二服务入参数据，预热表用于存储将数据库的服务数据同步至缓存服务数据时对应的服务入参数据，第二服务入参数据为预热表中第二商品服务数据对应的服务入参数据；同步模块，用于根据预热表中更新后的第二服务入参数据将目标商品服务对应的数据库的服务数据同步至缓存服务数据。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例的方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例的方法的步骤。上述商品服务数据的数据处理方法、装置、计算机设备和存储介质，从目标商品服务的全量数据中获取目标商品服务的第一服务入参数据，根据第一服务入参数据分别从数据库的服务数据中获取第一商品服务数据以及从缓存服务数据中获取目标商品服务的第二商品服务数据。当对比出第一商品服务数据与第二商品服务数据不相同时，根据第一服务入参数据更新目标商品服务的预热表中的第二服务入参数据。进一步地，根据预热表中更新后的第二服务入参将数据库的服务数据同步至缓存服务数据。因此，该商品服务数据的数据处理方法，无需采用人工方式更新缓存服务数据，通过预热表中服务入参数据的更新情况自动化对目标商品服务对应在数据库中的商品服务数据和缓存服务数据中的商品服务数据的比对情况进行监控，并通过预热表中更新的服务入参数据自动化将数据库的服务数据同步至缓存服务数据，完成了目标商品服务对应的商品服务数据的缓存更新，降低了人为维护商品服务数据的成本，减少人工干预的次数，提升商品服务数据的数据处理的时效性。附图说明图1为一个实施例中一种商品服务数据的数据处理方法的应用环境图；图2为一个实施例中一种商品服务数据的数据处理方法的流程示意图；图3为另一个实施例中一种商品服务数据的数据处理方本文档来自技高网...

【技术保护点】
1.一种商品服务数据的数据处理方法，所述方法包括：/n从目标商品服务的全量数据中获取所述目标商品服务的第一服务入参数据；/n根据所述第一服务入参数据从数据库的服务数据中获取所述目标商品服务的第一商品服务数据；/n根据所述第一服务入参数数据从缓存服务数据中获取所述目标商品服务的第二商品服务数据；/n当所述第一商品服务数据与所述第二商品服务数据不相同时，根据所述第一服务入参数据更新所述目标商品服务的预热表中的第二服务入参数据，所述预热表用于存储将所述数据库的服务数据同步至所述缓存服务数据时对应的服务入参数据，所述第二服务入参数据为所述预热表中所述第二商品服务数据对应的服务入参数据；/n根据所述预热表中更新后的所述第二服务入参数据将所述目标商品服务对应的数据库的服务数据同步至所述缓存服务数据。/n

【技术特征摘要】
1.一种商品服务数据的数据处理方法，所述方法包括：
从目标商品服务的全量数据中获取所述目标商品服务的第一服务入参数据；
根据所述第一服务入参数据从数据库的服务数据中获取所述目标商品服务的第一商品服务数据；
根据所述第一服务入参数数据从缓存服务数据中获取所述目标商品服务的第二商品服务数据；
当所述第一商品服务数据与所述第二商品服务数据不相同时，根据所述第一服务入参数据更新所述目标商品服务的预热表中的第二服务入参数据，所述预热表用于存储将所述数据库的服务数据同步至所述缓存服务数据时对应的服务入参数据，所述第二服务入参数据为所述预热表中所述第二商品服务数据对应的服务入参数据；
根据所述预热表中更新后的所述第二服务入参数据将所述目标商品服务对应的数据库的服务数据同步至所述缓存服务数据。


2.根据权利要求1所述的方法，其特征在于，所述第一服务入参数据为多个，所述根据所述第一服务入参数据从数据库的服务数据中获取所述目标商品服务的第一商品服务数据，包括：
分别根据各所述第一服务入参数据从所述数据库的服务数据中获取多个第一商品服务数据；
所述根据所述第一服务入参数从缓存服务数据中获取所述目标商品服务的第二商品服务数据，包括：
分别根据各所述第一服务入参数从缓存服务数据中获取所述目标商品服务的多个第二商品服务数据；
所述当所述第一商品服务数据与所述第二商品服务数据不相同时，根据所述第一服务入参数据更新所述目标商品服务的预热表中的第二服务入参数据，包括：
当多个所述第一服务入参数中任一所述第一服务入参数对应的所述第一商品服务数据与所述第二商品服务数据不相同时，根据所述任一所述第一服务入参数更新所述目标商品服务的预热表中对应的第二服务入参数据。


3.根据权利要求1所述的方法，其特征在于，所述根据所述预热表中更新后的所述第二服务入参数据将所述目标商品服务对应的数据库的服务数据同步至所述缓存服务数据，包括：
按照预设周期读取所述预热表中更新的第二服务入参数据；
根据读取到的第二服务入参数据将所述数据库的服务数据同步至所述缓存服务数据。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述目标商品服务的增量数据；
从所述增量数据中获取所述目标商品服务的第三服务入参数据；
根据所述第三服务入参数据从所述数据库的服务数据中获取所述目标商品服务的第三商品服务数据，以及根据所述第三服务入参数从所述缓存服务数据中获取所述目标商品服务的第四商品服务数据；
当所述第三商品服务数据与所述第四商品服务数据不相同时，根据所述第三服务入参数据更新所述目标商品服务的预热表中的第四服务入参数据，所述第四服务入参为所述预热表中所述第四商品服务数据对应的服务入参；
根据所述预热表中更新...

【专利技术属性】
技术研发人员：邰华运，吕勇，万鹏程，
申请(专利权)人：苏宁云计算有限公司，
类型：发明
国别省市：江苏;32