整合跨平台商品数据的方法、系统和计算机可读介质技术方案

本发明专利技术提供了一种整合跨平台商品数据的方法、系统和计算机可读介质。该方法包括以下步骤：从多个商品平台拉取商品清单数据，存入流处理平台；监听所述流处理平台拉取到的商品清单数据，并将所述商品清单数据存入原始数据库中；对所述商品清单数据进行数据清洗，获得结构化的平台元数据，并存储在结构化数据库中；以及将所述平台元数据与商户数据关联，获得带映射关系的映射元数据，并存储在异构结果数据库中。

【技术实现步骤摘要】
整合跨平台商品数据的方法、系统和计算机可读介质
本专利技术主要涉及数据处理领域，尤其涉及一种整合跨平台商品数据的方法、系统和计算机可读介质。
技术介绍
随着商品订单平台的增多，同一个商户可能需要在多个商品订单平台上经营，每个平台都有自己的商品系统。这些商品系统之家的数据是异构的，难以统一。这给商户处理它自身的商品数据造成了很大困难。
技术实现思路
本专利技术要解决的技术问题是提供一种整合跨平台商品数据的方法、系统和计算机可读介质，可以整合多个商品平台的商品数据，以便统一进行分析。为解决上述技术问题，本专利技术提供了一种整合跨平台商品数据的方法，包括以下步骤：从多个商品平台拉取商品清单数据，存入流处理平台；监听所述流处理平台拉取到的商品清单数据，并将所述商品清单数据存入原始数据库中；对所述商品清单数据进行数据清洗，获得结构化的平台元数据，并存储在结构化数据库中；以及将所述平台元数据与商户数据关联，获得带映射关系的映射元数据，并存储在异构结果数据库中。在本专利技术的一实施例中，对所述商品清单数据进行数据清洗的步骤包括：去除所述商品清单数据中的特殊字符；去除所述商品清单数据中的重复数据；对所述商品清单数据进行一致性检查；根据业务要求过滤所述商品清单数据中的无效数据；以及解析所述商品清单数据中的特殊格式，以获得所述结构化的平台元数据。在本专利技术的一实施例中，将所述平台元数据与商户数据关联，获得带映射关系的映射元数据的步骤包括：a.判断当前商品是否存在映射的本地商品标识，如果存在则结束，否则进入步骤b；b.判断所述当前商品是否支持外部商品标识，如果是，如果则进入步骤c，否则进入步骤d；c.判断所述当前商品是否已配置外部商品标识，如果是则进入步骤e，否则进入步骤d；d.根据关键字搜索相关本地商品标识，将所述当前商品与搜索到的本地商品标识关联。在本专利技术的一实施例中，将所述平台元数据与商户数据关联，获得带映射关系的映射元数据的步骤还包括：当所述步骤d中未搜索到相关本地商品标识时，生成包括未映射商品的异常事件；将所述异常事件提醒用户。在本专利技术的一实施例中，将所述平台元数据与商户数据关联，获得带映射关系的映射元数据的步骤还包括：接收用户对未映射商品与本地商品标识的人工绑定。在本专利技术的一实施例中，根据关键字搜索相关本地商品标识的方法包括确定有穷自动机算法。在本专利技术的一实施例中，对所述商品清单数据进行一致性检查的步骤包括：根据每个变量的合理取值范围和相互关系，检查商品清单数据是否符合要求。在本专利技术的一实施例中，上述方法还包括利用所述异构结果数据库中的映射元数据对所述商品清单数据进行聚合分析。本专利技术的另一方面提出一种整合跨平台商品数据的系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的方法。本专利技术的另一方面提出一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。与现有技术相比，本专利技术在获取多个商品平台的商品数据后，通过数据清洗、建立映射关系等步骤，抽象出统一的商品整合系统，从而能在此基础上进行统一分析，大幅提高了商户的数据处理效率。附图说明包括附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本专利技术原理的作用。附图中：图1是本申请一实施例的整合跨平台商品数据的系统框图。图2是本申请一实施例的整合跨平台商品数据的方法示意图。图3是本申请一实施例的关系映射过程示意图。图4是本申请一实施例的处理未映射数据的过程示意图。图5是本申请一实施例的商品数据分析过程示意图。图6是本申请一实施例的整合跨平台商品数据的系统硬件实施环境。具体实施方式为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。图1是本申请一实施例的整合跨平台商品数据的系统逻辑框图。参考图1所示，系统100与多个商品系统200及客户端300耦接，以便与这些设备交互。多个商品平台200例如可以是各种商业化平台，例如美团、饿了么、京东、饿百等。系统100可包括数据层模块110、应用模块120和配置中心130。数据层模块120可从商品系统200拉取商品清单数据，并在内部进行数据处理，从而得到结构化的商品数据，并存储在数据库中。应用模块120包括商品整理模块121和业务模块122。商品整理模块121对结构化的商品数据进行整理，得到经映射的商品数据，并存储在数据库中。业务模块122可利用经映射的商品数据进行各类分析，得到有价值的结果。这些结果可通过web服务123的方式供客户端300查询。配置中心130可对数据层模块110、应用模块120的运作进行配置。在本专利技术的一实施例中，商品例如是菜品。图2是本申请一实施例的整合跨平台商品数据的方法示意图。本文档来自技高网...

【技术保护点】
1.一种整合跨平台商品数据的方法，包括以下步骤：/n从多个商品平台拉取商品清单数据，存入流处理平台；/n监听所述流处理平台拉取到的商品清单数据，并将所述商品清单数据存入原始数据库中；/n对所述商品清单数据进行数据清洗，获得结构化的平台元数据，并存储在结构化数据库中；以及/n将所述平台元数据与商户数据关联，获得带映射关系的映射元数据，并存储在异构结果数据库中。/n

【技术特征摘要】
1.一种整合跨平台商品数据的方法，包括以下步骤：
从多个商品平台拉取商品清单数据，存入流处理平台；
监听所述流处理平台拉取到的商品清单数据，并将所述商品清单数据存入原始数据库中；
对所述商品清单数据进行数据清洗，获得结构化的平台元数据，并存储在结构化数据库中；以及
将所述平台元数据与商户数据关联，获得带映射关系的映射元数据，并存储在异构结果数据库中。


2.如权利要求1所述的方法，其特征在于，对所述商品清单数据进行数据清洗的步骤包括：
去除所述商品清单数据中的特殊字符；
去除所述商品清单数据中的重复数据；
对所述商品清单数据进行一致性检查；
根据业务要求过滤所述商品清单数据中的无效数据；以及
解析所述商品清单数据中的特殊格式，以获得所述结构化的平台元数据。


3.如权利要求1所述的方法，其特征在于，将所述平台元数据与商户数据关联，获得带映射关系的映射元数据的步骤包括：
a.判断当前商品是否存在映射的本地商品标识，如果存在则结束，否则进入步骤b；
b.判断所述当前商品是否支持外部商品标识，如果是，如果则进入步骤c，否则进入步骤d；
c.判断所述当前商品是否已配置外部商品标识，如果是则进入步骤e，否则进入步骤d；
d.根据关键字搜索相关本地商品标识，将所述当前商品与搜索到的本地商品标...

【专利技术属性】
技术研发人员：王泰舟，
申请(专利权)人：食亨上海科技服务有限公司，
类型：发明
国别省市：上海;31