一种基于直播行业的主数据去重处理方法及系统技术方案

本发明专利技术公开了一种基于直播行业的主数据去重处理方法和系统，该去重处理方法包括如下步骤：设定所述主数据的疑似重复查询的规则；所述查询规则为所述主数据的查询顺序；设置所述主数据疑似重复的匹配规则，所述匹配规则包括多个匹配元素及所述匹配元素的匹配顺序；按照所述查询规则及所述匹配规则对所述主数据进行去重筛查并进行去重处理。按照本发明专利技术实现的主数据去重处理方法和系统，能显著地提高直播结算的正确性，并且提高资源利用效率，对疑似的主数据进行多元素的对比搜索，并且进行分级管理，能够完全匹配的采用自动合并处理，并且将部分匹配的数据实现推送人工去除处理，使得直播行业主数据去重更加高效并且具有较高的准确率。

【技术实现步骤摘要】

本专利技术属于互联网直播领域，更具体地，涉及一种基于直播行业的主数据疑似合并操作处理方法及系统。
技术介绍
对于直播行业的主数据管理，其并不与其它行业的主数据管理类似，其并不是针对物，也不是信息数据，直播行业针对的是主播个人，人是变化的，直播的情况也是实时变化，不可预测，这种不可预测性使得直播行业的主数据管理并不像其它类型的主数据管理，例如企业主数据管理中物品的折旧等是可以量化计算，但是主播个人的直播情况以及观看直播用户的反馈情况都是不可预测的，因此，现有的主数据方法并不能直接应用到直播行业中。另外，针对直播行业的主数据管理的重要性还体现在一方面是在于能够解决实时数据流量的计算，结算主播薪酬等，如果在所生成的主数据中还包括有重复的数据，会造成结算错误等一些问题，造成管理混乱以及资源浪费的问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于直播行业的主数据去重处理方法及系统，其目的在于提供一种能够实时并且准确地对直播行业的主数据进行去重，从而提高主数据管理的精确度。为实现上述目的，按照本专利技术的一个方面，提供了一种基于直播行业的主数据去重处理方法，其特征在于，该处理方法包括如下步骤：设定所述主数据的疑似重复的查询规则；所述查询规则为所述主数据的查询顺序；设置所述主数据疑似重复的匹配规则，所述匹配规则包括多个匹配元素及所述匹配元素的匹配顺序；按照所述查询规则及所述匹配规则对所述主数据进行去重筛查并进行去重处理。进一步地，所述匹配规则包括模糊匹配和精确匹配两种，所述主数据中满足精确匹配的自动进行合并处理，所述主数据中满足模糊匹配的推送至人工判定是否合并处理。进一步地，所述查询规则为按照所述主数据的生成时间顺序进行查询。进一步地，所述匹配规则中不采用常用共有信息来作为疑似重复的所述匹配元素。进一步地，所述匹配规则为先进行所述主数据的名称的匹配，再进行所述主数据的业务类型所涉及的实体对象端的身份信息匹配，所述实体对象包括主播端、广告端以及用户端。进一步地，所述主数据去重前和去重后的数据源都被保存，以方便人工审核。本专利技术还公开了一种基于直播行业的主数据去重系统，其特征在于，所述系统包括与业务系统中的实体对象进行交互的服务器，与所述服务器进行交互的主数据管理平台；所述服务器包括中央控制模块及存储器模块，所述中央控制模块用于实现服务器与所述业务系统、所述主数据管理平台及所述存储器模块的控制；所述存储器模块用于存储与所述业务系统中的实体对象对应的主数据；所述主数据管理平台用于提供与所述服务器交互的界面化接口；所述中央控制模块包括规则设定子单元、比较子单元及自动合并子单元；所述规则设定子单元接受来自主数据管理平台的指令，设定针对所属主数据去重的查询规则和匹配规则；所述比较子单元读取所述存储器模块中的主数据，按照所述规则设定子单元的查询规则和匹配规则执行去重比较；从而根据比较结论分别将主数据传输至所述自动合并子单元或所述存储器模块中的缓冲存储器单元。进一步地，所述匹配规则包括模糊匹配和精确匹配两种。进一步地，所述自动合并子单元的去重处理操作为:所述精确匹配产生的结果由所述自动合并子单元来执行合并操作，所述模糊匹配产生的结果由所述自动合并子单元发送至所述存储器模块中的缓冲存储器单元，所述主数据管理平台根据人工指令调取相应数据由人工判定是否合并处理。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)首次提出了直播行业主主数据的重复数据处理的方法，该方法能显著地提高直播结算的正确性，并且提高资源利用效率；(2)对疑似的主数据进行多元素的对比搜索，并且进行分级管理，能够完全匹配的采用自动合并处理，并且将部分匹配的数据实现推送，由此实现用户选择的去除处理，使得直播行业主数据去重更加高效并且具有较高的准确率；(3)对主数据的去重处理的管理也具有多维性，即采用名称和编号的多个角度来进行筛选，进一步地提高了去重的可靠性。附图说明图1为按照本专利技术实现的基于直播行业的主数据疑似合并处理的管理系统的框架示意图；图2为按照本专利技术实现的基于直播行业的主数据疑似合并处理的中的服务器模块示意图；图3为按照本专利技术实现的基于直播行业的主数据疑似合并处理中的主流程框架示意图；图4为按照本专利技术实现的基于直播行业的主数据疑似合并处理中的一种实施例的执行细节框架图；图5为按照本专利技术实现的基于直播行业的主数据疑似合并处理系统的框架模块结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。如图1所示，本实施例所提供的主数据管理方法，主要是基于以下的直播系统来进行的相应管理，该主数据管理涉及的系统包括如下部分：业务系统：包括主播端、广告端、用户端(即整个直播业务所涉及的实体对象)主数据库服务器主数据管理平台其中，在直播业务中，主要是通过服务器来完成所有的实体对象端的数据管理，而在该服务器中建立有很对多个实体对象管理的主数据库，来对相应的实体对象的主数据进行管理，相应的实体对象所产生的主数据就存储在相应的主数据库中。几个业务系统中的实体对象的主数据库之间可以直接通信，并且接受服务器的管理，服务器在于各个实体对象进行通信采集相应的数据后，将相应实体对象的主数据送入对应的主数据库进行管理，而主数据管理平台主要提供一个管理主数据的平台，主数据管理平台与服务器进行通信，从服务器中获取基于直播的主数据进行相应的分析。如图2所示，针对上述的主数据管理系统，该系统主要包括服务器，以及与服务器通信的主数据管理平台，其中，服务器主要包括中央控制模块和存储器模块，其中中央控制模块用于对服务器和主数据管理平台的通信等实现总的控制，并且协调存储器模块实现相应的主数据的存储调用管理。其中，服务器主要从业务系统包括的实体对象端采集获取相应的主数据进行存储并管理。其中，在该主数据管理系统中，主数据管理平台先发送相应的主数据调用指令给服务器，服务器中的中央控制模块完成在存储器模块中存储的相应主数据的调取，由于直播行业主数据的实时性，在相应的主数据调用指令发送予服务器时，未调取到相应的主数据，此时中央控制模块向业务系统相应的实体对象发出相应的主数据调用指令，业务系统中的相应的实体对象生成相应的主数据传输予服务器，由此，主数据管理平台可完成相应的主数据管理操作。其中该主数据管理平台可以是具有界面式主数据管理操作平台式的硬件总机处理平台的形式；其中上述存储器模块中还设置有一用于存储疑似重复数据的缓冲存储器单元，该缓冲存储器单元用于存储疑似重复的数据，主数据管理平台可以从该缓冲存储器单元中读取相应的数据推送给管理员进行去重等的操作。在上述的涉及主数据的管理中，比较重要的一个步骤就是对主数据进行疑似查重的处理，因此，要针对主数据的属性类型，来设计合理的针对直播行业主数据管理的方法。如图3所示，针对直播行业的主数据管理的疑似合并处理规则业务分为三个主要步骤：第一步：设定主数据疑似重复的规则，针对不同类型的主数据设定不同疑似本文档来自技高网...

【技术保护点】
一种基于直播行业的主数据去重处理方法，其特征在于，该处理方法包括如下步骤：设定所述主数据的疑似重复的查询规则；所述查询规则为所述主数据的查询顺序；设置所述主数据疑似重复的匹配规则，所述匹配规则包括多个匹配元素及所述匹配元素的匹配顺序；按照所述查询规则及所述匹配规则对所述主数据进行去重筛查并进行去重处理。

【技术特征摘要】
1.一种基于直播行业的主数据去重处理方法，其特征在于，该处理方法包括如下步骤：设定所述主数据的疑似重复的查询规则；所述查询规则为所述主数据的查询顺序；设置所述主数据疑似重复的匹配规则，所述匹配规则包括多个匹配元素及所述匹配元素的匹配顺序；按照所述查询规则及所述匹配规则对所述主数据进行去重筛查并进行去重处理。2.如权利要求1所述的基于直播行业的主数据去重处理方法，其特征在于，所述匹配规则包括模糊匹配和精确匹配两种，所述主数据中满足精确匹配的自动进行合并处理，所述主数据中满足模糊匹配的推送至人工判定是否合并处理。3.如权利要求1或2所述的基于直播行业的主数据去重处理方法，其特征在于，所述查询规则为按照所述主数据的生成时间顺序进行查询。4.如权利要求3所述的基于直播行业的主数据去重处理方法，其特征在于，所述匹配规则中不采用常用共有信息来作为疑似重复的所述匹配元素。5.如权利要求4所述的基于直播行业的主数据去重处理方法，其特征在于，所述匹配规则为先进行所述主数据的名称的匹配，再进行所述主数据的业务类型所涉及的实体对象端的身份信息匹配，所述实体对象包括主播端、广告端以及用户端。6.如权利要求5所述的基于直播行业的主数据去重处理方法，其特征在于，所述主数据去重前和去重后的数据源都被保存，以方便人工审核。7.一种基于直播...

【专利技术属性】
技术研发人员：姚金明，
申请(专利权)人：武汉斗鱼网络科技有限公司，
类型：发明
国别省市：湖北;42