一种基于大数据确定疑似侵权数据的方法及设备技术

本发明专利技术公开了一种基于大数据确定疑似侵权数据的方法和设备，该方法应用于B/S结构及MVVM架构的设备中，包括：获取用户设置的大数据采集任务；基于数据抓取框架采集与所述任务对应的原始数据；对采集到的所述原始数据进行数据清洗后确定疑似侵权数据；将所述疑似侵权数据存储在与所述用户对应的数据库，通过根据用户设置的采集任务自动确定疑似侵权数据，从而高效地确定与用户自身情况相关地疑似侵权数据，并提高了用户的可操作性。

A method and equipment to determine suspected infringing data based on big data

【技术实现步骤摘要】
一种基于大数据确定疑似侵权数据的方法及设备
本专利技术涉及企业知识产权保护
，特别涉及一种基于大数据确定疑似侵权数据的方法及设备。
技术介绍
随着互联网技术的飞速发展，在充斥海量信息的网络中，互联网电商知识产权侵权行为也肆意泛滥，如低价/乱价、商标侵权、假货/仿货、虚假授权、不正当竞争、专利侵权等，严重损害了被侵权企业正当利益，因此，如何在海量的数据中监测到上述侵权行为变得尤为重要。现有技术中一般通过人工在各电商平台检索侵权行为，其检索过程效率低，准确度不高，也有相关的企业知识产权保护平台，但其无法使用户在相关平台自主进行操作，可操作性不好，不能针对企业用户的自身情况确定相应的疑似侵权数据，从而无法有效对企业用户的知识产权进行保护。
技术实现思路
本专利技术提供一种基于大数据确定疑似侵权数据的方法，用以解决现有技术中在确定疑似侵权数据时，效率低、准确度不高、可操作性不好的技术问题，该方法应用于B/S结构及MVVM架构的设备中，包括：获取用户设置的大数据采集任务；基于数据抓取框架采集与所述任务对应的原始数据；对采集到的所述原始数据进行数据清洗后确定疑似侵权数据；将所述疑似侵权数据存储在与所述用户对应的数据库。优选的，在获取用户设置的大数据采集任务之前，还包括：对所述用户进行身份认证；当所述身份认证通过后授权所述用户登录。优选的，所述数据抓取框架具体为Scrapy框架或PySpider框架，基于抓取框架采集与所述任务对应的原始数据，具体为：获取与所述任务对应的采集项目及采集平台，其中，所述采集项目具体包括：店铺相关信息、和或产品相关信息，所述采集平台具体包括：微信平台、和或微博平台、和或各电子商务平台；根据所述采集项目在所述采集平台采集所述原始数据。优选的，对采集到的所述原始数据进行数据清洗后确定疑似侵权数据，具体为：对所述原始数据进行数据清洗，获取清洗后的数据，其中，所述数据清洗具体包括：检查一致性，处理无效值和缺失值；对所述清洗后的数据进行多维度分析后确定所述疑似侵权数据，其中，所述多维度分析至少包括：销售金额分析、销售量分析、产品单价分析以及售后评价分析。优选的，在将所述疑似侵权数据存储在与所述用户对应的数据库之后，还包括：将所述疑似侵权数据进行可视化处理后在前端视图展示。相应地，本专利技术还提出了一种基于大数据确定疑似侵权数据的设备，所述设备为B/S结构及MVVM架构，包括：获取模块，用于获取用户设置的大数据采集任务；采集模块，用于基于数据抓取框架采集与所述任务对应的原始数据；确定模块，用于对采集到的所述原始数据进行数据清洗后确定疑似侵权数据；存储模块，用于将所述疑似侵权数据存储在与所述用户对应的数据库。优选的，还包括认证模块，具体用于：对所述用户进行身份认证；当所述身份认证通过后授权所述用户登录。优选的，所述数据抓取框架具体为Scrapy框架或PySpider框架，所述采集模块，具体用于：获取与所述任务对应的采集项目及采集平台，其中，所述采集项目具体包括：店铺相关信息、和或产品相关信息，所述采集平台具体包括：微信平台、和或微博平台、和或各电子商务平台；根据所述采集项目在所述采集平台采集所述原始数据。优选的，所述确定模块，具体用于：对所述原始数据进行数据清洗，获取清洗后的数据，其中，所述数据清洗具体包括：检查一致性，处理无效值和缺失值；对所述清洗后的数据进行多维度分析后确定所述疑似侵权数据，其中，所述多维度分析至少包括：销售金额分析、销售量分析、产品单价分析以及售后评价分析。优选的，还包括展示模块，用于将所述疑似侵权数据进行可视化处理后在前端视图展示。与现有技术对比，本专利技术具备以下有益效果：本专利技术公开了一种基于大数据确定疑似侵权数据的方法，该方法应用于B/S结构及MVVM架构的设备中，包括：获取用户设置的大数据采集任务；基于数据抓取框架采集与所述任务对应的原始数据；对采集到的所述原始数据进行数据清洗后确定疑似侵权数据；将所述疑似侵权数据存储在与所述用户对应的数据库，通过根据用户设置的采集任务自动确定疑似侵权数据，从而高效地确定与用户自身情况相关地疑似侵权数据，并提高了用户的可操作性。附图说明图1为本专利技术实施例提出的一种基于大数据确定疑似侵权数据的方法的流程示意图；图2为本专利技术实施例提出的一种基于大数据确定疑似侵权数据的设备的结构示意图。具体实施方式如
技术介绍
所述，现有技术中在确定疑似侵权数据时，效率低、准确度不高、可操作性不好。为解决上述问题，本申请实施例提出了一种基于大数据确定疑似侵权数据的方法，通过根据用户设置的采集任务自动确定疑似侵权数据，从而高效地确定与用户自身情况相关地疑似侵权数据，并提高了用户的可操作性。如图1所示为本专利技术实施例提出的一种基于大数据确定疑似侵权数据的方法的流程示意图，该方法应用于B/S结构及MVVM架构的设备中，包括以下步骤：S101，获取用户设置的大数据采集任务。用户在需要确定疑似侵权数据时，会设置相应地大数据采集任务，用户会设置指定采集项目，如产品的相关信息以及店铺的相关信息，用户还可设置指定采集平台，从而获取基于采集项目和采集平台的大数据采集任务，在本申请的具体应用场景中，通过用户在前端视图设置大数据采集任务，从而获取大数据采集任务。为保证用户操作的合法性，在本申请的优选实施例中，在获取用户设置的大数据采集任务之前，还包括：对所述用户进行身份认证；当所述身份认证通过后授权所述用户登录。如上所述，对用户进行身份认证，并在身份认证通过后授权所述用户登录，用户登录后才能设置大数据采集任务，保证了用户操作的合法性。在本申请的具体应用场景中，每个用户都有一套独立的账户，用户输入正确的账号和密码后即可登录并进行后续操作。可采用OAuth(OpenAuthorization，开放授权)身份认证和授权的安全登录方式、也可采用第三方登录认证模式，如微信扫码登录等。需要说明的是，本领域技术人员可根据实际需要灵活选用不同的身份认证方式，这并不影响本申请的保护范围。S102，基于数据抓取框架采集与所述任务对应的原始数据。具体的，由于大数据采集任务对应的原始数据存在于互联网中，可通过数据抓取框架对该原始数据进行采集。本领域技术人员可根据实际需要选择不同的数据抓取框架进行数据采集。为采集到与大数据采集任务对应的原始数据，在本申请的优选实施例中，所述数据抓取框架具体为Scrapy框架或PySpider框架，基于抓取框架采集与所述任务对应的原始数据，具体为：获取与所述任务对应的采集项目及采集平台，其中，所述采集项目具体包括：店铺相关信息、和或产品相关信息，所述采集平台具体包括：微信平台、和或微博平台、和或各电子商务平台；根据所述采集项目在所述采集平台采集所述原始数据。具体的，在大数据采集任务中包括了用户指定的采集项目和采集平台，采集项目可包括店铺相关信息、产品的相关信息，采集平台可以为微信平台、和或微博平台、和或各电子商务平台，从而根据用户指定的采集项目到指定的采集平台采集原始数据，可利用Scrapy框架或PySpider框架的数据采集框架执行大数据采集任务。需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他基于数据抓取框架采集与所述任务对应的原始数据的方式均属于本申本文档来自技高网...

【技术保护点】
1.一种基于大数据确定疑似侵权数据的方法，其特征在于，所述方法应用于B/S结构及MVVM架构的设备中，包括：获取用户设置的大数据采集任务；基于数据抓取框架采集与所述任务对应的原始数据；对采集到的所述原始数据进行数据清洗后确定疑似侵权数据；将所述疑似侵权数据存储在与所述用户对应的数据库。

【技术特征摘要】
1.一种基于大数据确定疑似侵权数据的方法，其特征在于，所述方法应用于B/S结构及MVVM架构的设备中，包括：获取用户设置的大数据采集任务；基于数据抓取框架采集与所述任务对应的原始数据；对采集到的所述原始数据进行数据清洗后确定疑似侵权数据；将所述疑似侵权数据存储在与所述用户对应的数据库。2.如权利要求1所述的方法，其特征在于，在获取用户设置的大数据采集任务之前，还包括：对所述用户进行身份认证；当所述身份认证通过后授权所述用户登录。3.如权利要求1所述的方法，其特征在于，所述数据抓取框架具体为Scrapy框架或PySpider框架，基于抓取框架采集与所述任务对应的原始数据，具体为：获取与所述任务对应的采集项目及采集平台，其中，所述采集项目具体包括：店铺相关信息、和或产品相关信息，所述采集平台具体包括：微信平台、和或微博平台、和或各电子商务平台；根据所述采集项目在所述采集平台采集所述原始数据。4.如权利要求1所述的方法，其特征在于，对采集到的所述原始数据进行数据清洗后确定疑似侵权数据，具体为：对所述原始数据进行数据清洗，获取清洗后的数据，其中，所述数据清洗具体包括：检查一致性，处理无效值和缺失值；对所述清洗后的数据进行多维度分析后确定所述疑似侵权数据，其中，所述多维度分析至少包括：销售金额分析、销售量分析、产品单价分析以及售后评价分析。5.如权利要求1所述的方法，其特征在于，在将所述疑似侵权数据存储在与所述用户对应的数据库之后，还包括：将所述疑似...

【专利技术属性】
技术研发人员：孙凯，
申请(专利权)人：上海新诤信知识产权服务股份有限公司，
类型：发明
国别省市：上海,31