一种跨境电商全球商品清关系统技术方案

本发明专利技术提供的一种跨境电商全球商品清关系统，包括数据库及应用服务器、中国海外国际宽带接口、海外主要电商网站和海外仓库PDA商品条码扫描系统；所述中国海外国际宽带接口的一端与设置在中国机房内的数据库及应用服务器相连，另一端分别连接有海外主要电商网站和海外仓库PDA商标条码扫描系统，所述数据库及应用服务器包括中心数据库、网络爬虫应用服务器、报关资料数据库、数据库备机。本发明专利技术通过收集在全球范围的商品信息，建立起适合报关及日常业务需要的商品库，为报关及业务处理提供大数据信息支撑，极大的提高了报关的效率及报关准确性，减少客户漏报、少报、错报的情况，保证了报给海关的资料的准确性，加快了清关的效率。

【技术实现步骤摘要】
一种跨境电商全球商品清关系统
本专利技术属于商品清关
，具体涉及一种跨境电商全球商品清关系统。
技术介绍
改革开发以来，随着进口贸易和互联网的快速发展，国内生活水平的提高，越来越多的人加入海淘行业，如小山包裹堆满了中国各大口岸城市的码头，从天津到青岛，从上海到宁波，从厦门到广州，一大批从国外邮寄来的商品，在满足千万家庭的需求的同时，也考验着中国的进口贸易通关处理能力。传统清关信息主要来源于客户的填写，但是他们往往忽略真实情况的复杂性：1、国家进出口政策的规范：越来越规范的国家进出口政策，决定了清关商品信息准确率必须大幅提供，比如提供准确的申报商品名称、数量以及商品的价值等。传统的申报模式已不再满足清关政策要求。2、人工录制因素提升清关效率，以及准确性一直都是清关公司的重心，但是传统的人工录单可能导致漏报、少报甚至错报的情况。3、地域环境因素受国家与国家之间语言，文化等因素的限制，传统报关信息正确性总是不如人意。同时还增加清关的工作量，导致清关实效延长。因此，如何快速清关已成为各个口岸的一大难题，由于商品的种类的繁多，以及国家安全等因素。快速清关往往取决于报关商品的准确性以及海关工作人员对实际商品与资料进行匹配的速度，如何提高报关资料的准确性以及效率已成为报关公司的一大难题。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足，提供一种能够提高清关准确性和效率的跨境电商全球商品清关系统。一种跨境电商全球商品清关系统，包括数据库及应用服务器、中国海外国际宽带接口、海外主要电商网站和海外仓库PDA商品条码扫描系统；所述中国海外国际宽带接口的一端与设置在中国机房内的数据库及应用服务器相连，另一端分别连接有海外主要电商网站和海外仓库PDA商标条码扫描系统，所述数据库及应用服务器包括中心数据库、网络爬虫应用服务器、报关资料数据库、数据库备机，其中，中心数据库与网络爬虫应用服务器为同等级的平行设备，二者的下级连接有报关资料数据库和数据库备机。作为上述技术方案的进一步描述：所述网络爬虫应用服务器的运行机制包括：(1)精选符合业务需要的种子UPL，即把网络爬虫程序抓取的对象网页的链接地址作为种子URL(结合业务需要，精选海外主要电商网站的商品展示页面)，并将这些种子URL放入待抓取URL队列中；(2)按深度优先策略读取待抓取URL，即爬虫按深度优先策略从待抓取URL队列中依次读取待抓取URL；(3)网页下载，即通过DNS解析，网页下载器将待抓取URL对应的页面内容下载到本地进行数据分析；(4)页面解析，即抓取页面上的商品信息(商品名称、商品价格、商品图片等)并储存到商品库数据库中，以及抓取页面上的新链接地址，并结合已抓取URL信息进行去重，把最终确认的新地址按深度优先策略存放到待抓取URL中；(5)商品信息智能匹对，即海外仓库使用PDA扫描商品外包装上的商品条形码，仓库系统则通过商品条码在商品库中匹对相应的商品信息，并将获取到的商品信息存储到中心数据库中，以供商品在报关时与报关资料数据库进行对比和补充。作为上述技术方案的进一步描述：所述网络爬虫应用服务器所抓取的信息还会不断进行更新和淘汰。作为上述技术方案的进一步描述：所述网络爬虫应用服务器中的爬虫系统抓取海外主要电商网站页面上的新链接地址，并结合已抓取URL信息进行去重，采用的是BloomFilter算法技术。作为上述技术方案的进一步描述：一种跨境电商全球商品清关系统还包括业务整体解决方案框架，即网络爬虫应用服务器将最终抓取到的需要业务需求的种子URL储存在中心数据库中，报关时，通过扫码器将报关商品进行录入，并将信息储存在报关资料数据库中，然后将这些信息与中心数据库中的数据进行对比，最终对采集到的报关数据进行补充，该业务整体解决方案框架保持不变，网络爬虫应用服务器还可以部署到海外。作为上述技术方案的进一步描述：结合全球数据同步系统，可以把网络爬虫抓取的数据先保存在海外数据库，再通过数据同步系统同步回国内中心数据库，实现网络爬虫的分布式处理。本专利技术通过收集在全球范围的商品信息，建立起适合报关及日常业务需要的商品库，为报关及业务处理提供大数据信息支撑，极大的提高了报关的效率及报关准确性，减少客户漏报、少报、错报的情况，保证了报给海关的资料的准确性，加快了清关的效率，以及对于违禁物品的筛选，并大幅节省报关各环节的操作成本。此外，随着商品的快速变化，系统中用的商品库会不断的进行更新，以确保商品信息的完整性、可靠性。附图说明图1为本专利技术的网络结构示意图；图2为本专利技术中的网络爬虫机制图；图3为本专利技术的业务整体解决方案框架。具体实施方式参见图1，本专利技术提供的一种跨境电商全球商品清关系统，包括数据库及应用服务器、中国海外国际宽带接口、海外主要电商网站和海外仓库PDA商品条码扫描系统；所述中国海外国际宽带接口的一端与设置在中国机房内的数据库及应用服务器相连，另一端分别连接有海外主要电商网站和海外仓库PDA商标条码扫描系统，所述数据库及应用服务器包括中心数据库、网络爬虫应用服务器、报关资料数据库、数据库备机，其中，中心数据库与网络爬虫应用服务器为同等级的平行设备，二者的下级连接有报关资料数据库和数据库备机。图2示出了网络爬虫运行的机制图，该机制原理包括：(1)精选符合业务需要的种子URL，即把网络爬虫程序抓取的对象网页的链接地址作为种子URL(结合业务需要，精选海外主要电商网站的商品展示页面)，并将这些种子URL放入待抓取URL队列中；(2)按深度优先策略读取待抓取URL，即爬虫按深度优先策略从待抓取URL队列中依次读取待抓取URL；(3)网页下载，即通过DNS解析，网页下载器将待抓取URL对应的页面内容下载到本地进行数据分析；(4)页面解析，即抓取页面上的商品信息(商品名称、商品价格、商品图片等)并储存到商品库数据库中，以及抓取页面上的新链接地址，并结合已抓取URL信息进行去重，把最终确认的新地址按深度优先策略存放到待抓取URL中；(5)商品信息智能匹对，即海外仓库使用PDA扫描商品外包装上的商品条形码，仓库系统则通过商品条码在商品库中匹对相应的商品信息，并将获取到的商品信息存储到中心数据库中，以供商品在报关时与报关资料数据库进行对比和补充。此外，爬虫系统抓取的信息还会不断进行更新和淘汰。本实施例中，爬虫系统抓取海外主要电商网站页面上的新链接地址，并结合已抓取URL信息进行去重，采用的是BloomFilter算法技术，可以有效提高抓取效率。本实施例中，一种跨境电商全球商品清关系统还包括业务整体解决方案框架，如图3，即网络爬虫应用服务器将最终抓取到的需要业务需求的种子URL储存在中心数据库中，报关时，通过扫码器将报关商品进行录入，并将信息储存在报关资料数据库中，然后将这些信息与中心数据库中的数据进行对比，最终对采集到的报关数据进行补充，该解决方案保持不变，但是把网络爬虫应用服务器部署到海外，可以很好解决因国际宽带线路所带来的速度慢和稳定性差的问题，可以极大的提高网络爬虫的工作效率。本实施例中，结合全球数据同步系统，可以把爬虫抓取的数据先保存在海外数据库，再通过数据同步系统同步回国内中心数据库，实现了爬虫分布式处理，降低了中心数据库服务器的压力，提高整个业务系统的稳定性。所述本文档来自技高网...

【技术保护点】
一种跨境电商全球商品清关系统，其特征在于，包括数据库及应用服务器、中国海外国际宽带接口、海外主要电商网站和海外仓库PDA商品条码扫描系统；所述中国海外国际宽带接口的一端与设置在中国机房内的数据库及应用服务器相连，另一端分别连接有海外主要电商网站和海外仓库PDA商标条码扫描系统，所述数据库及应用服务器包括中心数据库、网络爬虫应用服务器、报关资料数据库、数据库备机，其中，中心数据库与网络爬虫应用服务器为同等级的平行设备，二者的下级连接有报关资料数据库和数据库备机。

【技术特征摘要】
1.一种跨境电商全球商品清关系统，其特征在于，包括数据库及应用服务器、中国海外国际宽带接口、海外主要电商网站和海外仓库PDA商品条码扫描系统；所述中国海外国际宽带接口的一端与设置在中国机房内的数据库及应用服务器相连，另一端分别连接有海外主要电商网站和海外仓库PDA商标条码扫描系统，所述数据库及应用服务器包括中心数据库、网络爬虫应用服务器、报关资料数据库、数据库备机，其中，中心数据库与网络爬虫应用服务器为同等级的平行设备，二者的下级连接有报关资料数据库和数据库备机。2.根据权利要求1所述的一种跨境电商全球商品清关系统，其特征在于：所述网络爬虫应用服务器的运行机制包括：(1)精选符合业务需要的种子URL，即把网络爬虫程序抓取的对象网页的链接地址作为种子URL(结合业务需要，精选海外主要电商网站的商品展示页面)，并将这些种子URL放入待抓取URL队列中；(2)按深度优先策略读取待抓取URL，即爬虫按深度优先策略从待抓取URL队列中依次读取待抓取URL；(3)网页下载，即通过DNS解析，网页下载器将待抓取URL对应的页面内容下载到本地进行数据分析；(4)页面解析，即抓取页面上的商品信息(商品名称、商品价格、商品图片等)并储存到商品库数据库中，以及抓取页面上的新链接地址，并结合已抓取URL信息进行去重，把最终确认的新地址按深度优先策略存放到待抓取URL中...

【专利技术属性】
技术研发人员：邓豪，刘海清，
申请(专利权)人：深圳海带宝网络科技股份有限公司，
类型：发明
国别省市：广东,44