一种基于超市收银系统的分布式智能数据库数据采集方法技术方案

本发明专利技术公开了一种基于超市收银系统的分布式智能数据库数据采集方法。该方法涉及信息化领域，尤其涉及一种Windows操作系统下数据库结构化数据采集方案。所述数据采集方式，只针对于超市收银这种业务模式相似，数据结构不同但是业务模式相同的数据库进行智能采集和数据清洗。该方案包含数据库权限获取、数据库识别、数据表识别、数据字段识别、数据清洗、数据整理、数据传输和数据中央存储等操作。本采集方法的独特之处在于，针对超市收银流程所使用的错综复杂的各类系统的数据库，只需要数据库拥有者在数据所在服务器上安装我们的采集二级制文件，采集系统即可完成对本地数据库的智能数据采集，并转化成价值密度高、数据结构一致的数据传输到数据分析服务器。通过这种方式，完全解决了传统行业大数据分析工具在数据采集层面的短板，实现了针对不同数据库，不同数据结构的自动数据采集过程，极大提高了大数据分析体系的整体生产力和实现效率。

A data collection method of distributed intelligent database based on supermarket cash collection system

【技术实现步骤摘要】
一种基于超市收银系统的分布式智能数据库数据采集方法
本专利技术涉及计算机
，具体说是一种分部署数据库数据采集方法。
技术介绍
超市零售行业数据化、智能化已经是一种必然趋势，该行业在过去20年的努力中已经基本进行了信息化建设，有了一定的信息化基础。而在信息化的过程中产生了大量的价值密度高、数据量大的数据，这些数据是产业数据化最重要的基础设施。而在整个超市行业智能化进程中，对该进程影响最大、拖后腿最严重的就是数据采集部分。由于编程语言基本基于英文、计算机技术隔离严重、软件行业教育普及度低等原因，国内绝大多数传统行业从业者不具备将数据对接到BI平台的能力，这导致了整个国内数据化难度极大，想要将数据采集到数据分析平台代价极高，极大地延缓了国内数据化进程。现在整个超市行业中解决该问题的方法是人工导出数据库数据，将数据按照BI工具的数据要求进行主动处理，处理之后导入到BI工具中进行分析。整个过程存在如下弊端：1.过于依赖人工参与，极大拖后了效率和提高了成本2.数据处理过程自动化程度低，容易出错，难以满足产业化需求3.数据传输过程依赖外在设备或者传输工具，操作麻烦且不安全
技术实现思路
本专利技术就是针对以上不足，为超市零售系统提供一种操作简单，传输安全，除了安装外无需要人工参与的数据采集方法。本专利技术解决其技术问题采用的技术方案是：一种基于智能识别算法自动实现超市收银系统数据自动采集的方法。该方法包含了根据超市信息生成合适的二进制可执行文件，自动识别本地数据库，读取数据库结构和字段，智能判断符合数据分析平台所需求数据结构清晰数据，对数据库内数据进行数据整理并按照设置好的规则将之加密自动传输到数据分析平台。本专利技术所述的根据超市信息生成合适的二进制可执行文件，用于生成一个采集超市收银系统信息的二进制可执行文件。针对超市数据采集，无论多少家超市，只需要在产品服务提供网站上录入超市基本信息，服务器会根据超市基本信息生成对应二进制可执行文件，如果超市不知道自己服务器操作系统位数信息，则默认生成32位二进制可执行文件，如果用户录入具体安装电脑操作系统位数，则根据实际位数生成对应位数的二进制可执行文件。所述的二进制可执行文件只需要放置在客户服务器上，点击start.bat或者双击可执行文件运行即可，运行之后，该文件会自动执行后续采集、整理和传输工作。所述的自动识别本地数据库，目前市面上主流的超市收银系统，在服务端均基于.Net开发，数据库使用微软研发的数据库SQLServer数据库。在这个市场环境下，本专利技术所述的采集工具，可以借助Windows的管理员权限，基于超市收银系统的主流产品数据库对数据库进行识别，如果客户使用的是非主流品牌产品，则进行智能数据库识别。所述的读取数据库结构和字段，智能判断符合数据分析平台所需求数据结构清晰数据，该采集工具可以结合收银业务，对数据库表和字段进行业务匹配，在业务匹配的基础上进行数据库关系链整理，识别核心数据库表和核心字段，将之整理成标准业务表，并将该产品基本信息和数据库对应关系添加到采集工具中，未来遇到同样品牌产品和数据库特征，可直接提取数据。所述对数据库内数据进行数据整理并按照设置好的规则将之加密自动传输到数据分析平台，该采集工具识别数据库之后，会根据数据分析服务器的需求，将所有类型数据库标准化，最终汇聚成标准数据结构。而该采集工具的核心功能之一就是数据整理。数据本地整理之后，将标准的结构化数据进行本地加密，加密之后基于HTTPS协议进行加密传输，通过该方式，对数据进行了文本加密和传输加密双重安全保障，保证了数据从生产端到处理端的绝对安全。采用本专利技术技术方案，可以在一定程度上解决超市行业数据分布式采集困难的问题。附图说明下面结合附图对本专利技术进一步说明。图1为一种基于超市收银系统的分布式智能数据库采集方法的原理框图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明。本专利技术的基于超市收银系统的分布式智能数据库采集方法，基于提供采集工具的在线平台，录入采集超市的基本信息，通过平台在线编译、下载的基于golang语言研发的二进制数据抓取工具，智能识别电脑所使用的收银系统产品名称版本和数据库信息，对于非主流收银系统，智能识别数据库表、关联关系和关键字段，建立该非主流收银系统名称及版本与数据库存储规律的对应关系，将数据整理成为标准零售数据格式之后进行加密，并通过golang编译二进制可执行文件自带的webserver，通过https协议传输到制定的分析服务器。实施例1：由超市管理者或者相关人员，打开该专利技术工具自动编译平台，将超市基本信息，例如超市名称、所属企业、地理位置、收银系统名称和版本(非必要)、服务器操作系统位数(非必要)等信息录入到编译平台中，编译平台根据提供的信息，编译采集数据所需要的二进制文件。相关人员将该编译生成，以超市名称命名的二进制文件下载或者复制到收银系统安装的服务器上，双击二进制文件或者配套的start.bat批处理文件，由数据所有者授权之后，开始执行二进制文件，二进制文件立刻运行在该服务器上。二进制文件会检测本机安装的SQLServer数据库，找到收银系统所在的数据库，核对或者读取产品名称、版本和数据库表结构。如果相关信息均能对应上，则直接对数据库数据进行整理，并记录整理数据的节点，将数据库分析有效信息整理，组织成数据分析服务需要的数据结构，等待上传分析服务。如果相关信息无法读取，则需要进一步读取数据库细节，基于收银系统的通用业务所需要的数据类型，结合数据库内具体字段信息，将有效分析数据进行标记，标记之后将数据组成成分析服务需要的数据结构等待上传。同时，在这个基础上，将该数据库的全体数据结构和样例数据、产品名称和版本、数据库核心信息组织备份，等待上传。将组织好的数据进行加密，加密之后再通过https协议上传到分析服务器，进入服务器之后该工具将数据存储到分析服务器的数据库中，等待服务器进行数据分析。通过上面具体实施方式，所有超市人员都可以容易的实现本专利技术。超市行业经营者用户不需要任何大数据相关知识，就可以完成大数据分析中最为麻烦的一个环节——数据采集环节，从而让传统行业的数据化升级效率大大提升。本文档来自技高网...

【技术保护点】
1.一种基于超市收银系统的分布式数据采集方法，包括一套数据库智能识别算法、一套数据标准结构化处理方法和一套基于golang语言开发，利用语言自身的web server，通过https协议进行数据传输的方法。其特征在于，该采集方法可以适配所有Windows操作系统下的超市收银系统的数据库采集而不需要依赖于其他人工干预。

【技术特征摘要】
1.一种基于超市收银系统的分布式数据采集方法，包括一套数据库智能识别算法、一套数据标准结构化处理方法和一套基于golang语言开发，利用语言自身的webserver，通过https协议进行数据传输的方法。其特征在于，该采集方法可以适配所有Windows操作系统下的超市收银系统的数据库采集而不需要依赖于其他人工干预。2.根于权利要求1所述的一套数据库智能识别算法，其特征在于传统数据库表和字段的识别一般只能依赖于人工识别，而所述算法基于超市收银系统的数据特征和核心业务特征能够依赖于机器学习的方式进行识别。3.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：周凯凯，孙辉，
申请(专利权)人：苏州企智信息科技有限公司，
类型：发明
国别省市：江苏,32