一种基于MongoDB的证券实时交易关联分析的方法技术

本发明专利技术涉及软件信息的大数据处理分析领域，是一种基于MongoDB对证券实时交易数据进行存储并进行实时分析的方法。本发明专利技术方法包括：搭建一个独立的MongoDB或由多个MongoDB形成的集群；获取各个证券的详细信息；设计一个永久存储表和一个在半个小时内有效的临时存储表；设置间隔获取时间，前述的间隔点上获取实时证券数据，并经过去重处理，把获取的实时数据分别存储到永久表及临时表上；通过查询临时表的数据，分析获取在多种时间段内的各证券的表现形式，对于各时间段内同时出现的各种异常，输出相应的异动类型与证券编码，形成实时的证券实时关联分析。本发明专利技术方法解决大数据量的数据分析过程中存储时查询效率低、响应速度慢的缺点，提高客户的操作及时性。

A method of securities real time transaction correlation analysis based on MongoDB

The invention relates to the field of large data processing and analysis of software information, and is a method for storing and performing real-time analysis of securities real-time transaction data based on MongoDB. The method of the invention includes: to set up a separate MongoDB or MongoDB is formed by a plurality of clusters; to obtain detailed information of various securities; design a permanent storage table and a temporary storage effectively within half an hour in the table; set the interval to obtain real-time data acquisition time, the securities interval point, and after to processing, the real-time data acquisition are stored to permanent and temporary table table; by querying the temporary table data acquisition, analysis the manifestation of securities in a variety of period of time, for each period of time, at the same time, the abnormal output, transaction types and the corresponding encoding securities analysis, real-time correlation real time stock. The method of the invention solves the problems of low inquiry efficiency and slow response speed in storing data during large data quantity analysis, and improves the operation timeliness of the clients.

【技术实现步骤摘要】
一种基于MongoDB的证券实时交易关联分析的方法
本专利技术涉及软件信息的大数据处理分析领域，是一种基于MongoDB对证券实时交易数据进行存储并进行实时分析的方法。
技术介绍
证券市场的实时交易信息，具有信息多、数量大、交易频繁的特点，在这频繁的交易中存在着很多的交易联动信息，对于在市场中进行短期交易的人来说，各证券信息的关联联动有着很好的参考价值，越快知道证券交易过程是的关联信息，在瞬息万变的证券市场中，越能快速地获取买卖的判断，从而在市场中获利，但人的获取信息量的途径的限，很难在短时间内获取大量的异动信息，以中国证券市场的A股为例，截止2016年11月大概有3000只股票，每天有4个小时的交易时间，按每3秒钟获取一次交易信息，一天就大概有4.5G的数据量，这么大的数据量，基本有很多是没有异动或是没有关联的自然运动，可大量过滤掉，但人无法一下子及时处理这么多的数据，通过本方法，可能借助计算机的自动处理的能力，帮助交易人员从大量的交易信息中获取有用的关联异动信息。证券实时分析具有数据量大、实时性要求高的特点，对于传统的关系型数据库进行数据的存取，当数据量大时在性能上远远达不到要求，从而无法满足实时性的情况。
技术实现思路
本专利技术解决的技术问题在于提供一种基于MongoDB的证券实时交易关联分析的方法，解决大数据量的数据分析过程中采用传统关系型存储时查询效率低、响应速度慢的缺点，并从多线程的角度，实现在大量的证券数据在短时间内进行获取并进行分析。本专利技术解决上述技术问题的技术方案是，所述的方法包括以下几个步骤：步骤1：将MongoDB(一个基于分布式文件存储的数据库)当作一个高效的数据存取空间，搭建一个独立的MongoDB或由多个MongoDB形成的集群用于证券实时数据获取后高效的存取操作；步骤2：获取各个证券的详细信息，用于进行证券数据实时获取与进行分析时使用；步骤3：设计一个永久存储表，每次获取的数据存储在该表，用于后续的数据确认分析；同时设计一个在半个小时内有效的临时存储表，用于进行短时间内的各关联分析的数据获取；步骤4：设置间隔获取时间，前述的间隔点上获取实时证券数据，并经过去重处理，把获取的实时数据分别存储到永久存储表及临时存储表上；步骤5：通过查询临时存储表上的数据，分析获取在多种时间段内的各证券的表现形式，对于各时间段内同时出现的各种异常，输出相应的异动类型与证券编码，形成实时的证券实时关联分析，用于进行证券交易的指导参考。所述的存取操作，包括：搭建独立的MongoDB或MongoDB集群，存储证券实时数据获取下来后的历史数据与临时数据，对于历史数据大的，搭建MongoDB集群，并对历史数据按日期进行分区读取。所述的详细信息，包括编码(前缀)、名称、股本、大股东占比等信息。所述步骤3，具体步骤为：步骤一：在MongoDB上设计一个永久存储表，用于存储不断累积的证券实时交易的历史数据，按日期时间进行分区，并设计存储在不同的数据存储空间上；对于部署在集群，可增加证券编码的哈希存储，通过证券编码将不同的证券数据哈希存储在多台服务器上；步骤二：对于实时的证券数据分析，在MongoDB上设计一个临时存储表，用于存储半个小时内的证券数据，利用MongoDB的TTL索引，在一个时间列上建立一个TTL索引，在临时表上设置半个小时时间，该时间点自动删除临时表的数据。所述的步骤4，具体步骤为：步骤一：在获取相关的证券编写及前缀基础上调用证券实时数据接口，所有的证券数据，按已有的详细数据，完成实时数据调用的初始化，运行证券数据实时获取程序，通过线程并发的形式把数据发送到接口上获取数据；步骤二：多线程获取的证券实时数据，包括当天的开盘价、最高价、最低价、实时价、成交量、成交额、买五档的数量及价格、卖五档的数量及价格，各获取数据的线程在获取了各个证券的实时信息后，进行解析，同时查询获取的实时信息是否与最近的一次获取的信息是相同的，相同表示已经存在的，不再进行保存；步骤三：经过去重后的证券实时数据，分别保存在永久存储表与临时存储表，用于后续的历史查询与实时关联分析；所述的证券实时数据获取的间隔获取时间可配置为每3秒或5秒获取一次，对于获取频率高的数据，存储和系统的处理需高要求。所述实现证券实时交易异动关联分析，具体步骤为：步骤一：把所有证券数据分为多线程，在各线程上进行多种时间段、多种异动类型的分析，把分析的结果出现异动的信息，汇总到统一的展示区进行统一的展示；步骤二：在划分了证券的各个线程内，在临时表上统一获取各证券的当前交易信息，并分别获取多种时间段内的实时交易信息，分别进行上涨幅度、下跌幅度、封涨停板、封跌停板、成交换手等的分析，把在各时间段内的各种异常程度大的按顺序进行排序并把排名前几位的输出到统一的收集程序上；步骤三：各线程对在特定的时间间隔内的异动信息输出到统一的收集程序上，收集程序汇总所有线程的数据，包括异动类型与证券编码，再进行统一的排序，再按排序顺序，分别获取在各时间间隔内，关联的上涨、下跌、封涨停板、封跌停板、极速换手等信息，统一输入到展示区，从而实现在各个时间间隔的各证券的关联分析；步骤四：对于多种时间段，可按需要进行用户自定义配置；各种异常的类型，可后续进行增加；各种异常的涨幅、跌幅、换手率等，可按需要进行用户的自定义配置；各参数的配置可按行情的具体情况进行修改并设置为最优的设置。所述的各种异常，可配置为：快速上涨、快速下跌、封涨停板、封跌停板、成交快速放大。所述的多种时间段，可配置为：前30秒、前1分钟、前2分钟、前5分钟、前10分钟、前15分钟。所述的获取实时的数据与进行关联的分析，是指两种各自运行的程序，在间隔获取数据的3秒或5秒钟的时间内完成，对于数量多的证券数据，分别进行多线程的数据获取与分析，并且对于所有证券数据的分线程，当每个线程分得的证券数量多时可通过分多个线程进行实现。所述的方法，还可包括步骤6：证券实时交易数据保存在永久表上后，在后续进行翻盘分析，可分析更大时间间隔内的证券实时交易关联关系，按一定的模型可分析最近几天或更长时间的行情信息，可作为更大范围的证券交易关联分析。本专利技术的有益效果如下：1、本专利技术的方法利用MongoDB的高效存储及丰富的查询支持、较多类型的索引支持的功能，把MongoDB当作一个高效的数据存取空间，用于通过证券实时交易数据的存储与分析获取，解决大数据量的数据分析过程中采用传统关系型存储时查询效率低、响应速度慢的缺点，并从多线程的角度，实现在大量的证券数据在短时间内进行获取并进行分析，得出结果的过程，为瞬息万变的证券交易，从中及时获取异动的信息，提供了一种高效的方法。2、本专利技术的方法选用MongoDB是基于MongoDB是NoSQL型的数据库，是一个基于内存、将热数据存在物理内存中从而达到调整读写的数据物理方式的数据库，而且其TTL索引可以很快速地进行数据超过时间后的删除，为实时分析是进行了过时数据的高效管理，具有很好的大数据处理性能，从而进行高效的证券实时交易关联分析，为在大数据量的证券交易过程中，从中获取突发的异动信息，为交易人员提供一种高效的关联异动分析的方法，为客户进行证券交易的判断，发现其中的交易机会。附图说明下面结合附图对本专利技术进一本文档来自技高网...

【技术保护点】
一种基于MongoDB的证券实时交易关联分析的方法，其特征在于，包括以下步骤：步骤1：将MongoDB当作一个高效的数据存取空间，搭建一个独立的MongoDB或由多个MongoDB形成的集群用于证券实时数据获取后高效的存取操作；步骤2：获取各个证券的详细信息，用于进行证券数据实时获取与进行分析时使用；步骤3：设计一个永久存储表，每次获取的数据存储在该表，用于后续的数据确认分析；同时设计一个在半个小时内有效的临时存储表，用于进行短时间内的各关联分析的数据获取；步骤4：设置间隔获取时间，前述的间隔点上获取实时证券数据，并经过去重处理，把获取的实时数据分别存储到永久存储表及临时存储表上；步骤5：通过查询临时存储表上的数据，分析获取在多种时间段内的各证券的表现形式，对于各时间段内同时出现的各种异常，输出相应的异动类型与证券编码，形成实时的证券实时关联分析，用于进行证券交易的指导参考。

【技术特征摘要】
1.一种基于MongoDB的证券实时交易关联分析的方法，其特征在于，包括以下步骤：步骤1：将MongoDB当作一个高效的数据存取空间，搭建一个独立的MongoDB或由多个MongoDB形成的集群用于证券实时数据获取后高效的存取操作；步骤2：获取各个证券的详细信息，用于进行证券数据实时获取与进行分析时使用；步骤3：设计一个永久存储表，每次获取的数据存储在该表，用于后续的数据确认分析；同时设计一个在半个小时内有效的临时存储表，用于进行短时间内的各关联分析的数据获取；步骤4：设置间隔获取时间，前述的间隔点上获取实时证券数据，并经过去重处理，把获取的实时数据分别存储到永久存储表及临时存储表上；步骤5：通过查询临时存储表上的数据，分析获取在多种时间段内的各证券的表现形式，对于各时间段内同时出现的各种异常，输出相应的异动类型与证券编码，形成实时的证券实时关联分析，用于进行证券交易的指导参考。2.根据权利要求1所述的方法，其特征在于，所述的存取操作，包括：存储并读取其历史数据与临时数据，对于历史数据大的，搭建MongoDB集群，并对历史数据按日期进行分区读取；所述的详细信息，包括编码、名称、股本、大股东占比等信息。3.根据权利要求1所述的方法，其特征在于，所述步骤3，具体步骤为：步骤一：在MongoDB上设计一个永久存储表，用于存储不断累积的证券实时交易的历史数据，按日期时间进行分区，并设计存储在不同的数据存储空间上；对于部署在集群，可增加证券编码的哈希存储，通过证券编码将不同的证券数据哈希存储在多台服务器上；步骤二：对于实时的证券数据分析，在MongoDB上设计一个临时存储表，用于存储半个小时内的证券数据，利用MongoDB的TTL索引，在一个时间列上建立一个TTL索引，在临时表上设置半个小时时间，该时间点自动删除临时表的数据。4.根据权利要求2所述的方法，其特征在于，所述步骤3，具体步骤为：步骤一：在MongoDB上设计一个永久存储表，用于存储不断累积的证券实时交易的历史数据，按日期时间进行分区，并设计存储在不同的数据存储空间上；对于部署在集群，可增加证券编码的哈希存储，通过证券编码将不同的证券数据哈希存储在多台服务器上；步骤二：对于实时的证券数据分析，在MongoDB上设计一个临时存储表，用于存储半个小时内的证券数据，利用MongoDB的TTL索引，在一个时间列上建立一个TTL索引，在临时表上设置半个小时时间，该时间点自动删除临时表的数据。5.根据权利要求1-4任一项所述的方法，其特征在于，所述的步骤4，具体步骤为：步骤一：在获取相关的证券编写及前缀基础上调用证券实时数据接口，所有的证券数据，按已有的详细数据，完成实时数据调用的初始化，运行证券数据实时获取程序，通过线程并发的形式把数据发送到接口上获取数据；步骤二：多线程获取的证券实时数据，包括当天的开盘价、最高价、最低价、实时价、成交量、成交额、买五档的数量及价格、卖五档的数量及价格，各获取数据的线程在获取了各个证券的实时信息后，进行解析，同时查询获取的实时信息是否与最近的一次获取的信息是相同的，相同表示已经存在的，不再进行保存；步骤三：经过去重后的证券实时数据，分别保存在永久存储表与临时存储表，用于后续的历史查询与实时关联分析；所述的证券实时数据获取的间隔获取时间可配置为每3秒或5秒获取一次，对于获取频率高的数据，存储和系统的处理需高要求。6.根据权利要求1-4任一项所述的方法，其特征在于，所述的步骤5，具体步骤为：步骤一：把所有证券数据分为多线程，在各线程上进行多种时间段、多种异动类型的分析，把分析的结果出现异动的信息，汇总到统一的展示区进行统一的展示；步骤二：在划分了证券的各个线程内，在临时表上统一获取各证券的当前交易信息，并分别获取多种时间段内的实时交易信息，分别进行上涨幅度...

【专利技术属性】
技术研发人员：郑锐韬，李勇波，孙傲冰，季统凯，张恒，
申请(专利权)人：国云科技股份有限公司，
类型：发明
国别省市：广东,44