【技术实现步骤摘要】
本公开的实施例涉及大数据处理，具体地，涉及一种分布式交通流文件数据存储系统及方法。
技术介绍
1、目前，城市交通正面临着安全、拥堵、环境污染这三大难题。随着云计算、人工智能、大数据等新兴技术的发展，城市交通也进入了智能化的阶段。而智能化的实现需要利用各种技术获取有价值的数据资源，为城市管理者提供决策依据。交通大数据为交通决策与服务带来了新的解决思路和方法。
2、城市智能交通的分析对象是整个交通路网行为主体，这就导致了其海量数据的固有特性。交通数据产生速度快、动态性强、数据类型多样、数据规模庞大、关联性强，因此，如何合理的存储和处理这些海量数据成为交通行业研究的重点。
技术实现思路
1、本文中描述的实施例提供了一种分布式交通流文件数据存储系统及方法，旨在对海量的交通数据提供可行性的存储访问方案。
2、根据本公开的第一方面，提供了一种分布式交通流文件数据存储系统，包括：nginx代理服务集群、应用服务器集群、fastdfs集群以及服务监测平台；其中，所述fastdfs集群包括storage服务以及tracker服务，并且在所述fastdfs集群中部署有多个nginx服务器；
3、所述nginx代理服务集群被配置为接收输入的对交通流数据进行读写的读写操作请求，并将所述读写操作请求分发至所述应用服务器集群；
4、所述应用服务器集群被配置为将所述读写操作请求发送至所述fastdfs集群；
5、所述fastdfs集群被配置为基于所述读
6、所述服务监测平台被配置为监测所述fastdfs集群的运行情况。
7、可选地，所述storage服务中的group组内有至少两个存储服务节点，每个存储服务节点用于存储相同的交通流数据。
8、可选地，所述storage服务中的group组与nginx服务器的数量相同，每个nginx服务器对应一个group组，各个group组之间不进行相互通信，且被配置为存储不同的交通流数据。
9、可选地，所述nginx服务器被配置为接收所述应用服务器集群发送的读操作请求之后，随机将所述读操作请求发送至所述多个存储服务节点中的第一存储服务节点进行数据读取；在监测到所述第一存储服务节点上存储的交通流数据未完成数据同步时，所述nginx服务器被配置为将所述读操作请求重定向至第二存储服务节点，所述第一存储服务节点以及所述第二存储服务节点在同一group组内。
10、可选地，所述服务监测平台包括：对storage服务的各个group组进行性能监控的性能监控模块、对storage服务的各个group组进行流量监控的流量监控模块以及对storage服务的各个group组进行容量监控的容量监控模块。
11、可选地，所述性能监控模块被配置为对包括以下任意一种或任意组合的信息进行监控：各个group组中存储服务器节点的状态、cpu使用率、内存使用率、硬盘总容量、硬盘剩余容量；
12、所述流量监控模块被配置为对各个group组的上传流量和/或下载流量情况进行监控；
13、所述容量监控模块被配置为对以下任意一种或任意组合的信息进行监控：各个group组的硬盘总容量、硬盘容量使用比率、硬盘容量剩余比率。
14、根据本公开的第二方面，提供了一种分布式交通流文件数据存储方法，应用于根据上述任一种所述的分布式交通流文件数据存储系统，所述方法包括：
15、nginx代理服务集群接收输入的对交通流数据进行读取的读操作请求，并将所述读操作请求分发至所述应用服务器集群；
16、所述应用服务器集群将所述读操作请求发送至所述fastdfs集群的nginx服务器；
17、所述nginx服务器将所述读操作请求分发至storage服务对应的group组，以使所述group组根据所述读操作请求返回对应的交通流数据。
18、可选地，所述nginx服务器将所述读操作请求分发至storage服务对应的group组，以使所述group组根据所述读操作请求返回对应的交通流数据包括：
19、所述nginx服务器随机将所述读操作请求发送至所述多个存储服务节点中的第一存储服务节点进行数据读取；
20、在监测到所述第一存储服务节点上存储的交通流数据未完成数据同步时，所述nginx服务器将所述读操作请求重定向至第二存储服务节点；所述第一存储服务节点以及所述第二存储服务节点在同一group组内；
21、所述第二存储服务节点根据所述读操作请求返回对应的交通流数据。
22、根据本公开的第三方面，提供了一种分布式交通流文件数据存储方法，应用于根据上述任一种所述的分布式交通流文件数据存储系统，所述方法包括：
23、nginx代理服务集群接收输入的对交通流数据进行写入的写操作请求，并将所述写操作请求分发至所述应用服务器集群；
24、所述应用服务器集群将所述写操作请求发送至所述fastdfs集群的tracker服务；
25、所述tracker服务将storage服务信息返回至所述应用服务器集群，以使所述应用服务器集群根据所述storage服务信息，将待写入的交通流数据发送至所述storage服务；
26、所述storage服务对所述待写入的交通流数据进行数据存储。
27、可选地，所述tracker服务将storage服务信息返回至所述应用服务器包括：
28、所述tracker服务将数据存储地址返回至所述应用服务器；其中，所述数据存储地址的格式为数组，所述数据存储地址包括group组名称和文件名称。
29、本申请所提供的分布式交通流文件数据存储系统，通过nginx代理服务集群接收输入的对交通流数据进行读写的读写操作请求，并将读写操作请求分发至应用服务器集群；该应用服务器集群被配置为将所述读写操作请求发送至所述fastdfs集群；所述fastdfs集群基于所述读写操作请求提供对应的读写操作。本申请对通用的fastdfs集群做了适应性的改进，增加部署了nginx集群，提高了fastdfs集群存储的吞吐量和响应速度，弥补fastdfs的i/o使用率不高的缺陷，增强了系统并发处理能力。并且，本申请还设置了服务监测平台，通过对fastdfs集群的运行情况进行监测，有效阻止海量数据读本文档来自技高网...
【技术保护点】
1.一种分布式交通流文件数据存储系统，其特征在于，包括：Nginx代理服务集群、应用服务器集群、FastDFS集群以及服务监测平台；其中，所述FastDFS集群包括Storage服务以及Tracker服务，并且在所述FastDFS集群中部署有多个Nginx服务器；
2.根据权利要求1所述的分布式交通流文件数据存储系统，其特征在于，所述Storage服务中的Group组内有至少两个存储服务节点，每个存储服务节点用于存储相同的交通流数据。
3.根据权利要求2所述的分布式交通流文件数据存储系统，其特征在于，所述Storage服务中的Group组与Nginx服务器的数量相同，每个Nginx服务器对应一个Group组，各个Group组之间不进行相互通信，且被配置为存储不同的交通流数据。
4.根据权利要求3所述的分布式交通流文件数据存储系统，其特征在于，所述Nginx服务器被配置为接收所述应用服务器集群发送的读操作请求之后，随机将所述读操作请求发送至所述多个存储服务节点中的第一存储服务节点进行数据读取；在监测到所述第一存储服务节点上存储的交通流数据未完成数
5.根据权利要求1至4任一项所述的分布式交通流文件数据存储系统，其特征在于，所述服务监测平台包括：对Storage服务的各个Group组进行性能监控的性能监控模块、对Storage服务的各个Group组进行流量监控的流量监控模块以及对Storage服务的各个Group组进行容量监控的容量监控模块。
6.根据权利要求5所述的分布式交通流文件数据存储系统，其特征在于，所述性能监控模块被配置为对包括以下任意一种或任意组合的信息进行监控：各个Group组中存储服务器节点的状态、CPU使用率、内存使用率、硬盘总容量、硬盘剩余容量；
7.一种分布式交通流文件数据存储方法，其特征在于，应用于根据权利要求1至6任一项所述的分布式交通流文件数据存储系统，所述方法包括：
8.根据权利要求7所述的分布式交通流文件数据存储方法，其特征在于，所述Nginx服务器将所述读操作请求分发至Storage服务对应的Group组，以使所述Group组根据所述读操作请求返回对应的交通流数据包括：
9.一种分布式交通流文件数据存储方法，其特征在于，应用于根据权利要求1至6任一项所述的对交通流数据进行存储的系统，所述方法包括：
10.根据权利要求9所述的分布式交通流文件数据存储方法，其特征在于，所述Tracker服务将Storage服务信息返回至所述应用服务器包括：
...【技术特征摘要】
1.一种分布式交通流文件数据存储系统，其特征在于，包括：nginx代理服务集群、应用服务器集群、fastdfs集群以及服务监测平台；其中，所述fastdfs集群包括storage服务以及tracker服务，并且在所述fastdfs集群中部署有多个nginx服务器；
2.根据权利要求1所述的分布式交通流文件数据存储系统，其特征在于，所述storage服务中的group组内有至少两个存储服务节点，每个存储服务节点用于存储相同的交通流数据。
3.根据权利要求2所述的分布式交通流文件数据存储系统，其特征在于，所述storage服务中的group组与nginx服务器的数量相同，每个nginx服务器对应一个group组，各个group组之间不进行相互通信，且被配置为存储不同的交通流数据。
4.根据权利要求3所述的分布式交通流文件数据存储系统，其特征在于，所述nginx服务器被配置为接收所述应用服务器集群发送的读操作请求之后，随机将所述读操作请求发送至所述多个存储服务节点中的第一存储服务节点进行数据读取；在监测到所述第一存储服务节点上存储的交通流数据未完成数据同步时，所述nginx服务器被配置为将所述读操作请求重定向至第二存储服务节点，所述第一存储服务节点以及所述第二存储服务节点在同一group组内。
5.根据权利要求1至4任...
【专利技术属性】
技术研发人员：袁娟，陆阳，何旭琴，
申请(专利权)人：富盛科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。