一种基于分布式并行架构对流数据进行查询的方法和设备技术

本发明专利技术公开了一种基于分布式并行架构对流数据进行查询的方法和设备，应用于包括多个分布式并行连接的计算节点的内存系统中，该方法包括：接收用户发出的数据查询请求；根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定查询结果，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述流数据进行接收与累积的窗口；向所述用户返回所述查询结果；其中，单个所述计算节点中可运行一个或多个所述流连接进程，从而可在满足兼容性的基础上快速准确的对流数据进行查询，提高了用户体验。

【技术实现步骤摘要】
一种基于分布式并行架构对流数据进行查询的方法和设备
本申请涉及实时流数据处理领域，更具体地，涉及一种基于分布式并行架构对流数据进行查询的方法和设备。
技术介绍
流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合，应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。现有技术中对流数据的查询方式一般采用单机方式，主要存在以下问题，首先，受到单机设备的影响，其计算、网络等资源扩充十分困难，扩展能力有限，不能够为大规模流数据的处理提供强大的性能支撑，架构灵活性较差，瓶颈明显，容易造成资源浪费和匮乏。其次，单机处理的数据量一般较小，无法满足大数据时代快速增长的流数据处理要求。再次，与单机捆绑性较强，不支持当前市场主流的分布式硬件平台，兼容性较弱。最后，综合架构、资源、处理方式等因素，单机在处理一定数据量的流数据时，会存在较大的延迟，时效性较差。另外，受单机限制，基于这种方式或系统建设的平台的建设成本和后期扩容的成本也十分高昂。因此，如何在满足兼容性的基础上本文档来自技高网...

【技术保护点】
1.一种基于分布式并行架构对流数据进行查询的方法，应用于包括多个分布式并行连接的计算节点的内存系统中，其特征在于，所述方法包括：/n接收用户发出的数据查询请求；/n根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定查询结果，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述流数据进行接收与累积的窗口；/n向所述用户返回所述查询结果；/n其中，单个所述计算节点中可运行一个或多个所述流连接进程。/n

【技术特征摘要】
1.一种基于分布式并行架构对流数据进行查询的方法，应用于包括多个分布式并行连接的计算节点的内存系统中，其特征在于，所述方法包括：
接收用户发出的数据查询请求；
根据所述数据查询请求从流数据的流处理进程中的事件窗口中确定查询结果，所述流处理进程具体为流适配进程和流连接进程，所述事件窗口为所述流连接进程中对所述流数据进行接收与累积的窗口；
向所述用户返回所述查询结果；
其中，单个所述计算节点中可运行一个或多个所述流连接进程。


2.如权利要求1所述的方法，其特征在于，在接收所述用户发出的数据查询请求之前，还包括：
基于监听流数据事件获取包含所述流数据的数量的通知，所述流数据事件是当所述流数据进入所述内存系统时触发的；
根据所述通知建立与所述数量匹配的所述流适配进程和所述流连接进程；
基于所述流适配进程将所述流数据按预设格式写入预设命名管道，所述流适配进程与所述预设命名管道一一对应；
基于所述事件窗口对所述命名管道中的流数据进行接收与累积，所述事件窗口是与所述流连接进程同步建立的。


3.如权利要求2所述的方法，其特征在于，根据所述通知建立与所述数量匹配的所述流适配进程和所述流连接进程，具体为：
根据所述通知确定与所述数量匹配的计算资源；
根据所述计算资源确定所述计算节点的个数；
基于所述个数和所述数量建立所述流适配进程和所述流连接进程。


4.如权利要求3所述的方法，其特征在于，基于所述个数和所述数量建立所述流适配进程和所述流连接进程，具体为：
当单个所述计算节点中可运行一个所述流连接进程时，建立所述个数的所述流适配进程和所述个数的所述流连接进程，或建立所述数量的所述流适配进程和所述个数的所述流连接进程；
当单个所述计算节点中可运行多个所述流连接进程时，建立所述数量的所述流适配进程和所述数量的所述流连接进程。


5.如权利要求2所述的方法，其特征在于，所述预设格式为逗号分隔值CSV格式，所述命名管道为Linux命名管道，在向所述用户返回所述查询结果之后，还包括：
将所述查询结果中的数据进行删除或存储；
当不存在进入所述系统的流数据时，关闭所述事件窗...

【专利技术属性】
技术研发人员：刘睿民，
申请(专利权)人：威讯柏睿数据科技北京有限公司，
类型：发明
国别省市：北京;11