一种基于ApacheHadoop的分布式流体动力学计算方法技术

本发明专利技术公开了一种基于Apache Hadoop的分布式流体动力学计算方法，包括如下步骤：接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于Hadoop平台分布式文件系统；对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于HBase分布式数据库；基于Hadoop运行预设的异常数据滤除模型实现节点数据的预处理；基于Hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集。本发明专利技术基于Hadoop实现了流域节点数据的分布式计算分析，可以及时发现流域数据计算中存在的异常情况，实时性好、准确率高，同时，对数据进行一定的处理，以保证数据在使用、传输和开放过程中的安全。的安全。的安全。

【技术实现步骤摘要】
一种基于Apache Hadoop的分布式流体动力学计算方法


[0001]本专利技术涉及流体动力学
，尤其涉及一种基于Apache Hadoop的分布式流体动力学计算方法。

技术介绍

[0002]随着计算机技术及大规模并行计算技术的迅猛发展，计算流体力学已经成为一种常用的流体力学研究方法，在科学研究和工程应用领域具有非常广泛的应用。然而，流体数据异常情况影响计算过程，流体流动现象非常复杂，求解流体流动的控制方程难度较高，流体流场细节不足以满足相关的计算要求，计算效率不高。

技术实现思路

[0003]基于
技术介绍
存在的技术问题，本专利技术提出了一种基于Apache Hadoop的分布式流体动力学计算方法。
[0004]本专利技术提出的一种基于Apache Hadoop的分布式流体动力学计算方法，包括如下步骤：
[0005]S1接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于Hadoop平台分布式文件系统；
[0006]S2对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于HBase分布式数据库；
[0007]S3基于Hadoop运行预设的异常数据滤除模型实现节点数据的预处理；
[0008]S4基于Hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；
[0009]S5基于Hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果；
[0010]S6构建流体计算区域的物理数学模型，物理数学模型包括全耦合的流体力学控制方程、固体力学控制方程、网格移动方程及流固界面方程；
[0011]S7对物理数学模型进行计算，以获得最终流体参数。
[0012]优选的，所述步骤S1接收特定流域节点所产生的流体数据，对接收特定流域节点所产生的流体数据进行汇总。
[0013]优选的，所述步骤S3预处理用于生成数据加工处理程序。
[0014]优选的，所述步骤S3异常数据滤除模型采用无限深度神经网络模型，所述异常数据为亢余数据、冲突数据，节点数据分类采用Bi
‑
LSTM+Attention模型。
[0015]优选的，所述步骤S5基于Hadoop运行预设的分析报告编制算法生成对应的分析报告。
[0016]优选的，所述步骤S4根据数据结构进行数据类型划分，根据数据类型进行匿名化数据分组。
[0017]优选的，所述对结构化数据的匿名化数据组进行数据预处理，对数据的关键内容进行泛化处理。
[0018]优选的，所述步骤S7对物理数学模型进行计算包括：对物理数学模型进行迭代收敛计算，同时获得流体计算区域的流体参数及网格变化参数，并根据网格变化参数更新计算区域。
[0019]本专利技术中，所述一种基于Apache Hadoop的分布式流体动力学计算方法，基于Hadoop实现了流域节点数据的分布式计算分析，可以及时发现流域数据计算中存在的异常情况，实时性好、准确率高，同时，对数据进行一定的处理，以保证数据在使用、传输和开放过程中的安全。
附图说明
[0020]图1为本专利技术提出的一种基于Apache Hadoop的分布式流体动力学计算方法的流程图。
具体实施方式
[0021]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0022]参照图1，一种基于Apache Hadoop的分布式流体动力学计算方法，包括如下步骤：
[0023]S1接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于Hadoop平台分布式文件系统；
[0024]S2对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于HBase分布式数据库；
[0025]S3基于Hadoop运行预设的异常数据滤除模型实现节点数据的预处理；
[0026]S4基于Hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；
[0027]S5基于Hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果；
[0028]S6构建流体计算区域的物理数学模型，物理数学模型包括全耦合的流体力学控制方程、固体力学控制方程、网格移动方程及流固界面方程；
[0029]S7对物理数学模型进行计算，以获得最终流体参数。
[0030]本专利技术中，步骤S1接收特定流域节点所产生的流体数据，对接收特定流域节点所产生的流体数据进行汇总。
[0031]本专利技术中，步骤S3预处理用于生成数据加工处理程序。
[0032]本专利技术中，步骤S3异常数据滤除模型采用无限深度神经网络模型，异常数据为亢余数据、冲突数据，节点数据分类采用Bi
‑
LSTM+Attention模型。
[0033]本专利技术中，步骤S5基于Hadoop运行预设的分析报告编制算法生成对应的分析报告。
[0034]本专利技术中，步骤S4根据数据结构进行数据类型划分，根据数据类型进行匿名化数据分组。
[0035]本专利技术中，对结构化数据的匿名化数据组进行数据预处理，对数据的关键内容进行泛化处理。
[0036]本专利技术中，步骤S7对物理数学模型进行计算包括：对物理数学模型进行迭代收敛计算，同时获得流体计算区域的流体参数及网格变化参数，并根据网格变化参数更新计算区域。
[0037]本专利技术：接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于Hadoop平台分布式文件系统；对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于HBase分布式数据库；基于Hadoop运行预设的异常数据滤除模型实现节点数据的预处理；基于Hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；基于Hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果；构建流体计算区域的物理数学模型，物理数学模型包括全耦合的流体力学控制方程、固体力学控制方程、网格移动方程及流固界面方程；对物理数学模型进行计算，以获得最终流体参数。
[0038]以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Apache Hadoop的分布式流体动力学计算方法，其特征在于，包括如下步骤：S1接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于Hadoop平台分布式文件系统；S2对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于HBase分布式数据库；S3基于Hadoop运行预设的异常数据滤除模型实现节点数据的预处理；S4基于Hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；S5基于Hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果；S6构建流体计算区域的物理数学模型，物理数学模型包括全耦合的流体力学控制方程、固体力学控制方程、网格移动方程及流固界面方程；S7对物理数学模型进行计算，以获得最终流体参数。2.根据权利要求1所述的一种基于Apache Hadoop的分布式流体动力学计算方法，其特征在于，所述步骤S1接收特定流域节点所产生的流体数据，对接收特定流域节点所产生的流体数据进行汇总。3.根据权利要求1所述的一种基于Apache Hadoop的分布式流体动力学计算方法，其特征在于，所述步骤S3预处理用于生成数据加工处理程序...

【专利技术属性】
技术研发人员：任南琪，王爱杰，王旭，路璐，冯骁驰，
申请(专利权)人：澜途集思生态科技集团有限公司，
类型：发明
国别省市：