【技术实现步骤摘要】
本专利技术涉及计算机机器学习领域，具体地，涉及一种数据处理方法、流体视觉直觉学习数据采集与实验系统。
技术介绍
1、流体力学研究是科学与工程领域的重要分支，其涉及流体的运动、力学特性以及流体与固体的相互作用等问题。在过去的流体力学研究中，传统的数值模拟方法和实验验证一直是主要手段。然而，传统的数值模拟方法往往受到模型假设和计算复杂性的限制，导致模拟结果与实际观测之间存在一定的差异。而实验验证的过程通常需要昂贵的设备和大量的时间成本，且受到环境条件的限制。
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种数据处理方法、流体视觉直觉学习数据采集与实验系统。
2、根据本专利技术的一个方面，提供一种视觉数据处理方法，包括：
3、获取视觉图像数据；
4、通过神经辐射场技术，对所述视觉图像数据进行流体表面多视图3d重构，推断流体内部动力学模型，并反演流体属性；
5、根据所述流体内部动力学模型和所述流体属性，进行仿真模拟。
6、优选地，所述流体内部动力学模型以多视角图片作为输入，通过神经辐射场技术提取流体粒子，并通过基于流体粒子的推理输出后续时刻的流体状态；所述流体内部动力学模型内部包括渲染器和深度学习流体模拟接口模块，所述渲染器以多个固定视角的图像数据为输入，输出任意指定新视角的渲染效果，同时这个过程将会产生一个中间结果，将流体转换为粒子的形式；所述深度学习流体模拟接口模块以某时刻流体粒子位置和速度作为输入，推断后续
7、优选地，所述渲染器通过联合优化粒子转移和神经渲染促进流体动力学的实现；
8、在所述渲染器中，给定一个采样点x，以球搜索方式搜索所述采样点x附近的流体粒子，公式为：
9、
10、其中pi指的是时间步长t处由tθ产生的pt中的第i个粒子，rs是搜索半径；
11、根据仿真模拟的流体粒子推理模型，设置rs＝9·rp，其中rp是流体粒子的半径；
12、假设采样点的视角无关的体积密度和视角相关的颜色应该取决于其3d邻域中的几何属性，训练一个mlp网络，记为将组合输入(ex,ed)和(xi,d)映射到体积密度和颜色，得到渲染机制表示公式：
13、
14、其中，mlp的参数在整个动态场景的不同时间步共享；ex和ed分别表示视角独立编码和视角相关编码；x,d与神经辐射场中的定义相同，分别表示采样点和视角方向。σ为空间中3d领域内的不透明度，由采样点x、视角独立编码ex共同决定，c为该领域的颜色，包含rgb三通道，由采样点x、视角独立编码ex、视角方向d、视角相关编码ed共同决定。
15、优选地，所述渲染器通过与仿真模拟联合，对粒子状态进行约束，其训练包括两个阶段，第一阶段为预热，其预热目标表示函数为：
16、其中，p0为初始场景中的某一位置，v0为对应视角，在初始流体场景上使用一组以(p0,v0)为条件稀疏的视图，分别表示真实像素颜色与渲染像素颜色；
17、第二阶段为衔接预热的正常训练，目标函数表示为：
18、
19、其中，θ表示不同时间步的依赖。
20、优选地，推断得到的后续时刻的粒子状态数据能够使用任意的基于机器学习方法的流体粒子推理模型进行优化训练。
21、优选地，所述深度学习流体模拟接口模块，对流体场景进行数值模拟和场景自定义；通过对仿真数据进行训练，深度学习流体模拟接口模块能够对更加复杂的场景进行求解，并提升仿真速度；对于已经完成训练预热的渲染器，深度学习流体模拟接口模块能够进行粒子的仿真推理，仿真模拟产生的结果数据用于数据可视化和验证。
22、根据本专利技术的第二个方面，提供一种流体视觉直觉学习数据采集与试验平台系统，包括：
23、数据采集平台模块，该模块用于完成硬件设备的配置与运行，通过高帧率高分辨率的相机阵列，对动态流体数据进行多视角的同步采集，获得视觉图像数据；
24、数据预处理模块，该模块对所述视觉图像数据进行预处理；
25、基于视觉的流体渲染模块，基于任一项所述的视觉数据处理方法，对预处理后的视觉图像数据进行处理，获得渲染与仿真结果；
26、验证模块，该模块生成仿真数据，并进行模型训练以及数据可视化与验证。
27、优选地，所述数据采集平台模块，包括：
28、流体动态采集相机及实验结构支架子模块，该模块用于设计实验结构支架，完成相机放置以及流体环境的设置；
29、多帧率多相机同步触发控制子模块，该模块控制多个相机同步触发；
30、采集控制软件及控制机存储子模块，该模块设定控制参数以及存储采集到的视觉图像数据。
31、优选地，所述基于视觉的流体渲染模块，包括：
32、视觉数据输入子模块，该模块获取所述视觉图像数据；
33、视觉数据处理子模块，该模块通过神经辐射场技术，对所述视觉图像数据进行流体表面多视图3d重构，推断流体内部动力学模型，并反演流体属性；
34、仿真模拟子模块，该模块根据所述流体内部动力学模型和所述流体属性，进行仿真模拟。
35、优选地，所述数据预处理模块，包括：
36、数据预处理子模块，该模块对采集的视觉图像数据进行处理和清洗，保证数据的准确性和一致性；
37、实验数据存储子模块，该模块收集并整合预处理后的视觉图像数据，供视觉数据输入子模块及视觉输入子模块调用；
38、所述验证模块，包括：
39、仿真数据生成子模块，该模块生成仿真数据，为深度学习流体模拟模型api以及渲染器的训练提供数据来源；
40、可视化与验证子模块，该模块用于验证模型渲染结果的准确性与可靠性。
41、与现有技术相比，本专利技术实施例至少具有如下的一项有益效果：
42、1.本专利技术实施例旨在提高流体渲染的准确性与真实性，通过采用流体逆向推断方法，从外部视觉表观推理到内部流体粒子动态，推导出流体内部动力学模型，该模型能够进行视觉数据的分析和处理，从而获得较为准确的流体渲染效果。
43、2.本专利技术实施例旨在加速仿真速度，利用渲染器获取渲染效果，并中间获取流体粒子数据，能够与其他可微分的流体粒子推理模型高度适配，能够高效地进行流体场景的数值模拟和场景自定义，实现单场景秒级别的单步模拟时间；整个过程计算时间大幅缩短，仿真速度显著提高。
44、3.本专利技术实施例用于精细化观测验证方法，通过流体表面多视图3d重构技术推导出流体内部动力学模型，并可反演流体属性，实现对仿真空间状态的精细化观测验证。
45、4.本专利技术实施例为获取真实的数据，构建了完整的数据采集模块，无论从视角数量、分辨率、帧率、同步准确性等多个方面，有效提升了现实中采集到的流体数据的质量。这使得流体渲染与仿真更加准确，能够更好地模拟实际本文档来自技高网...
【技术保护点】
1.一种视觉数据处理方法，其特征在于，包括：
2.根据权利要求1所述的一种视觉数据处理方法，其特征在于，所述流体内部动力学模型以多视角图片作为输入，通过神经辐射场技术提取流体粒子，并通过基于流体粒子的推理输出后续时刻的流体状态；
3.根据权利要求2所述的一种视觉数据处理方法，其特征在于，所述渲染器通过联合优化粒子转移和神经渲染促进流体动力学的实现；
4.根据权利要求3所述的一种视觉数据处理方法，其特征在于，所述渲染器通过与仿真模拟联合，对粒子状态进行约束，其训练包括两个阶段：
5.根据权利要求3所述的一种视觉数据处理方法，其特征在于，推断得到的后续时刻的粒子状态数据能够使用任意的基于机器学习方法的流体粒子推理模型进行优化训练。
6.根据权利要求3所述的一种视觉数据处理方法，其特征在于，所述深度学习流体模拟接口模块，被配置为：
7.一种流体视觉直觉学习数据采集与试验平台系统，其特征在于，包括：
8.根据权利要求7所述的一种流体视觉直觉学习数据采集与试验平台系统，其特征在于，所述数据采集平台模块，包括
9.根据权利要求7所述的一种流体视觉直觉学习数据采集与试验平台系统，其特征在于，所述基于视觉的流体渲染模块，包括：
10.根据权利要求9所述的一种流体视觉直觉学习数据采集与试验平台系统，其特征在于，所述数据预处理模块，包括：
...【技术特征摘要】
1.一种视觉数据处理方法，其特征在于，包括：
2.根据权利要求1所述的一种视觉数据处理方法，其特征在于，所述流体内部动力学模型以多视角图片作为输入，通过神经辐射场技术提取流体粒子，并通过基于流体粒子的推理输出后续时刻的流体状态；
3.根据权利要求2所述的一种视觉数据处理方法，其特征在于，所述渲染器通过联合优化粒子转移和神经渲染促进流体动力学的实现；
4.根据权利要求3所述的一种视觉数据处理方法，其特征在于，所述渲染器通过与仿真模拟联合，对粒子状态进行约束，其训练包括两个阶段：
5.根据权利要求3所述的一种视觉数据处理方法，其特征在于，推断得到的后续时刻的粒子状态数据能够...
【专利技术属性】
技术研发人员：王韫博，杨小康，袁浩宸，朱祥明，邓画予，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。