一种合成生物实验观测数据分析处理方法及系统技术方案

本发明专利技术提供一种合成生物实验观测数据分析处理方法及系统，该方法包括如下步骤：实时采集合成生物实验观测数据并转换成实验观测数据文件，将实验观测数据文件同步到HDFS存储；将实验观测数据文件映射成多个Flink Table，生成数据表；通过表间连接的方式连接具有关联信息的数据表，并对数据表进行数据预处理，生成明细宽表；根据明细宽表中的数据进行特征降维处理、实验参数阈值分析以及对合成生物进行分类与鉴定；采用交互式数据可视化工具对经过特征降维处理、实验参数阈值分析以及对合成生物进行分类与鉴定后生成的数据进行可视化展示。本发明专利技术适用于海量数据处理，可实时生成数据分析报告，可用于各种不同自动化合成生物实验观测数据的分析处理场景。生物实验观测数据的分析处理场景。生物实验观测数据的分析处理场景。

【技术实现步骤摘要】
一种合成生物实验观测数据分析处理方法及系统


[0001]本专利技术涉及合成生物学
，具体涉及到一种合成生物实验观测数据分析处理方法及系统。

技术介绍

[0002]随着合成生物学涉及的功能和潜在应用的不断拓展，运用合成生物学的复杂性和跨学科知识需求也在迅速增长。然而，生命系统极其精密，包含大量不同的基因和调控元件，而元件之间又以海量的组合形成不同的模块和网络，难以精确描述和预测，因此即使设计小型的基因线路也需要反复调试。工程学思维和方法是克服这一难题的利器，即大规模测试不同元件、线路模块、网络和底盘的组合，在这个过程中会产生大量实验观测数据，对这部分数据的分析利用可以挖掘实验过程中各变量对实验结果的影响，同时也可对实验数据进行统计，形成总结报告。
[0003]现有的实验观测数据分析技术有人工分析、基于关系数据库和基于Hadoop的大数据统计分析，其中人工分析通过专业人员对实验记录数据进行分析，费时费力，主要凭经验，面对海量实验数据时无法有效利用，生产节拍难以控制；基于关系数据库的统计分析是指把实验观测数据导入到关系数据库中，再根据统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种合成生物实验观测数据分析处理方法，其特征在于，所述方法包括如下步骤：实时采集合成生物实验观测数据并转换成实验观测数据文件，将所述实验观测数据文件同步到HDFS存储；将存储在HDFS中的所述实验观测数据文件映射成多个Flink Table，生成数据表；通过表间连接的方式连接具有关联信息的数据表，并对所述数据表进行数据预处理，生成明细宽表；根据所述明细宽表中的数据进行特征降维处理、实验参数阈值分析以及对合成生物进行分类与鉴定；采用交互式数据可视化工具对经过特征降维处理、实验参数阈值分析以及对合成生物进行分类与鉴定后生成的数据进行可视化展示。2.根据权利要求1所述的合成生物实验观测数据分析处理方法，其特征在于，所述合成生物实验观测数据具体包括：指纹类型数据、特征类型数据、序列类型数据和趋势类型数据。3.根据权利要求1所述的合成生物实验观测数据分析处理方法，其特征在于，对所述数据表进行数据预处理包括：去除所述数据表中的无效数据、不规范数据和错误数据；补齐所述数据表中的缺失值；对数据范围、量纲、格式和类型进行统一化处理。4.根据权利要求1所述的合成生物实验观测数据分析处理方法，其特征在于，所述特征降维处理采用主成分分析和/或多维缩放。5.根据权利要求1所述的合成生物实验观测数据分析处理方法，其特征在于，所述实验参数阈值分析采用贝叶斯分析和/或马尔科夫链蒙特卡洛分析。6.根据权利要求1所述的合成生物实验观测数据分析处理方法，其特征在于，所述对合成生物进...

【专利技术属性】
技术研发人员：邓忠辉，王卫军，袁海，王建，
申请(专利权)人：广州先进技术研究所，
类型：发明
国别省市：