本发明公开了一种基于Spark SQL的SortMergeJoin连接计算优化方法，涉及大数据、数据库领域；本发明通过对原生Spark SQL逻辑执行计划的匹配，重新实现自定义执行计划编排；通过减少作业本身的Shuffle操作，在提升了...

本发明涉及编程建模技术领域，提供了一种编程式建模的数据分析方法，所述数据分析方法基于

本发明涉及大数据存储技术领域，提供一种基于考虑负载和磁盘介质的HDFS读数据方法，包括Client(客户端)，NameNode(名字节点)以及DataNode(数据节点)三部分，HDFS读数据方法步骤如下：获取文件列表并排序、读取数据、...

本发明涉及一种流式数据处理方法，针对流式数据进行实时处理，以预设分组条件分发至各个类别缓存分组分别实现聚合压缩，引入数据温度创新侦测设计，实时获得各类别缓存分组分别对应的数据温度，进而根据实时数据温度、以及预设温度下限阈值，个性化实现各...

本发明涉及大数据存储技术领域，提供了一种HDFS短路写的加速方法，包括：HDFS客户端，HDFS集群有两类节点，并以管理者

本发明涉及大数据计算技术领域，更具体地说是一种基于预编译模板技术的SparkSQL编译优化方法，包括：匹配预编译模板，检查提交的SQL是否可以匹配SparkDriver端预先配置的预编译SQL模板；以及获取缓存中执行计划，根据匹配到的预...

本发明涉及一种基于BFS+DFS的图数据快速多层扩线方法，基于预设目标类型对象集，设计首先以正向搜索方式，执行各目标对象对应预设最大关系层数K的关系网的搜索；然后以反向搜索方式，执行以各目标对象出发、关于预设关联属性下的关系对象网搜索；...

本发明公开了一种基于实体对象的自动数据冷热识别方法，涉及数据科学和数据库领域，主要用于数据存储和计算领域，包含实体特征抽取、数据温度初始化、数据温度更新、冷热阈值判定、冷热数据标记五部分，将数据中包含的一组实体进行属性和行为等维度的特征...

本发明公开了一种基于读写分离的HDFS随机读加速方法，涉及大数据存储领域，将HDFS的读和写完全分离。数据的读写依然采取HDFS的API，写入以顺序写为主，保持原HdfsDirectory机制不变；将查询逻辑下沉至DataNode，直接...

本发明提供一种基于分区聚集键的Spark SQL分布式位图连接计算优化方法，通过检查连接计算字段是否可以映射为聚集键，选择可以映射的连接计算字段进行优化，然后根据运行时统计信息确认参与运算的大小表情况，接着对小表数据进行聚集键映射，明确...

本发明提供一种多数据处理引擎代码自动生成的方法，包括以下步骤：步骤一：规范系统，定义与引擎无关的开发规范，用户遵循该规范开发逻辑；步骤二：模板系统，根据各引擎特点，定义各引擎的适配模板，该模板只需被定义一次；步骤三：代码生成系统，根据用...

本发明提供本发明提供一种基于Spark SQL的LEFT JOIN连接计算优化方法，通过原生Spark SQL提供的规则扩展接口，进行执行计划阶段的新增与重新编排，并使用布隆过滤器（Bloom Filter）技术或位图（Roaring ...

本发明公开了一种基于多尺度注意力模型的车辆属性识别方法，涉及计算机视觉领域，主要用于车辆属性识别领域，主要由多尺度特征金字塔网络、属性定位模块、属性分类器、多分支联合优化策略及最大得分投票机制五部分,该方法通过引入多尺度特征金字塔结构，...

本发明涉及一种基于深度学习的帧级自适应ROI视频压缩方法，使用深度学习目标检测模型来对视频场景内容进行动态解析，并根据每一帧中关键目标位置信息动态计算ROI编码区域，通过设置差异化编码参数去除ROI区域外部内容冗余，同时保证ROI区域内...

本发明公开了一种针对HTTP数据基于无监督深度自编码网络的未知威胁检测方法及系统，包括如下步骤：S101、数据接入，接入HTTP请求数据；S102、数据清洗，对HTTP请求数据进行清洗；S103、特征提取，对清洗后的HTTP数据进行特征...

本发明公开了一种基于自注意力的车辆属性多任务协同识别方法，包括构建训练数据集、构建深度学习网络结构、深度神经网络训练三部分。该种基于自注意力的车辆属性多任务协同识别方法，基于车辆多属性识别问题，设计了一种多任务协同识别网络结构和多任务损...

本发明公开了一种基于Spark SQL的列计算优化方法，包括如下步骤：S1、统一内存管理，建立基于Arrow统一数据管理机制，当文件数据从磁盘加载到内存Arrow结构中之后，可以被多种插件访问和计算；S2、异构计算资源统一调度，在Spa...

本发明公开了一种基于双子网络的车辆重识别方法，包括获取车辆图像数据集、车辆图像数据预处理、构建车辆图像特征提取神经网络、训练车辆重识别模型、提取待识别车辆图像特征向量并计算其与测试集图像的特征相似度共5大模块。该种基于双子网络的车辆重识...

本发明公开了一种基于Spark SQL的聚合计算优化方法，包括如下步骤：S1、通过原生Spark SQL提供的规则扩展接口，进行执行计划阶段的重新编排；S2、使用基于块数据模型实现的BlockSortedAggregateExec和Bl...

本发明公开了一种基于线性无关的结构化剪枝方法，包括：根据不同的计算机视觉任务，在数据集上训练一个深度网络模型；计算某个卷积层卷积核之间的冗余性，并对每个卷积层的卷积核进行FM变换，对变换后的矩阵计算极大线性无关组；对剪枝网络所有的卷积层...