一种数据写入方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种数据写入方法、装置及计算机设备，该方法包括如下步骤：获取待写入文件；向HDFS集群的主节点发送文件创建请求，所述文件创建请求包括客户端标识和文件数据标识；当接收到所述主节点发送的第一数据写入文件，对所述待写入文件进行切割处理得到多组数据块，所述第一数据写入文件用于将待写入文件数据写入所述HDFS集群；通过所述第一数据写入文件将每一组数据块写入所述HDFS集群对应的目标数据节点。本发明专利技术通过将大文件切割成多组数据块，将多组数据块进行分布式存储，大大降低了对集中式机房的高要求，提高视频存储效率，可扩展性高，满足海量视频、音频文件的存储需求。

【技术实现步骤摘要】
一种数据写入方法、装置及计算机设备
本专利技术涉及视频存储
，具体涉及一种数据写入方法、装置及计算机设备。
技术介绍
视频监控技术应用在社会生产、生活的各个方面，海量的视频数据的挖掘分析对后续工作有重大的指导意义。随着视频监控数据的爆炸式增长，需要占用大量的存储资源，急需有效的存储技术来对视频监控数据进行存储以便于对挖掘分析提供支撑。故亟待提出一种数据写入方法来存储大量视频数据。
技术实现思路
因此，本专利技术要解决的技术问题在于克服现有技术中大量视频数据存储成本高的缺陷，从而提供一种数据写入方法、装置及计算机设备。根据第一方面，本专利技术实施例公开了一种数据写入方法，包括如下步骤：获取待写入文件；向HDFS集群的主节点发送文件创建请求，所述文件创建请求包括客户端标识和文件数据标识；当接收到所述主节点发送的第一数据写入文件，对所述待写入文件进行切割处理得到多组数据块，所述第一数据写入文件用于将待写入文件数据写入所述HDFS集群；通过所述第一数据写入文件将每一组数据块写入所述HDFS集群对应的目标数据节点。...

【技术保护点】
1.一种数据写入方法，其特征在于，包括如下步骤：/n获取待写入文件；/n向HDFS集群的主节点发送文件创建请求，所述文件创建请求包括客户端标识和文件数据标识；/n当接收到所述主节点发送的第一数据写入文件，对所述待写入文件进行切割处理得到多组数据块，所述第一数据写入文件用于将待写入文件数据写入所述HDFS集群；/n通过所述第一数据写入文件将每一组数据块写入所述HDFS集群对应的目标数据节点。/n

【技术特征摘要】
1.一种数据写入方法，其特征在于，包括如下步骤：
获取待写入文件；
向HDFS集群的主节点发送文件创建请求，所述文件创建请求包括客户端标识和文件数据标识；
当接收到所述主节点发送的第一数据写入文件，对所述待写入文件进行切割处理得到多组数据块，所述第一数据写入文件用于将待写入文件数据写入所述HDFS集群；
通过所述第一数据写入文件将每一组数据块写入所述HDFS集群对应的目标数据节点。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当接收到创建失败信息时，停止写入操作。


3.根据权利要求1所述的方法，其特征在于，通过所述第一数据写入文件将每一组数据块写入所述HDFS集群对应的目标数据节点，包括：
通过所述第一数据写入文件对所述多组数据块中任一数据块进行存储；
当接收到目标数据节点返回的确认报文，对所述多组数据块中剩余数据块中的任一数据块进行存储，直至所有数据块均写入对应的目标数据节点。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：当任一所述目标数据节点写入失败时，将数据块写入新的数据节点。


5.一种数据写入方法，其特征在于，包括如下步骤：
接收客户端发送的文件创建请求，所述文件创建请求包括客户端标识和文件数据标识；
根据所述文件创建请求确定所述客户端是否满足文件创建条件；
当满足所述文件创建条件时，向所述客户端发送第一数据写入文件，所述第一数据写入文件用于将待写入文件数据写入HDFS集群对应的目标数据节点；
当不满足所述文件创建条件时，向所述客户端发送创建失败信息。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收所述客...

【专利技术属性】
技术研发人员：邓练兵，卢振兴，方家钦，
申请(专利权)人：珠海大横琴科技发展有限公司，
类型：发明
国别省市：广东;44