【技术实现步骤摘要】
本专利技术涉及云服务，尤其涉及一种基于服务器集群的多模态数据接入优化方法及系统。
技术介绍
1、随着云计算技术的快速发展，越来越多的应用程序和服务被部署在云端。这些应用程序和服务需要大量的计算资源、存储资源和网络资源来支持它们的运行。因此，如何有效地调度和分配这些资源，以满足应用程序和服务的需求，成为了一个重要的问题。
2、现有技术中有采用负载均衡，按照算法原理上划分为动态负载均衡算法和静态负载均衡算法两种。动态负载均衡算法根据当前的服务器状态分配任务，如最小连接数算法、加权最小连接数算法、最快响应速度法；静态负载均衡算法按照固定比例分配任务，如随机调度算法、加权随机算法、轮询调度算法以及轮询加权调度算法等。然而，静态负载均衡算法没有考虑集群内部服务器性能不均衡带来的负载倾斜问题，不能满足服务器集群间负载均衡的需求；最小连接数算法在服务器宕机重启后，会出现服务器连接数不平衡的问题；虽然加权最小连接数算法可以根据机器具体情况分配不同负载，但需要额外管理加权系数；最快响应速度法关注的是负载均衡设备与服务器间的最快响应时间，但现有算法都考虑影响响应时间因素单一，忽略了联合资源对于响应时间的影响。
3、当前互联网行业针对高并发的主流解决方案主要有以下几种：针对客户端，减少不必要的请求，在客户端依托缓存技术实现；通过数据库集群方式，结合主从复制和读写分离，在持久层实现高并发性；从服务端角度，通过增加资源配置来提升服务器的性能。然而，从客户端的角度，虽然减轻了服务器的压力，但客户端缓存的数据可能缺失实时性，需要定期更
4、还有针对多模态数据融合的研究，一些应用场景采用了直接存储多模态数据的方法。按照存储模型上划分为关系型数据库、非关系型数据库和基于文件系统的存储三种。关系型数据库利用关系模型进行数据的规范化描述并用它对数据进行处理，以二维表的形式关联字段及其信息，但由于其存储结构固定，不利于存储数据结构频繁变化的数据；非关系型数据库遵循cap(一致性、可靠性、分区容错性)，并在高并发场景下具有高效的表现，但缺少高效的查询机制，不支持sql查询语言以及不支持事务；基于文件系统的存储方式常用于当一台物理存储资源已经无法满足当前的存储需求的情况下，数据采用一定的分配方式对应到不同的节点上进行存储，通过网络的手段将大量零散的计算机资源连接在一起形成主机集群，进而实现文件数据跨平台、多主机式进行存储和分享。虽然表现出了高扩展性以及高吞吐率，但一般不支持随机读写，无法实现实时存储数据。
技术实现思路
1、本专利技术提供一种基于服务器集群的多模态数据接入优化方法及系统，用以解决现有技术中服务器集群在数据接入时无法对资源进行有效平衡处理的缺陷。
2、第一方面，本专利技术提供一种基于服务器集群的多模态数据接入优化方法，包括：
3、接收终端设备发送的数据请求，获取所述数据请求中的多模态数据；
4、利用基于机器学习的负载均衡算法，确定最佳响应服务器，对数据请求进行分发；
5、将所述多模态数据分发请求分发至所述最佳响应服务器；
6、在选定的服务器上，采用非阻塞式多模态数据分通道框架处理所述多模态数据中的不同协议数据接入；
7、对完成处理的不同协议数据采用联合配准策略，实现多模态数据关联存储得到整合多源数据，将所述整合多源数据服务于态势感知。
8、根据本专利技术提供的一种基于服务器集群的多模态数据接入优化方法，获取所述数据请求中的多模态数据，包括：
9、获取多个传感器发送的结构化数据，获取手持终端以及固定摄像头发送的非结构化数据。
10、根据本专利技术提供的一种基于服务器集群的多模态数据接入优化方法，利用基于机器学习的负载均衡算法，确定最佳响应服务器，对数据请求进行分发，将多模态数据接入请求分发至最佳响应服务器，包括：
11、获取所述服务器集群中任一服务器的指标集合，由所述指标集合预测所述任一服务器的响应时间，采用梯度提升算法进行模型训练，生成响应时间预测模型；
12、调取任一服务器的当前资源使用状态，利用所述响应时间预测模型计算所有服务器的响应时间，确定最短预测响应时间服务器处理所述多模态数据分发请求。
13、根据本专利技术提供的一种基于服务器集群的多模态数据接入优化方法，获取所述服务器集群中任一服务器的指标集合，由所述指标集合预测所述任一服务器的响应时间，采用梯度提升算法进行模型训练，生成响应时间预测模型，包括：
14、由所述任一服务器的带宽资源使用量、带宽资源剩余量、cpu资源使用量、cpu资源剩余量、磁盘资源使用量、磁盘资源剩余量、内存资源使用量、内存资源剩余量，计算得到带宽利用率、cpu利用率、磁盘利用率和内存利用率；
15、确定所述梯度提升算法的学习率和树最大深度，对所述带宽利用率、所述cpu利用率、所述磁盘利用率和所述内存利用率进行训练和验证，得到所述响应时间预测模型。
16、根据本专利技术提供的一种基于服务器集群的多模态数据接入优化方法，在选定的服务器上，采用非阻塞式多模态数据分通道框架处理所述多模态数据中的不同协议数据接入，包括：
17、对所述多模态数据中的http协议数据创建httphandler，通过httphandler解析所述http协议数据，转换得到http请求对象，基于所述http请求对象构建http响应返回至终端设备；
18、对所述多模态数据中的rtmp协议数据创建rtmphandler，通过rtmphandler解析所述rtmp协议数据，转换得到rtmp消息对象，根据所述rtmp消息对象的类型对rtmp连接状态进行跟踪管理；
19、对所述多模态数据中的gb28181协议数据创建gb28181handler，通过gb28181handler解析所述gb28181协议数据，转换得到gb28181消息对象，根据所述gb28181消息对象的类型对gb28181连接状态进行跟踪管理。
20、根据本专利技术提供的一种基于服务器集群的多模态数据接入优化方法，对完成处理的不同协议数据采用联合配准策略，实现多模态数据关联存储得到整合多源数据，将所述整合多源数据服务于态势感知，包括：
21、对所述不同协议数据进行数据清洗和数据标准化，得到标准化处理数据；
22、分别对本文档来自技高网...
【技术保护点】
1.一种基于服务器集群的多模态数据接入优化方法，其特征在于，包括：
2.根据权利要求1所述的基于服务器集群的多模态数据接入优化方法，其特征在于，获取所述数据请求中的多模态数据，包括：
3.根据权利要求1所述的基于服务器集群的多模态数据接入优化方法，其特征在于，利用基于机器学习的负载均衡算法，确定最佳响应服务器，对数据请求进行分发，将多模态数据接入请求分发至最佳响应服务器，包括：
4.根据权利要求3所述的基于服务器集群的多模态数据接入优化方法，其特征在于，获取所述服务器集群中任一服务器的指标集合，由所述指标集合预测所述任一服务器的响应时间，采用梯度提升算法进行模型训练，生成响应时间预测模型，包括：
5.根据权利要求1所述的基于服务器集群的多模态数据接入优化方法，其特征在于，在选定的服务器上，采用非阻塞式多模态数据分通道框架处理所述多模态数据中的不同协议数据接入，包括：
6.根据权利要求1所述的基于服务器集群的多模态数据接入优化方法，其特征在于，对完成处理的不同协议数据采用联合配准策略，实现多模态数据关联存储得到整合多源数据
7.根据权利要求6所述的基于服务器集群的多模态数据接入优化方法，其特征在于，分别对所述标准化处理数据进行时间配准、空间配准和语义配准得到配准数据，包括：
8.根据权利要求6所述的基于服务器集群的多模态数据接入优化方法，其特征在于，对所述配准数据进行关联存储得到所述整合多源数据，包括：
9.一种基于服务器集群的多模态数据接入优化系统，其特征在于，包括：
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述基于服务器集群的多模态数据接入优化方法。
...【技术特征摘要】
1.一种基于服务器集群的多模态数据接入优化方法，其特征在于，包括：
2.根据权利要求1所述的基于服务器集群的多模态数据接入优化方法，其特征在于，获取所述数据请求中的多模态数据，包括：
3.根据权利要求1所述的基于服务器集群的多模态数据接入优化方法，其特征在于，利用基于机器学习的负载均衡算法，确定最佳响应服务器，对数据请求进行分发，将多模态数据接入请求分发至最佳响应服务器，包括：
4.根据权利要求3所述的基于服务器集群的多模态数据接入优化方法，其特征在于，获取所述服务器集群中任一服务器的指标集合，由所述指标集合预测所述任一服务器的响应时间，采用梯度提升算法进行模型训练，生成响应时间预测模型，包括：
5.根据权利要求1所述的基于服务器集群的多模态数据接入优化方法，其特征在于，在选定的服务器上，采用非阻塞式多模态数据分通道框架处理所述多模态数据中的不同协议数据接入，包...
【专利技术属性】
技术研发人员：卜方玲，施文瑾，罗子昂，杨哲宇，徐新，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。