一种基于机器视觉的自动驾驶避障系统及方法技术方案

本发明专利技术涉及自动驾驶避障系统技术领域，具体为一种基于机器视觉的自动驾驶避障系统及方法，一种基于机器视觉的自动驾驶避障系统是由数据采集模块、数据预处理模块、数据融合模块、图像处理模块、决策模块、通信模块组成。本发明专利技术中，通过实时语义分割和图像处理技术提供更全面的场景理解，使系统更好地识别道路、行人和车辆等目标，为避障决策提供更准确的信息，强化学习和模型预测控制方法优化决策策略，使系统在复杂场景和移动障碍物下做出高效、安全的避障决策，跨模态数据融合和多模态感知提高了系统感知的可靠性，克服了单一传感器的局限性，眼动追踪和情感分析优化了人机交互，更好地理解驾驶员的注意力和情绪状态，提高驾驶安全性。高驾驶安全性。高驾驶安全性。

【技术实现步骤摘要】
一种基于机器视觉的自动驾驶避障系统及方法


[0001]本专利技术涉及自动驾驶避障系统
，尤其涉及一种基于机器视觉的自动驾驶避障系统及方法。

技术介绍

[0002]自动驾驶避障系统，是一种能够帮助自动驾驶车辆感知并避免障碍物的系统。利用各种传感器、算法和决策系统来监测和分析车辆周围的环境，并通过自动控制车辆的转向、加速和制动来规避潜在的障碍物。该系统的目标是确保车辆在行驶过程中能够安全地避免与其他车辆、行人、建筑物、动物或其他障碍物发生碰撞。其中，基于机器视觉的自动驾驶避障系统是指利用图像识别和分析技术来感知和避免障碍物的系统。它通过使用摄像头或其他视觉传感器来收集实时图像，并通过计算机视觉算法进行图像处理和分析，以检测和识别车辆周围的障碍物。
[0003]在现有自动驾驶避障系统的实际使用过程中，复杂场景中存在大量的障碍物和交通情况，传统方法可能无法有效地处理和分析这些信息，导致性能下降。其次，传统方法在环境感知和障碍物检测方面可能存在准确性和可靠性的问题。单一传感器的限制和传感器噪声可能导致信息不完整或不准确，从而影响避障决策的准确性和安全性。此外，传统方法在避障决策方面可能缺乏灵活性和智能性。传统规则
‑
based的决策方法可能无法适应复杂且动态变化的交通环境，限制了系统的自适应能力和决策效果。传统方法可能对驾驶员的情绪和注意力状态了解有限，无法充分考虑驾驶员的行为和反应。这可能导致对驾驶员的警示不准确或过于频繁，影响驾驶体验和安全性。最后，传统方法在协同驾驶方面可能存在通信和协作的局限性。传统方法可能无法实时共享和处理车辆间的信息，限制了系统的协同决策和行驶效率。

技术实现思路

[0004]本专利技术的目的是解决现有技术中存在的缺点，而提出的一种基于机器视觉的自动驾驶避障系统及方法。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：一种基于机器视觉的自动驾驶避障系统是由数据采集模块、数据预处理模块、数据融合模块、图像处理模块、决策模块、通信模块组成；
[0006]所述数据采集模块与车辆的传感器相连接，所述传感器包括摄像头、激光雷达、雷达、声音传感器、红外线传感器，实时地传感器采集原始数据，并发送至数据预处理模块；
[0007]所述数据预处理模块从数据采集模块接收原始数据，对所述原始数据进行预处理工作，在预处理完毕后，生成处理后数据，将所述处理后数据发送到数据融合模块和图像处理模块；
[0008]所述数据融合模块接收所述处理后数据，并通过融合算法将所述处理后数据融合在一起，获取融合后数据，并发送至决策模块；
[0009]所述图像处理模块并行于数据融合模块处理数据，接收所述处理后数据中的图像数据，对所述图像数据进行包括实时语义分割、目标检测的深度学习处理，将所述图像数据划分为多个语义区域，识别出图像中包括车辆、行人、路标的关键目标，集成处理结果，并发送至决策模块；
[0010]所述决策模块接收融合后数据和处理结果，得出避障决策，并在决策过程中，利用强化学习和模型预测控制方法来优化决策，同时获取眼动追踪和情感分析的数据，用以优化驾驶策略，生成决策指令；
[0011]所述通信模块接收决策指令，并将所述决策指令传递给车辆的控制系统，从而实现避障，所述通信模块与其他车辆和智能交通基础设施进行信息交换，提供或获取有效信息，将所述有效信息反馈给决策模块。
[0012]作为本专利技术的进一步方案，所述数据采集模块包括摄像头子模块、激光雷达子模块、雷达子模块、声音传感器子模块、红外线传感器子模块；
[0013]所述摄像头子模块使用摄像头传感器进行图像数据的采集；
[0014]所述激光雷达子模块使用激光雷达传感器采集周围环境的激光点云数据；
[0015]所述雷达子模块使用雷达传感器收集环境中的雷达波数据；
[0016]所述声音传感器子模块使用声波传感器采集周围环境的声音数据；
[0017]所述红外线传感器子模块使用红外线传感器收集红外线信号数据。
[0018]作为本专利技术的进一步方案，所述数据预处理模块包括为数据清洗子模块、数据格式化子模块；
[0019]所述数据清洗子模块采用噪声过滤算法、异常值检测算法、缺失值填充算法；
[0020]所述噪声过滤算法具体为，采用包括均值滤波、中值滤波、高斯滤波的滤波算法，去除原始数据中的随机噪声；
[0021]所述异常值检测算法包括基于统计学的离群点检测算法、基于机器学习的异常检测算法，通过所述异常值检测算法识别和排除原始数据中的异常点；
[0022]所述缺失值填充算法在原始数据存在缺失值时，采用插值、回归方法填充缺失值；
[0023]所述数据格式化子模块采用特征标准化算法、特征编码算法、数据降维算法；
[0024]所述特征标准化算法具体为，通过最大最小值缩放、均值方差标准化，对数据进行缩放和平移，使不同特征具有相同的尺度；
[0025]所述特征编码算法基于独热编码、标签编码，将非数值型特征转换为数值型特征；
[0026]所述数据降维算法包括主成分分析、线性判别分析，采用所述数据降维算法来减少特征的数量，减少计算复杂度和模型训练的时间。
[0027]作为本专利技术的进一步方案，所述数据融合模块包括融合算法子模块、环境感知子模块；
[0028]所述融合算法子模块包括Kalman滤波器、粒子滤波器、高斯混合模型、条件随机场；
[0029]所述Kalman滤波器通过递归的状态估计和观测更新，将所述处理后数据与预测模型相结合，得到最优的状态估计，执行线性系统和高斯噪声的融合任务；
[0030]所述粒子滤波器采用随机粒子的重采样和粒子的权重更新，以近似地估计潜在的目标状态，完成非线性和非高斯分布的融合任务；
[0031]所述高斯混合模型利用一组高斯分布来建模多传感器数据的分布，通过最大后验概率估计来进行数据融合任务；
[0032]所述条件随机场定义一个概率图模型，将传感器数据的关系和约束条件进行建模，实现数据的融合和联合估计；
[0033]所述环境感知子模块采用对象检测和识别算法、地图构建算法、运动估计算法；
[0034]所述对象检测和识别算法利用融合后数据进行目标检测和识别，包括车辆、行人、路标；
[0035]所述地图构建算法将融合后数据与现有地图进行比对和匹配，实现对车辆位置和路线的精确定位；
[0036]所述运动估计算法通过分析传感器数据的变化，推断出环境中物体的运动信息，包括速度、加速度和运动轨迹。
[0037]作为本专利技术的进一步方案，所述图像处理模块包括实时语义分割子模块、目标检测子模块；
[0038]所述实时语义分割子模块包括编码器、解码器、损失函数；
[0039]所述编码器使用卷积和池化操作将图像特征逐渐降维，提取特征信息；
[0040]所述解码器使用反卷积和上采样操作将特征图恢复到原始图像尺寸，并结合所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的自动驾驶避障系统，其特征在于：所述一种基于机器视觉的自动驾驶避障系统是由数据采集模块、数据预处理模块、数据融合模块、图像处理模块、决策模块、通信模块组成；所述数据采集模块与车辆的传感器相连接，所述传感器包括摄像头、激光雷达、雷达、声音传感器、红外线传感器，实时地传感器采集原始数据，并发送至数据预处理模块；所述数据预处理模块从数据采集模块接收原始数据，对所述原始数据进行预处理工作，在预处理完毕后，生成处理后数据，将所述处理后数据发送到数据融合模块和图像处理模块；所述数据融合模块接收所述处理后数据，并通过融合算法将所述处理后数据融合在一起，获取融合后数据，并发送至决策模块；所述图像处理模块并行于数据融合模块处理数据，接收所述处理后数据中的图像数据，对所述图像数据进行包括实时语义分割、目标检测的深度学习处理，将所述图像数据划分为多个语义区域，识别出图像中包括车辆、行人、路标的关键目标，集成处理结果，并发送至决策模块；所述决策模块接收融合后数据和处理结果，得出避障决策，并在决策过程中，利用强化学习和模型预测控制方法来优化决策，同时获取眼动追踪和情感分析的数据，用以优化驾驶策略，生成决策指令；所述通信模块接收决策指令，并将所述决策指令传递给车辆的控制系统，从而实现避障，所述通信模块与其他车辆和智能交通基础设施进行信息交换，提供或获取有效信息，将所述有效信息反馈给决策模块。2.根据权利要求1所述的基于机器视觉的自动驾驶避障系统，其特征在于：所述数据采集模块包括摄像头子模块、激光雷达子模块、雷达子模块、声音传感器子模块、红外线传感器子模块；所述摄像头子模块使用摄像头传感器进行图像数据的采集；所述激光雷达子模块使用激光雷达传感器采集周围环境的激光点云数据；所述雷达子模块使用雷达传感器收集环境中的雷达波数据；所述声音传感器子模块使用声波传感器采集周围环境的声音数据；所述红外线传感器子模块使用红外线传感器收集红外线信号数据。3.根据权利要求1所述的基于机器视觉的自动驾驶避障系统，其特征在于：所述数据预处理模块包括为数据清洗子模块、数据格式化子模块；所述数据清洗子模块采用噪声过滤算法、异常值检测算法、缺失值填充算法；所述噪声过滤算法具体为，采用包括均值滤波、中值滤波、高斯滤波的滤波算法，去除原始数据中的随机噪声；所述异常值检测算法包括基于统计学的离群点检测算法、基于机器学习的异常检测算法，通过所述异常值检测算法识别和排除原始数据中的异常点；所述缺失值填充算法在原始数据存在缺失值时，采用插值、回归方法填充缺失值；所述数据格式化子模块采用特征标准化算法、特征编码算法、数据降维算法；所述特征标准化算法具体为，通过最大最小值缩放、均值方差标准化，对数据进行缩放和平移，使不同特征具有相同的尺度；
所述特征编码算法基于独热编码、标签编码，将非数值型特征转换为数值型特征；所述数据降维算法包括主成分分析、线性判别分析，采用所述数据降维算法来减少特征的数量，减少计算复杂度和模型训练的时间。4.根据权利要求1所述的基于机器视觉的自动驾驶避障系统，其特征在于：所述数据融合模块包括融合算法子模块、环境感知子模块；所述融合算法子模块包括Kalman滤波器、粒子滤波器、高斯混合模型、条件随机场；所述Kalman滤波器通过递归的状态估计和观测更新，将所述处理后数据与预测模型相结合，得到最优的状态估计，执行线性系统和高斯噪声的融合任务；所述粒子滤波器采用随机粒子的重采样和粒子的权重更新，以近似地估计潜在的目标状态，完成非线性和非高斯分布的融合任务；所述高斯混合模型利用一组高斯分布来建模多传感器数据的分布，通过最大后验概率估计来进行数据融合任务；所述条件随机场定义一个概率图模型，将传感器数据的关系和约束条件进行建模，实现数据的融合和联合估计；所述环境感知子模块采用对象检测和识别算法、地图构建算法、运动估计算法；所述对象检测和识别算法利用融合后数据进...

【专利技术属性】
技术研发人员：耿俊，王思齐，尹洪超，田生伟，万虎，郑德生，李晓瑜，
申请(专利权)人：喀什地区电子信息产业技术研究院，
类型：发明
国别省市：