【技术实现步骤摘要】
图像生成、图像分割方法、装置、设备、车载终端及介质
[0001]本公开涉及人工智能
，具体涉及计算机视觉、图像处理、深度学习等
，可应用于自动驾驶、智慧城市等场景，尤其涉及一种图像生成方法、图像分割方法、图像生成装置、图像分割装置、电子设备、车载终端及非瞬时计算机可读存储介质。
技术介绍
[0002]自动驾驶中的感知识别任务本质上是对物理世界的三维几何重建。随着自动驾驶汽车装备传感器的多样性和数量越来越复杂，以统一的视角表示不同视角的特征变得至关重要。
[0003]鸟瞰图（BEV，Bird's Eye View），也称为俯视图，作为一种自然而直接的统一表示方式，在自动驾驶的感知和预测领域的应用越来越广泛。
[0004]相关技术在获取高分辨率的鸟瞰图时，需要耗费昂贵的计算代价，无法满足人们对低成本和即时感知两方面的双重要求。
技术实现思路
[0005]本公开提供了一种图像生成方法、图像分割方法、图像生成装置、图像分割装置、电子设备、车载终端及非瞬时计算机可读存储介质。
[0006]根据本公开的一方面，提供了一种图像生成方法，包括：根据在多视角下采集的环视图像，生成与每个视角分别对应的多尺度特征图，多尺度特征图包括第一分辨率下的第一特征图，和至少一个第二分辨率下的第二特征图，第二分辨率高于第一分辨率；将每个视角下的第一特征图进行跨视角转换，生成第一俯视图；在每个视角下的至少一个第二分辨率下的第二特征图中，采样得到第一俯视图中每个网格单元在至少一个第二分辨率下的采样点特征...
【技术保护点】
【技术特征摘要】
1.一种图像生成方法，包括：根据在多视角下采集的环视图像，生成与每个视角分别对应的多尺度特征图，多尺度特征图包括第一分辨率下的第一特征图，和至少一个第二分辨率下的第二特征图，第二分辨率高于第一分辨率；将每个视角下的第一特征图进行跨视角转换，生成第一俯视图；在每个视角下的至少一个第二分辨率下的第二特征图中，采样得到第一俯视图中每个网格单元在至少一个第二分辨率下的采样点特征；根据第一俯视图和各采样点特征，融合得到第二俯视图。2.根据权利要求1所述的方法，其中，根据在多视角下采集的环视图像，生成与每个视角分别对应的多尺度特征图，包括：获取在多视角下分别采集到的多张环视图像；对每个视角下的环视图像分别进行多尺度特征提取，获取每张环视图像在多个分辨率下的特征图，作为与每个视角分别对应的多尺度特征图。3.根据权利要求1所述的方法，将每个视角下的第一特征图进行跨视角转换，生成第一俯视图，包括：生成与每个视角下的第一特征图分别对应的第一全局特征和第二全局特征；根据各第一全局特征、各第二全局特征和用于描述图像空间和俯视空间之间位置关系的位置编码值，采用多头注意力机制，迭代生成第一俯视图。4.根据权利要求3所述的方法，其中，生成与每个视角下的第一特征图分别对应的第一全局特征和第二全局特征，包括：通过第一全连接网络，生成与每个视角下的第一特征图分别对应的第一全局特征；通过第二全连接网络，生成与每个视角下的第一特征图分别对应的第二全局特征。5.根据权利要求3所述的方法，其中，根据各第一全局特征、各第二全局特征和用于描述图像空间和俯视空间之间位置关系的位置编码值，采用多头注意力机制，迭代生成第一俯视图，包括：根据与每个视角分别对应的第一全局特征、与每个视角分别对应的相机编码值和预设的像素位置编码值，确定应用于多头注意力网络中的各目标键名参数；根据与每个视角分别对应的第二全局特征，确定应用于多头注意力网络中的各目标键值参数；根据各目标键名参数、各目标键值参数、预设的俯视空间中的网格单元位置编码值，采用多头注意力网络，迭代生成第一俯视图。6.根据权利要求5所述的方法，其中，根据各目标键名参数、各目标键值参数、预设的俯视空间中的网格单元位置编码值，采用多头注意力网络，迭代生成第一俯视图，包括：在每个迭代轮次下，获取前一轮次迭代得到的第一俯视图作为历史俯视图；根据历史俯视图和俯视空间中的网格单元位置编码值，计算得到应用于多头注意力网络中的目标查询参数；采用多头注意力网络，根据各目标键名参数、各目标键值参数和目标查询参数，计算得到当前迭代轮次下的第一俯视图。7.根据权利要求1所述的方法，其中，在每个视角下的至少一个第二分辨率下的第二特
征图中，采样得到第一俯视图中每个网格单元在至少一个第二分辨率下的采样点特征，包括：获取与第一俯视图中每个网格单元分别对应的地理区域范围，并在每个地理区域范围内分别选取多个关键点；将每个地理区域范围内的各关键点投影至各视角下的至少一个第二分辨率下的第二特征图中，得到每个关键点在至少一个第二分辨率下的采样点特征；汇总隶属于同一网格单元的各关键点在同一第二分辨率下的采样点特征，得到第一俯视图中每个网格单元在至少一个第二分辨率下的采样点特征。8.根据权利要求7所述的方法，其中，获取与第一俯视图中每个网格单元分别对应的地理区域范围，包括：获取第一俯视图中的每个网格单元的平面矩形位置范围；根据各平面矩形位置范围和预设的高度值，形成与每个网格单元分别对应的立方体区域范围。9.根据权利要求8所述的方法，其中，在每个地理区域范围内分别选取多个关键点，包括：在每个地理区域范围内，选取预设数量的球状邻域点作为关键点。10.根据权利要求7所述的方法，其中，将每个地理区域范围内的各关键点投影至各视角下的至少一个第二分辨率下的第二特征图中，得到每个关键点在至少一个第二分辨率下的采样点特征，包括：获取当前处理地理区域范围内的当前关键点的地理位置坐标；根据所述地理位置坐标，识别能够拍摄到当前关键点的至少一个目标视角；根据当前关键点在各目标视角下的至少一个第二分辨率下的第二特征图中的当前投影位置，得到当前关键点在至少一个第二分辨率下的采样点特征。11.根据权利要求10所述的方法，其中，根据所述地理位置坐标，识别能够拍摄到当前关键点的至少一个目标视角，包括：根据所述地理位置信息和各视角的相机投影矩阵，获取当前关键点在各视角下的投影位置；如果当前关键点在当前视角下的投影位置位于当前视角的图像范围内，则将当前视角确定为目标视角。12.根据权利要求10所述的方法，其中，根据当前关键点在各目标视角下的至少一个第二分辨率下的第二特征图中的当前投影位置，得到当前关键点在至少一个第二分辨率下的采样点特征，包括：如果当前关键点在当前目标视角下的当前第二分辨率下的当前第二特征图中的当前投影位置命中当前第二特征图中的当前特征点，则将当前特征点的特征，作为当前关键点在当前第二分辨率下的备选特征；如果当前关键点在当前第二特征图中的当前投影位置未命中当前第二特征图中的任一特征点，则插值得到当前投影位置处的特征，作为当前关键点在当前第二分辨率下的备选特征；根据当前关键点在各目标视角下获取的备选特征，得到当前关键点在当前第二分辨率
下的采样点特征。13.根据权利要求12所述的方法，其中，根据当前关键点在各目标视角下获取的备选特征，得到当前关键点在当前第二分辨率下的采样点特征，包括：如果获取的备选特征的数量为多个，则对各备选特征进行池化处理，得到当前关键点在当前第二分辨率下的采样点特征。14.根据权利要求1所述的方法，其中，根据第一俯视图和各采样点特征，融合得到第二俯视图，包括：将第一俯视图和至少一个第二分辨率下的各采样点特征，共同输入至解码模块集合中；其中，解码模块集合中串接设定数量的解码模块，且解码模块的串接数量与第二分辨率的数量相匹配；通过每个解码模块，根据当前输入俯视图和当前输入的目标第二分辨率下的各采样点特征，融合得到新的俯视图并输出；获取末位的解码模块的输出俯视图作为第二俯视图。15.根据权利要求14所述的方法，其中，将第一俯视图和至少一个第二分辨率下的各采样点特征，共同输入至解码模块集合中，包括：将第一俯视图输入至解码模块集合中的首个解码模块；将每个第二分辨率下的各采样点特征，按照第二分辨率由低到高的顺序，沿解码模块串接方向分别输入至不同的解码模块中。16.根据权利要求15所述的方法，其中，通过每个解码模块，根据当前输入俯视图和当前输入的目标第二分辨率下的各采样点特征，融合得到新的俯视图并输出，包括：通过每个解码模块对当前输入俯视图按照目标第二分辨率进行尺度调整，得到调整后俯视图；根据调整后俯视图，生成第一权重图；根据第一权重图对当前输入的目标第二分辨率下的各采样点特征进行加权处理，得到采样点加权特征；将调整后俯视图与采样点加权特征进行融合，得到新的俯视图并输出。17.根据权利要求16所述的方法，其中，通过每个解码模块对当前输入俯视图按照目标第二分辨率进行尺度调整，得到调整后俯视图，包括：按照目标第二分辨率对当前输入俯视图进行卷积和插值处理，得到调整后俯视图。18.根据权利要求16所述的方法，其中，根据调整后俯视图，生成第一权重图，包括：将调整后俯视图依次输入至第一目标全连接网络和第一逻辑回归网络，生成第一权重图。19.根据权利要求16所述的方法，在根据第一权重图对当前输入的目标第二分辨率下的各采样点特征进行加权处理，得到采样点加权特征之后，还包括：按照调整后俯视图的特征通道数量，对采样点加权特征的特征通道数量进行调整。20.根据权利要求19所述的方法，其中，将调整后俯视图与采样点加权特征进行融合，得到新的俯视图并输出，包括：生成与调整后俯视图对应的第一键名参数和第一键值参数；
生成与采样点加权特征对应的第二键名参数和第二键值参数；根据第一键名参数和第二键名参数，生成第二权重图和第三权重图；根据第二权重图和第三权重图，对第一键值参数和第二键值参数进行加权求和，并采用预设的激活函数对加权求和结果进行处理，得到新的俯视图并输出。21.根据权利要求20所述的方法，其中，生成与调整后俯视图对应的第一键名参数和第一键值参数，包括：将调整后俯视图依次输入至第二目标全连接网络、第一贝叶斯网络和第一激活网络，生成第一键名参数；将调整后俯视图依次输入至第三目标全连接网络和第二贝叶斯网络，生成第一键值参数；生成与采样点加权特征对应的第二键名参数和第二键值参数，包括：将采样点加权特征依次输入至第四目标全连接网络、第三贝叶斯网络和第二激活网络，生成第二键名参数；将采样点加权特征依次输入至第五目标全连接网络和第四贝叶斯网络，生成第二键值参数。22.根据权利要求20所述的方法，其中，根据第一键名参数和第二键名参数，生成第二权重图和第三权重图，包括：对第一键名参数和第二键名参数进行特征拼接，得到拼接键名参数；将拼接键名参数依次输入至第六目标全连接网络和第二逻辑回归网络，生成组合权重图；在组合权重图中分别提取第二权重图和第三权重图。23.根据权利要求1
‑
22任一项所述的方法，在根据第一俯视图和各采样点特征，融合得到第二俯视图之后，还包括：对第二俯视图进行语义分割，获取第二俯视图中每个网格单元的类别识别结果。24.一种图像分割方法，包括：通过多个环视相机采集多视角下的多张环视图像；通过如权利要求1
‑<...
【专利技术属性】
技术研发人员：龚石，叶晓青，蒋旻悦，谭啸，王海峰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。