本发明专利技术公开了一种应用于元宇宙的边云协同编码方法，包括：当接收到数据孪生的小目标图像处理任务的指令时，边缘节点采集原始图像，执行特征提取及编码处理，将获取的特征码流发送至云服务器；云服务器对特征码流进行处理，将获取的第一感兴趣区域识别结果发送至边缘节点；边缘节点对原始图像执行区域图像提取处理，对得到的第一区域图像执行图像编码处理，并将区域图像码流发送至云服务器；云服务器对区域图像码流执行图像解码及区域推理处理，得到第二感兴趣区域识别结果，并判断小目标图像处理任务是否完成，当判断是时，进行数字孪生的小目标图像加载。本发明专利技术实现了端云协同编码、计算，使得系统算力最大化，提高了实时处理能力。处理能力。处理能力。
【技术实现步骤摘要】
一种应用于元宇宙的边云协同编码方法及系统
[0001]本专利技术属于图像处理
，具体地，涉及一种应用于元宇宙的边云协同编码方法及系统。
技术介绍
[0002]元宇宙是整合多种新技术而产生的新型虚实相融的互联网应用和社会形态，它基于扩展现实技术提供沉浸式体验，以及数字孪生技术生成现实世界的镜像，通过区块链技术搭建经济体系，将虚拟世界与现实世界在经济系统、社交系统、身份系统上密切融合。
[0003]元宇宙场景下的数据孪生，在对图像中的小目标进行检测时，例如，检测高空拍摄的图像中的人脸或车辆时，需要多次选定区域，进行级联人工智能图像处理任务，其采集的图像需要满足高像素的特点，这给图像传输带来较大的带宽压力，也导致小目标检测效率低下。
技术实现思路
[0004]本专利技术提供了一种应用于元宇宙的边云协同编码方法及系统，有效解决了元宇宙场景下对图像中小目标检测存在的带宽压力大、小目标检测效率低下的问题。
[0005]为了实现上述目的，本专利技术提供了一种应用于元宇宙的边云协同编码方法，所述方法包括：
[0006]当接收到数字孪生的小目标图像处理任务的指令时，边缘节点采集原始图像，对所述原始图像执行特征提取及编码处理，获取特征码流，将所述特征码流发送至云服务器；
[0007]所述云服务器在接收到所述特征码流后，对所述特征码流进行处理，获取第一感兴趣区域识别结果，并将所述第一感兴趣区域识别结果发送至所述边缘节点；
[0008]所述边缘节点基于所述第一感兴趣区域识别结果对所述原始图像执行区域图像提取处理，得到第一区域图像，对所述第一区域图像执行图像编码处理，得到区域图像码流，将所述区域图像码流发送至所述云服务器；
[0009]所述云服务器在接收到所述区域图像码流后，对所述区域图像码流执行图像解码及区域推理处理，得到第二感兴趣区域识别结果，基于所述第二感兴趣区域识别结果判断所述小目标图像处理任务是否完成，当判断是时，所述云服务器进行所述数字孪生的小目标图像加载。
[0010]可选的，所述边缘节点采集原始图像，对所述原始图像执行特征提取及编码处理，得到特征码流，包括：
[0011]所述边缘节点获取原始视频数据，对所述原始视频数据执行分帧处理，得到图像帧序列；
[0012]对所述图像帧序列执行图像采集处理，得到多张原始图像，将所述原始图像写入图像队列；
[0013]对所述图像队列中的每个图像执行特征提取处理，得到所述图像队列中每个图像
对应的特征向量；
[0014]将所述特征向量输入编码网络，得到所述图像队列中每个图像对应的特征码流。
[0015]可选的，所述对所述图像队列中的每个图像执行特征提取处理，得到所述图像队列中每个图像对应的特征向量，包括：
[0016]提取所述图像序列中每个图像的边缘图像，将所述边缘图像输入第一特征提取网络，得到所述图像序列中每个图像的第一特征；
[0017]将所述图像序列中每个图像输入第二特征提取网络，得到所述图像序列中每个图像的第二特征；
[0018]基于所述第一特征及所述第二特征，得到所述图像序列中每个图像对应的特征向量。
[0019]可选的，所述提取所述图像序列中每个图像的边缘图像，包括：
[0020]计算所述图像序列中每个图像的每个像素点的纹理特征值；
[0021]根据所述纹理特征值判断每个图像的每个像素点是否为边缘点，根据判断结果获取所述图像序列中每个图像对应的边缘点集合；
[0022]根据所述边缘点集合确定所述图像序列中每个图像的边缘图像。
[0023]可选的，所述计算所述图像序列中每个图像的每个像素点的纹理特征值，包括：
[0024]从所述图像序列中选择一个图像的一个像素点，从选择的图像中获取选择的像素点的邻域像素点序列集；
[0025]将所述选择的像素点的像素值作为像素阈值，将所述邻域像素点序列集中每个像素点的像素值与所述像素阈值进行比对，基于比对结果确定所述选择的图像中选择的像素点的纹理特征值。
[0026]可选的，所述基于比对结果确定所述选择的图像中选择的像素点的纹理特征值，包括：
[0027]将第一数值作为所述邻域像素点序列集中像素值大于或等于所述像素阈值的像素点的比对值，将第二数值作为所述邻域像素点序列集中像素值小于所述像素阈值的像素点的比对值；
[0028]拼接所述比对值，得到所述选择的图像中选择的像素点的初始纹理值；
[0029]将所述初始纹理值转换为十进制数值，得到所述选择的图像中选择的像素点的纹理特征值。
[0030]可选的，所述对所述图像帧序列执行图像采集处理，得到多张原始图像，包括：
[0031]将所述图像帧序列中相邻两张图像组合为一个图像对，得到多个图像对；
[0032]计算每个图像对中两个图像的相似度值，将相似度值大于或等于相似度阈值的图像对中的任意一个图像放入第一队列，将相似度值小于相似度阈值的图像对中的两个图像都放入第一队列；
[0033]将所述第一队列中相邻两张图像组合为一个新图像对，计算新图像对中两个图像的相似度值，将相似度值大于或等于相似度阈值的新图像对中的任意一个图像放入第二队列，将相似度值小于相似度阈值的新图像对中的两个图像都放入第二队列，若第二队列中任意两个图像的相似度值都小于相似度阈值，则将第二队列中的图像作为原始图像。
[0034]可选的，在所述基于所述第二感兴趣区域识别结果判断所述小目标图像处理任务
是否完成之后，所述方法还包括：
[0035]若判断为否，所述云服务器将所述第二感兴趣区域识别结果发送至所述边缘节点，以供所述边缘节点从原始图像中提取第二区域图像，并接收所述边缘节点编码后的第二区域图像；
[0036]对所述编码后的第二区域图像执行图像解码及区域推理处理，得到第三感兴趣区域识别结果，并再次判断所述小目标图像处理任务是否完成。
[0037]可选的，所述方法还包括：
[0038]当所述边缘节点接收到云服务器发送的原始图像获取请求时，对所述原始图像执行编码处理，并将编码后的原始图像发送至所述云服务器。
[0039]本专利技术实施例还提供一种应用于元宇宙的边云协同编码系统，所述系统包括边缘节点及云服务器，其中，
[0040]所述边缘节点用于在接收到数字孪生的小目标图像处理任务的指令时，采集原始图像，对所述原始图像执行特征提取及编码处理，获取特征码流，将所述特征码流发送至云服务器；在接收到云服务器发送的第一感兴趣区域识别结果后，对所述原始图像执行区域图像提取处理，得到第一区域图像，对所述第一区域图像执行图像编码处理，得到区域图像码流，将所述区域图像码流发送至所述云服务器；
[0041]所述云服务器用于在接收到所述特征码流后，对所述特征码流进行处理，获取第一感兴趣区域识别结果，并将所述第一感兴趣区域识别结果发送至所述边缘节点；在接收到所述边缘节点发送的区域图像码本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种应用于元宇宙的边云协同编码方法，其特征在于，所述方法包括：当接收到数字孪生的小目标图像处理任务的指令时，边缘节点采集原始图像，对所述原始图像执行特征提取及编码处理，获取特征码流，将所述特征码流发送至云服务器；所述云服务器在接收到所述特征码流后，对所述特征码流进行处理，获取第一感兴趣区域识别结果，并将所述第一感兴趣区域识别结果发送至所述边缘节点；所述边缘节点基于所述第一感兴趣区域识别结果对所述原始图像执行区域图像提取处理，得到第一区域图像，对所述第一区域图像执行图像编码处理，得到区域图像码流，将所述区域图像码流发送至所述云服务器；所述云服务器在接收到所述区域图像码流后，对所述区域图像码流执行图像解码及区域推理处理，得到第二感兴趣区域识别结果，基于所述第二感兴趣区域识别结果判断所述小目标图像处理任务是否完成，当判断是时，所述云服务器进行所述数字孪生的小目标图像加载。2.根据权利要求1所述的方法，其特征在于，所述边缘节点采集原始图像，对所述原始图像执行特征提取及编码处理，获取特征码流，包括：所述边缘节点获取原始视频数据，对所述原始视频数据执行分帧处理，得到图像帧序列；对所述图像帧序列执行图像采集处理，得到多张原始图像，将所述原始图像写入图像队列；对所述图像队列中的每个图像执行特征提取处理，得到所述图像队列中每个图像对应的特征向量；将所述特征向量输入编码网络，得到所述图像队列中每个图像对应的特征码流。3.根据权利要求2所述的方法，其特征在于，所述对所述图像队列中的每个图像执行特征提取处理，得到所述图像队列中每个图像对应的特征向量，包括：提取所述图像序列中每个图像的边缘图像，将所述边缘图像输入第一特征提取网络，得到所述图像序列中每个图像的第一特征；将所述图像序列中每个图像输入第二特征提取网络，得到所述图像序列中每个图像的第二特征；基于所述第一特征及所述第二特征，得到所述图像序列中每个图像对应的特征向量。4.根据权利要求3所述的方法，其特征在于，所述提取所述图像序列中每个图像的边缘图像，包括：计算所述图像序列中每个图像的每个像素点的纹理特征值；根据所述纹理特征值判断每个图像的每个像素点是否为边缘点，根据判断结果获取所述图像序列中每个图像对应的边缘点集合；根据所述边缘点集合确定所述图像序列中每个图像的边缘图像。5.根据权利要求4所述的方法，其特征在于，所述计算所述图像序列中每个图像的每个像素点的纹理特征值，包括：从所述图像序列中选择一个图像的一个像素点，从选择的图像中获取选择的像素点的邻域像素点序列集；将所述选择的像素点的像素值作为像素阈值，将所述邻域像素点序列集中每个像素点
的像素值与所述像素阈值进行比对，基于比对结果确定所述选择的图像中选择的像素点的纹理特征值。6.根据权利要求5所述的方法，其特征在于，所述基于比对结果确定所述选择的图像中选择的...
【专利技术属性】
技术研发人员：张阳，
申请(专利权)人：中湾慧科深圳科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。