【技术实现步骤摘要】
本专利技术涉及人工智能及金融科技，尤其涉及一种银行网点多人重建方法和装置。
技术介绍
1、实体网点作为银行的一个重要服务渠道，承载了交易、形象展示等功能。随着互联网金融技术的持续发展，对实体网点的服务快捷化、个性化等提出更高的要求。相对于线上的金融服务，银行网点为客户提供更加复杂、更注重客户体验的金融需求。目前客户线下业务处理需求仍然较多，银行网点常常多人排队，造成银行网点较为拥挤且客户处理业务等待时间长，容易造成客户流失。因此，急需一种可以对银行网点进行计数、人体重建及三维位置估计的方法，以反馈当前网点的拥挤情况，辅助客户选择合理的营业网点与办理业务时间。
2、随着计算机视觉领域的发展，人体三维重建技术在影视、游戏等方面有着广泛的应用。目前利用图像进行多人三维重建成为计算机视觉领域的一个重要研究内容。现有的研究利用实验室采集的数据等在该研究领域取得了较好的重建结果，但是仍然面临着一些问题，第一当图片中人数较多时，遮挡严重，人体姿态与形状重建结果不正确。第二，在人体重建过程中，将相机模型简化为弱透视模型，忽略了三维空间位置，或基于人的身高进行深度估计，无法解决人的身高与深度之间的模糊问题。
技术实现思路
1、有鉴于此，本专利技术提供一种银行网点多人重建方法和装置，以解决上述提及的至少一个问题。
2、为了实现上述目的，本专利技术采用以下方案：
3、根据本专利技术的第一方面，提供一种银行网点多人重建方法，所述方法包括：利用摄像机获取银行网点大厅内的现
4、作为本专利技术的一个实施例，上述方法还包括：利用摄像机获取银行网点大厅内同一个人在不同位置的图像数据；估计所述不同位置的图像数据中的二维关节点；对估计错误及缺失的二维关节点进行修正；利用修正后的二维关节点获取左右脚踝中点和脖子的二维点；基于优化的方法求解得到地面方程。
5、作为本专利技术的一个实施例，上述方法中将所述现场图像数据输入多人重建模型获得人体中心特征图、二维位置特征图以及皮肤多人线性模型和偏移特征图包括：通过骨干网络hrnet32对输入的现场图像进行特征提取；将提取到的特征输入三个不同的分支网络，其中每个分支网络都由两个resnet块和批量归一化组成；通过所述三个分支网络处理后输出获得人体中心特征图、二维位置特征图以及皮肤多人线性模型和偏移特征图。
6、作为本专利技术的一个实施例，上述方法中根据所述人体中心特征图从所述二维位置特征图以及所述皮肤多人线性模型和偏移特征图中提取相应的参数包括：根据所述人体中心特征图中人体的中心点位置，在所述二维位置特征图以及所述皮肤多人线性模型和偏移特征图中的对应位置处获取相应的参数。
7、作为本专利技术的一个实施例，上述方法中基于所述二维位置、皮肤多人线性模型参数、三维偏移、相机内参以及地面方程重建人体的三维空间位置包括：基于所述二维位置、相机内参和地面方程，根据小孔成像原理以及地面约束，获得人体的粗略三维空间位置；基于所述人体的粗略三维位置、所述三维偏移及所述皮肤多人线性模型参数获得人体的精确三维空间位置及相机坐标系下的人体网格。
8、作为本专利技术的一个实施例，上述方法中基于所述二维位置、相机内参和地面方程，根据小孔成像原理以及地面约束，获得人体的粗略三维空间位置包括：将人体的躯干中心在地面上的投影点定义为中心投影点p＝(px,py,pz)t，根据预测得到的相机参数和地面方程，人体的粗略三维空间位置通过如下方程计算得到：
9、
10、其中，p为人体的粗略三维空间位置，k为相机内参矩阵，p是二维位置，是p的齐次坐标，n表示地面法向量，t表示转置操作，d为常量。
11、作为本专利技术的一个实施例，上述方法中基于所述人体的粗略三维位置、所述三维偏移及所述皮肤多人线性模型参数获得人体的精确三维空间位置及相机坐标系下的人体网格包括：基于所述三维偏移，利用下式获得人体的精确三维空间位置：
12、t3d＝-mean(j脚踝)+δ3d+p；
13、上式中，t3d为人体的精确三维空间位置，j脚踝是左右脚踝的三维坐标，δ3d是三维偏移，p是人体的粗略三维空间位置；
14、基于所述人体的精确三维空间位置以及皮肤多人线性模型参数，利用下式获取相机坐标系下的人体网格：
15、m相机＝m+t3d；
16、上式中，m为皮肤多人线性模型标准空间下的人体网格。
17、根据本专利技术的第二方面，提供一种银行网点多人重建装置，所述装置包括：图像数据获取单元，用于利用摄像机获取银行网点大厅内的现场图像数据；特征图获取单元，用于将所述现场图像数据输入多人重建模型获得人体中心特征图、二维位置特征图以及皮肤多人线性模型和偏移特征图；参数获取单元，用于根据所述人体中心特征图从所述二维位置特征图以及所述皮肤多人线性模型和偏移特征图中提取相应的参数，所述参数包括二维位置、皮肤多人线性模型参数以及三维偏移；计数单元，用于基于所述人体特征图对网点大厅内的人群进行计数；重建单元，用于基于所述二维位置、皮肤多人线性模型参数、三维偏移、相机内参以及地面方程重建人体的三维空间位置。
18、作为本专利技术的一个实施例，上述图像数据获取单元还用于利用摄像机获取银行网点大厅内同一个人在不同位置的图像数据；上述装置还包括：关节点估计单元，用于估计所述不同位置的图像数据中的二维关节点；修正单元，用于对估计错误及缺失的二维关节点进行修正；二维点获取单元，用于利用修正后的二维关节点获取左右脚踝中点和脖子的二维点；地面方程获取单元，用于基于优化的方法求解得到地面方程。
19、作为本专利技术的一个实施例，上述特征图获取单元包括：特征提取模块，用于通过骨干网络hrnet32对输入的现场图像进行特征提取；特征输入模块，用于将提取到的特征输入三个不同的分支网络，其中每个分支网络都由两个resnet块和批量归一化组成；特征图输出模块，用于通过所述三个分支网络处理后输出获得人体中心特征图、二维位置特征图以及皮肤多人线性模型和偏移特征图。
20、作为本专利技术的一个实施例，上述参数获取单元根据所述人体中心特征图从所述二维位置特征图以及所述皮肤多人线性模型和偏移特征图中提取相应的参数包括：根据所述人体中心特征图中人体的中心点位置，在所述二维位置特征图以及所述皮肤多人线性模型和偏移特征图中的对应位置处获取相应的参数。
21、作为本专利技术的一个实施例，上述重建单元包括：粗略位置获取模块，用于基于所述二维位置、相机内参和地面方程本文档来自技高网...
【技术保护点】
1.一种银行网点多人重建方法，其特征在于，所述方法包括：
2.如权利要求1所述的银行网点多人重建方法，其特征在于，所述方法还包括：
3.如权利要求1所述的银行网点多人重建方法，其特征在于，所述的将所述现场图像数据输入多人重建模型获得人体中心特征图、二维位置特征图以及皮肤多人线性模型和偏移特征图包括：
4.如权利要求1所述的银行网点多人重建方法，其特征在于，所述的根据所述人体中心特征图从所述二维位置特征图以及所述皮肤多人线性模型和偏移特征图中提取相应的参数包括：
5.如权利要求1所述的银行网点多人重建方法，其特征在于，所述的基于所述二维位置、皮肤多人线性模型参数、三维偏移、相机内参以及地面方程重建人体的三维空间位置包括：
6.如权利要求5所述的银行网点多人重建方法，其特征在于，所述的基于所述二维位置、相机内参和地面方程，根据小孔成像原理以及地面约束，获得人体的粗略三维空间位置包括：
7.如权利要求6所述的银行网点多人重建方法，其特征在于，所述的基于所述人体的粗略三维位置、所述三维偏移及所述皮肤多人线性模型参数获
8.一种银行网点多人重建装置，其特征在于，所述装置包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
...【技术特征摘要】
1.一种银行网点多人重建方法，其特征在于，所述方法包括：
2.如权利要求1所述的银行网点多人重建方法，其特征在于，所述方法还包括：
3.如权利要求1所述的银行网点多人重建方法，其特征在于，所述的将所述现场图像数据输入多人重建模型获得人体中心特征图、二维位置特征图以及皮肤多人线性模型和偏移特征图包括：
4.如权利要求1所述的银行网点多人重建方法，其特征在于，所述的根据所述人体中心特征图从所述二维位置特征图以及所述皮肤多人线性模型和偏移特征图中提取相应的参数包括：
5.如权利要求1所述的银行网点多人重建方法，其特征在于，所述的基于所述二维位置、皮肤多人线性模型参数、三维偏移、相机内参以及地面方程重建人体的三维空间位置包括：
6.如权利要求5所述的银行网点多人重建方...
【专利技术属性】
技术研发人员：崔慧丽，徐玙萌，罗伟，刘强，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。