【技术实现步骤摘要】
基于MR眼镜的广告推送管理方法、设备及应用
本专利技术属于广告推送
，尤其涉及一种基于MR眼镜的广告推送管理方法、设备及应用。
技术介绍
目前，AR/MR/XR眼镜存在隐私安全风险，在当前现有MR/AR/VR智能眼镜的广告/内容的推荐技术中都需要前置摄像头获取并分析用户当前周围环境，进而推送与场景相关的广告内容，在这个技术环节中需要无时无刻启动前置摄像头，其中无时无刻记录数据的摄像头会在不经意间侵害其他人的隐私，隐私问题在未来会成为“AR广告推荐系统”商业化的头号敌人。不仅如此始终启动摄像头对MR眼镜的电池续航能力也带来不小的挑战，降低MR眼镜整体体验。如今是个信息爆炸的互联网时代，大量的广告信息无处不见，充斥着人们的生活，人们越来越厌烦无用的广告。众所周知，精准营销是当下各大营销手段的重要方向，但随着人们生活水平的进一步提高，消费者们对产品的个性化需求不断凸显，精准营销的难度也不断提高，并且传统的户外传媒广告的营销手段难以量化，最终效果难以保证。可以预判在未来智能眼镜时代上述的问题会更加严重。对比于专利技术专利《AR智能眼镜的应用基于眼动追踪技术的广告推送方法》CN108960937，其仅仅是基于用户兴趣进行信息推送，推送信息不全面。目前国内外公开的一些专利技术专利中，通过采集并分析用户的生理数据来判断用户对当前视觉前方事物的感兴趣程度，进而根据兴趣程度向用户呈现与该事物相关的内容信息。但是往往上述的方法是不准确的。原因在于当人类看到视觉前方感兴趣/厌恶的事物或事件时，可能会引起生物反...
【技术保护点】
1.一种基于MR眼镜的广告推送管理方法，其特征在于，所述基于MR眼镜的广告推送管理方法包括：/n步骤一，识别场景，通过MR眼镜定位系统确认用户当前场景；/n步骤二，识别用户当前运动状态，通过MR眼镜的加速度传感器、陀螺仪、IMU判断用户当前的运动状态是否适合弹出/推送内容信息；/n步骤三，物体检测，利用MR眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行AI对象识别，同时AI识别技术识别并框选图像中多个物体具体，利用MR眼镜终端的本地处理器运行预先训练好的特征数据库识别图像中兴趣物体，其中MR眼镜的前置摄像头拍到的图像被配置为与用户眼睛所看到的物理世界影像画面一致；在对象检测后，根据图像识别和图像分割结果在对象外围设置边界框图；/n步骤四，空间环境识别，空间分析模块根据步骤三多个物体检测结果分析用户当前物理环境，根据环境更进一步确认步骤一识别的环境和隐私安全；/n步骤五，显示内容筛选，根据对象识别和分类结果接收实体店商家预设推广的广告信息，将图中每个物体属性/标签与用户个人信息匹配，筛选出用户不喜欢/不需要的物体图像信息，或者筛选掉不适合当前用户情绪内容；/n步骤六，...
【技术特征摘要】
1.一种基于MR眼镜的广告推送管理方法，其特征在于，所述基于MR眼镜的广告推送管理方法包括：
步骤一，识别场景，通过MR眼镜定位系统确认用户当前场景；
步骤二，识别用户当前运动状态，通过MR眼镜的加速度传感器、陀螺仪、IMU判断用户当前的运动状态是否适合弹出/推送内容信息；
步骤三，物体检测，利用MR眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行AI对象识别，同时AI识别技术识别并框选图像中多个物体具体，利用MR眼镜终端的本地处理器运行预先训练好的特征数据库识别图像中兴趣物体，其中MR眼镜的前置摄像头拍到的图像被配置为与用户眼睛所看到的物理世界影像画面一致；在对象检测后，根据图像识别和图像分割结果在对象外围设置边界框图；
步骤四，空间环境识别，空间分析模块根据步骤三多个物体检测结果分析用户当前物理环境，根据环境更进一步确认步骤一识别的环境和隐私安全；
步骤五，显示内容筛选，根据对象识别和分类结果接收实体店商家预设推广的广告信息，将图中每个物体属性/标签与用户个人信息匹配，筛选出用户不喜欢/不需要的物体图像信息，或者筛选掉不适合当前用户情绪内容；
步骤六，呈现信息提示，将步骤四信息筛选后的内容提示通知以全息影像的形式被MR眼镜光学显示器渲染呈现；
步骤七，选中信息筛选后的对象，将步骤三物体检测后框选的局部图像从大图像中截取出来，上传至云端广告服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，检索结果回传至终端MR眼镜；
步骤八，MR眼镜下载服务器内容数据至储存器，将简易广告内容信息以全息影像的形式被MR眼镜光学显示器渲染呈现。
2.如权利要求1所述的基于MR眼镜的广告推送管理方法，其特征在于，所述步骤一中，通过MR智能眼镜定位技术包括但不限于GPS/北斗卫星和WiFi模块、通信信号基站获得定位位置信息，在购物大卖场，商业街，娱乐具有消费行为的场所，则启动广告推荐系统。
3.如权利要求1所述的基于MR眼镜的广告推送管理方法，其特征在于，所述步骤一进一步包括：
通过用户日常作息习惯判断当前时刻是否适合弹出内容信息，具体包括：
系统调用当前时间与用户作息规律数据匹配判断是否可以启动广告推荐系统；
对于隐私安全风险，在当前现有MR/AR/VR智能眼镜的广告/内容的推荐技术中需前置摄像头获取并分析用户当前周围环境，进而推送与场景相关的广告内容。
4.如权利要求1所述的基于MR眼镜的广告推送管理方法，其特征在于，所述步骤二中，采集加速度传感器数掘以及陀螺仪传感器数据；其中，加速度传感器数据以及陀螺仪传感器数据分别包括x轴、Y轴和z轴三个子维度的数据；
加速度传感器以及陀螺仪传感器可以设置于智能电子设备中，智能电子设备包括智能MR眼镜；待识别数据通过加速度传感器以及陀螺仪传感器获取的传感器数据；加速度传感器和陀螺仪传感器能够记录该智能MR眼镜被使用过程中的各种数据。
5.如权利要求1所述的基于MR眼镜的广告推送管理方法，其特征在于，所述步骤三中，前置摄像头拍到的物理世界图像数据经过预处理程序，执行图像数据的过滤，校正；图像预处理器基于视觉和/或深度图像数据将图像数据分割成区域；
通过MR眼镜的对象检测器真实世界图像中的对象进行AI识别和分类，并确定由MR设备观察到的场景中的真实世界的对象的位置和/或姿势。
6.如权利要求5所述的基于MR眼镜的广告推送管理方法，其特征在于，利用各种已知的计算机对象识别技术来识别现实世界场景的图像中的对象；对象识别使用基于外观的方法，将图像与已知对象的参考图像进行比较以识别对象；基于外观的方法的包括边缘匹配，灰度匹配，接收场响应的直方图；
对象识别使用依赖于匹配对象特征和图像特征的基于特征的方法；基于特征的方法包括姿势聚类，几何哈希，尺度不变特征变换，解释树；
所述一个或多个对象检测/分类模型包括：用于机器学习算法，一个或多个决策树的参数或随机森林，经过培训检测和/或分类提供给机器学习算法的图像数据中捕获的现实世界对象。
7.如权利要求1所述的基于MR眼镜的广告推送管理方法，其特征在于，所述步骤四具体包括：
空间分析模块被配置为识别/分类和确定由MR设备观察到的物理空间的边界；空间分析模块被配置为使用对象检测器的AI对象识别结果与场景特征库进行比对，分析出用户当前环境是否为隐私安全风险区；在场景特征库中每一个或几种物体组合都对应着环境场景；通过一个或多个特征物体识别出不同场所；如果用户当前环境是隐私安全高风险区则系统关闭摄像头或禁止摄像头记录照片/视频等图像数据，如果用户当前环境是隐私安全低/无风险区则持续启动摄像头，并启动内容推荐系统，及对对步骤一通过定位技术识别的环境进行二次确认，排除隐私敏感区。
8.如权利要求1所述的基于MR眼镜的广告推送管理方法，其特征在于，所述步骤五进一步包括：在MR眼镜对物体识别/分类后，根据物体特征与用户个人信息匹配，进而过滤掉一部分信息再进行显示，其中所述个人信息包括但不限于个人兴趣库、兴趣标签、用户画像、历史眼动注视点兴趣库、用户姓名、个人资料图片、联系信息、出生日期、性别、婚姻状况、家庭状况、工作、教育背景、视觉偏好、兴趣或其他人口统计信息。
9.如权利要求1所述的基于MR眼镜的广告推送管理方法，其特征在于，所述步骤六进一步包括：
系统在目标物体位置呈现提示通知，所述通知是以下各项中的一项或多项：弹出通知，声音通知，振动，基于对象的内容共享用户界面中的通知文本或图标，社交媒体服务中的通知消息，文本消息，一旦添加新的内容项，系统就会使用户的设备发出声音或振动；
用户单独配置通知的类型以接收与用户相关联的每个对象或对象类别；用户单独配置是否接收与用户相关联的每个对象和/或对象类别的通知；
还使用通知模块对目标物体位置呈现提示通知，该通知模块使MR眼镜系统的OS可以将物体识别结果与应用程序匹配，再将通知与已在OS中注册的应用程序对象进行匹配，从而将对象标识为通知的目标；OS通过例如将通知有效负载中包含的上下文标识符(ID)与系统中注册的所有对象的上下文ID进行比较，并找到具有匹配上下文ID的对象来执行此步骤；在将对象标识为通知的目标后，操作系统可以调用与对象的应用程序关联的特殊通知处理程序，但与应用程序的主过程分开；
通知处理程序是与应用程序的主要可执行文件不同的可执行文件；然后，通知处理程序可以执行代码，以在系统UI中相对于对象在上下文中处理和呈现通知。
10.如权利要求1所述的基于MR眼镜的广告推送管理方法，其特征在于，所述步骤七进一步包括：
在云端服务器根据终端MR眼镜传回的位置信息、场景信息、局部图像进行检索，检索数据库中是否有与目标物体对应的广告信息；所述云端服务器被配置为一种接收/收集实体店商家广告投放需求的广告投放平台，商家可以在广告投放平台上设置介绍内容、优惠卷、打折信息任何广告内容，甚至可以链接商家的自有小程序。
11.如权利要求1所述的基于MR眼镜的广告推送管理方法，其特征在于，所述步骤八进一步包括：
系统基于环境地图中的相关物理对象的位置来确定要显示全息内容的方向和三维位置；某全息内容在物理对象-椅子上显示时，环境地图中椅子的表面或附近的位置被确定为该全息内容显示的三维位置；从环境地图生成单元获取的成像装置的位置和姿势，然后将确定的三维位置转化为光学成像屏幕上的平面位置和全息内容深度，计算出的输入图像中的位置处来生成输出图像显示在MR眼镜的光学显示器商；
用户移动使得用户对物理对象的视角改变，则电子设备检测到用户的移动并且调整用户对资产的视图以与用户的移动相对应；通过传感器或通过分析由照相机捕获的图像来检测用户的移动；
使用同时定位和映射技术来调整用户对资产的看法；在SLAM中，通过连续的摄像机帧跟踪一组点；使用这些轨迹，对点的3D位置进行三角剖分，同时使用估计的点位置来计算观察点的相机姿态；使用3D位置和相机姿势，还调整用户的资产视图。
12.如权利要求11所述的基于MR眼镜的广告推送管理方法，其特征在于，所述用户的交互指令具体包括：眼动交互、手势识别交互、外设控制器、有声/无声语音识别、头动交互；
(1)MR眼镜的眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眼跳轨迹以及注视时长等，当注视时长超过一定时长，则视为对某一位置进行了对应眼球的行为动作，例如对交互界面中的望远模式的UI按钮做出了凝视对应点击操作(眼睛行为动作)的动作，即显示内容信息；
(2)MR眼镜的手势识别模块检测手部做出特定的动作，例如手势识别装置接收到用户手部的运动信息，或识别手部特定的形状，与上、下、左、右滑动、放大、缩小、点击以及关闭等控制选项相关联，进而即显示内容信息；
(3)通过操控设备的含有无线信号传输的移动控制器，握持按键式控制器、穿戴式手套以及指套控制器，向MR眼镜发射控制信号，通过操作交互界面，点击UI按钮进入望远模式，其中包括6DoF加速度传感器追踪技术和6DoF电磁追踪技术手柄；
(4)通过MR眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备显示内容信息；
(5)通过头动追踪装置选择交互界面的按钮，例如通过在MR眼镜的的加速度传感器、陀螺仪、磁力计计算用户头部的运动，在MR眼睛视野中央设置一个与头部相对位置固定的光标，移动头部控制光标选择位置与全息UI界面进行点击确认，即显示内容信息。
13.如权利要求1所述基于MR眼镜的广告推送管理方法，其特征在于通过识别用户生物信息判断是否对当前物体感兴趣，然后系统向用户推送该内容信息，通过缓存视频获取即时信息，所述基于MR眼镜的广告推送管理方法还包括：
步骤S211:识别场景：通过MR眼镜卫星定位系统确认用户当前场景，再通过用户日常作息习惯判断当前时刻是否适合弹出内容信息；
步骤S212：识别用户当前运动状态：通过MR眼镜的加速度传感器、陀螺仪、IMU判断用户当前的运动状态是否适合弹出内容信息；
步骤S213：物体检测：利用MR眼镜的本地算力运行对象检测器对前置摄像头拍到的物理世界图像数据进行AI对象识别，同时AI识别技术识别并框选图像中多个物体；
步骤S204：空间环境识别：空间分析模块根据“S213的多个物体检测结果”分析用户当前物理环境，根据环境更进一步确认S101识别的环境和隐私安全；
步骤S215:循环录制缓存：MR眼镜前置摄像头循环录制一段时间内的视频、照片、音频，缓存在MR眼镜本地存储器中；
步骤S216:检测用户当前生物信息，包括眼动行为数据、脑电数据、心跳、血压、呼吸频率，判断用户是否可能对当前影像感兴趣。
步骤S217：调取并分析用户“感兴趣生物指标”时间前后的缓存图像/视频/音频，AI识别技术识别图像/视频中物体或事件，及识别图像显著性，同时并框选图像物体；
步骤S218:MR眼镜将S213物体检测后框选的局部图像从大图像中截取出来，上传至云端广告服务器，云端服务器对接收到的物体局部图像进行匹配识别，在数据库中检索相关内容信息，检索结果回传至终端MR眼镜；其中内容信息包括文字、图片、音频、视频、应用程序；同时对目标物体或事件位置坐标出呈现“内容提示通知”，以全息影像的形式被MR眼镜光学显示器渲染呈现；
步骤S219:MR眼镜等待用户对“内容提示通知”的交互行为，同时MR眼镜下载服务器内容数据至缓存；如果接收到用户的交互指令，则进一步呈现服务器传回的内容信息；如果未接收到用户的交互指令，则当“内容提示通知”离开用户视野画面后一段时间自动消失，清空缓存...
【专利技术属性】
技术研发人员：陈涛，朱若晴，
申请(专利权)人：幻蝎科技武汉有限公司，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。