基于TensorFlowLite的移动客户端智能跟随方法及装置制造方法及图纸

本发明专利技术公开了一种基于TensorFlowLite的移动客户端智能跟随方法及装置，包括以下步骤：打开手机APP软件建立设备之间的BLE连接；用户从APP上选定当前屏幕上待拍摄追踪的目标类型；APP转入后台，并抓取前台屏幕上其他直播类APP软件正在拍摄的内容；图像预处理；调用TensorFlowLite算法识别图像；识别结果坐标转换；控制设备旋转；还公开了一种装置，该装置包括用于架设移动终端且带动移动终端旋转的支撑装置、以及支撑装置上带有跟随拍摄功能的APP软件的移动终端，本发明专利技术APP软件从后台抓取屏幕的内容，并控制设备转动，使被跟踪目标类型一直处于拍摄的中心，帮助第三方直播类软件扩大了的拍摄范围，只要将载有直播APP和本发明专利技术APP的手机放在本发明专利技术的支撑装置上，就可以控制该手机转动。控制该手机转动。控制该手机转动。

【技术实现步骤摘要】
基于TensorFlowLite的移动客户端智能跟随方法及装置


[0001]本专利技术属于物体识别跟随领域，尤其涉及一种基于TensorFlowLite的移动客户端智能跟随方法及装置。

技术介绍

[0002]当今社会，直播类自媒体已经迅速蔓延至人民生活的方方面面，成为一种新的社交方式，又是一种新的经济形态；直播门槛低，人人能参与，直观性强，互动性强；直播的真实性和丰富性，区别于图文时代，所见即所得，真实再现直播场景，直播的多样性使得平台更加垂直丰富，直接增加了与消费者互动性，有效进行沟通交流。
[0003]直播现场的硬件设施主要包括带有直播APP软件的手机和用于架设手机的稳定支架，现有技术存在的问题是：该稳定支架只能用于架设手机而不能控制手机旋转，当手机放在稳定支架上时，由于手机位置是固定的，使得手机摄像头能够拍摄的范围是有限的，往往人们只能拍摄固定范围的图像，如放置在桌上，拍摄手机正前方的画面是可以的，但如果拍摄对象移动到相机可拍摄的范围外，则无法记录到拍摄对象。也就是说，如果只是在手机上单纯开设一个抖音APP并放到支架上，那就只能拍摄到一个固定的角度。

技术实现思路

[0004]本专利技术为解决现有技术存在的问题，提出一种基于TensorFlowLite的移动客户端智能跟随方法及装置，目的在于解决现有技术的直播类软件受限于手机放置的位置、只能拍摄到一个固定的角度的问题。
[0005]本专利技术为解决其技术问题采用以下技术方案
[0006]一种基于TensorFlowLite的移动客户端智能跟随方法，包括以下步骤：
[0007]步骤一、打开手机APP软件建立设备之间的BLE连接；
[0008]步骤二、用户从APP上选定当前屏幕上待拍摄追踪的目标类型；
[0009]步骤三、APP转入后台，并抓取前台屏幕上其他直播类APP软件正在拍摄的内容；
[0010]步骤四、图像预处理；
[0011]步骤五、调用TensorFlowLite算法识别图像；
[0012]步骤六、识别结果坐标转换；
[0013]步骤七、控制设备旋转；
[0014]其特征在于：所述APP软件从后台抓取屏幕的内容，并控制设备转动，使被跟踪目标类型一直处于拍摄的中心。
[0015]所述步骤一的具体过程如下：
[0016]1)在手机上安装智能跟拍APP软件；
[0017]2)将手机放在可带动手机转动的支撑设备上；
[0018]2)APP启动后，主动开启BLE搜索，扫描附近的设备，当发现与此APP配套的支撑装置时，主动发起连接，与支撑装置建立BLE连接，用于后续发送旋转控制指令。
[0019]所述步骤二的具体过程如下：
[0020]1)APP软件在开始识别目标前，由用户从手机屏幕上指定将要识别的目标类别，目标类别可以是人脸、人形、猫、狗动物等；
[0021]2)所述可识别的目标分类包括但不限于以上几种分类，TensorFlowLite通过机器学习可以识别各种物体，因此可识别的目标分类可以根据需求的不同进行替换。
[0022]所述步骤三的具体过程如下：
[0023]1)用户选择目标类别后，APP软件从前台转入后台运行；
[0024]2)后台APP软件启动程序准备抓取当前屏幕的内容；
[0025]3)前台开启其他直播类APP，后台APP获取其他直播类APP正在拍摄的内容，该正在拍摄的内容包括用户选择的目标类别。
[0026]所述步骤四的具体过程如下：
[0027]1)对步骤三获取到的图像数据进一步处理，通过MediaCodec类创建一个解码器对象；
[0028]2)将图像数据交由解码器对象解码，即可获得YUV颜色格式的图像数据。
[0029]所述步骤五的具体过程如下：
[0030]1)将解码后的图像数据交由TensorFlowLite；
[0031]2)根据用户所选择的目标分类，使用相应的模型进行识别；
[0032]3)TensorFlowLite在识别出结果后，通过方法回调将识别结果告知APP。
[0033]所述步骤六的具体过程如下：
[0034]1)根据手机屏幕的大小与图像的大小计算缩放比例，按比例放大识别结果的坐标系；
[0035]2)坐标系转换公式为：
[0036]新识别结果坐标X＝(手机屏幕宽度
÷
480)x识别结果坐标X；
[0037]新识别结果坐标Y＝(手机屏幕高度
÷
640)x识别结果坐标Y。
[0038]所述步骤七的具体过程如下：
[0039]1)计算手机屏幕中心线；
[0040]2)使用步骤六中转换过的坐标计算出目标矩形在坐标系中的中心线；
[0041]3)若目标矩形的中心线与手机屏幕中心线的距离大于手机屏幕宽度的十分之一时，则通过BLE向设备发送开始旋转的指令，当检测到目标矩形的中心线与手机屏幕中心线的距离小于手机屏幕宽度的十分之一时，则通过BLE向设备发送停止开始旋转指令。
[0042]一种智能跟踪装置，其特征在于，该装置包括用于架设移动终端且带动移动终端旋转的支撑装置、以及支撑装置上带有跟随拍摄功能的APP软件的移动终端，所述的支撑装置和带有跟随拍摄功能的APP软件的移动终端通过蓝牙通讯，所述带有跟随拍摄功能的APP软件为基于TensorFlowLite算法的跟拍软件；所述支撑装置包括底座、底座上方的转动支架；所述转动支架包括支架臂、手机夹、角度转轴，支架壁上方设有手机夹、支架壁下方设有角度转轴，转动支架通过角度转轴与底座相连接；所述底座上设有带动角度转轴转动电机驱动装置，该电机驱动装置接收跟随拍摄APP软件指令，从而带动角度转轴转动。
[0043]所述带有跟随拍摄功能的APP软件包括初始化模块、用户标定目标类型模块、后台抓取屏幕内容模块、图像预处理模块、使用TensorFlowLite算法识别图像模块、识别结果坐
标转换模块、目标位置偏离屏幕中心计算模块、控制设备旋转模块；所述初始化模块用于通过BLE技术将移动终端与支撑装置建立连接，并按照约定的协议发送旋转指令对支撑装置进行控制；所述用户标定目标类型模块用于在手机屏幕的列表上选择目标类型；所述后台抓取屏幕内容模块利用Android系统提供的功能从后台提取前台屏幕上的图像数据；所述图像预处理模块用于对屏幕抓取的图像数据交由解码器对象解码，从而获得YUV颜色格式的图像数据、并将解码后的图像数据交由TensorFlowLite；所述使用TensorFlowLite算法识别图像模块用于对用户所选择的目标分类，使用相应的模型进行识别；所述的识别结果坐标转换模块用于将图像坐标系与手机屏幕坐标系取得一致，以实现按比例放大识别结果；所述目标位置偏离屏幕中心计算模块用于计算目标中心点到屏幕中心点的偏离位置；所述控制设备旋转模块用于根据偏离位置控制支撑装置转动角度。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于TensorFlowLite的移动客户端智能跟随方法，包括以下步骤：步骤一、打开手机APP软件建立设备之间的BLE连接；步骤二、用户从APP上选定当前屏幕上待拍摄追踪的目标类型；步骤三、APP转入后台，并抓取前台屏幕上其他直播类APP软件正在拍摄的内容；步骤四、图像预处理；步骤五、调用TensorFlowLite算法识别图像；步骤六、识别结果坐标转换；步骤七、控制设备旋转；其特征在于：所述APP软件从后台抓取屏幕的内容，并控制设备转动，使被跟踪目标类型一直处于拍摄的中心。2.根据权利要求1所述一种基于TensorFlowLite的移动客户端智能跟随方法，其特征在于：所述步骤一的具体过程如下：1)在手机上安装智能跟拍APP软件；2)将手机放在可带动手机转动的支撑设备上；2)APP启动后，主动开启BLE搜索，扫描附近的设备，当发现与此APP配套的支撑装置时，主动发起连接，与支撑装置建立BLE连接，用于后续发送旋转控制指令。3.根据权利要求1所述一种基于TensorFlowLite的移动客户端智能跟随方法，其特征在于：所述步骤二的具体过程如下：1)APP软件在开始识别目标前，由用户从手机屏幕上指定将要识别的目标类别，目标类别可以是人脸、人形、猫、狗动物等；2)所述可识别的目标分类包括但不限于以上几种分类，TensorFlowLite通过机器学习可以识别各种物体，因此可识别的目标分类可以根据需求的不同进行替换。4.根据权利要求1所述一种基于TensorFlowLite的移动客户端智能跟随方法，其特征在于：所述步骤三的具体过程如下：1)用户选择目标类别后，APP软件从前台转入后台运行；2)后台APP软件启动程序准备抓取当前屏幕的内容；3)前台开启其他直播类APP，后台APP获取其他直播类APP正在拍摄的内容，该正在拍摄的内容包括用户选择的目标类别。5.根据权利要求1所述一种基于TensorFlowLite的移动客户端智能跟随方法，其特征在于：所述步骤四的具体过程如下：1)对步骤三获取到的图像数据进一步处理，通过MediaCodec类创建一个解码器对象；2)将图像数据交由解码器对象解码，即可获得YUV颜色格式的图像数据。6.根据权利要求1所述一种基于TensorFlowLite的移动客户端智能跟随方法，其特征在于：所述步骤五的具体过程如下：1)将解码后的图像数据交由TensorFlowLite；2)根据用户所选择的目标分类，使用相应的模型进行识别；3)TensorFlowLite在识别出结果后，通过方法回调将识别结果告知APP。7.根据权利要求1所述一种基于TensorFlowLite的移动客户端智能跟随方法，其特征在于：所述步骤六的具体过程如下：
1)根据手机屏幕的大小与图像的大小计算缩放比例，按比例放大识别结...

【专利技术属性】
技术研发人员：鲁鹏飞，鲁霖，王清洲，王春海，
申请(专利权)人：厦门市思芯微科技有限公司，
类型：发明
国别省市：