AR增强现实技术有关数据科学研究的解读

原作者: 人工智能 收藏 分享 邀请

AR从其手艺手腕和表示方式上,可以明白分为年夜约两类,一是Vision based AR,即基于计较机视觉的AR,二是LBS basedAR,即基于地舆地位信息的AR。

Vision based AR

基于计较机视觉的AR是操纵计较机视觉方式成立实际世界与屏幕之间的映射关系,使我们想要绘制的图形或是3D模子可以好像凭借在实际物体上普通揭示在屏幕上,若何做到这一点呢?素质下去讲就是要找到实际场景中的一个凭借立体,然后再将这个3维场景下的立体映射到我们2维屏幕上,然后再在这个立体上绘制你想要揭示的图形,从手艺完成手腕上可以分为2类:

1、 Marker-Based AR

这种完成方式需求一个事前建造好的Marker(例如:绘制着必然规格外形的模板卡片或许二维码),然后把Marker放到实际中的一个地位上,相当于断定了一个实际场景中的立体,然后经由过程摄像头对Marker停止辨认和姿势评价(Pose Estimation),并断定其地位,然后将该Marker中间为原点的坐标系称为Marker Coordinates即模板坐标系,我们要做的工作现实上是要获得一个变换从而使模板坐标系和屏幕坐标系成立映射关系,如许我们按照这个变换在屏幕上画出的图形就可以到达该图形凭借在Marker上的结果,了解其道理需求一点3D射影几何的常识,从模板坐标系变换到真实的屏幕坐标系需求先扭转平移到摄像机坐标系(Camera Coordinates)然后再从摄像机坐标系映射到屏幕坐标系。

人工智能图片

在现实的编码中,一切这些变换都是一个矩阵,在线性代数中矩阵代表一个变换,对坐标停止矩阵左乘即是一个线性变换(关于平移这种非线性变换,可以采取齐次坐标来停止矩阵运算)。公式如下:

人工智能图片

矩阵C的学名叫摄像机内参矩阵,矩阵Tm叫摄像机外参矩阵,此中内参矩阵是需求事前停止摄像机标定获得的,而外参矩阵是未知的,需求我们按照屏幕坐标(xc ,yc)和事前界说好的Marker 坐标系以及内参矩阵来估量Tm,然后绘制图形的时辰按照Tm来绘制(初始估量的Tm不敷切确,还需求利用非线性最小二乘停止迭代寻优),好比利用OpenGL绘制的时辰就要在GL_MODELVIEW的形式下加载Tm矩阵来停止图形显示。

2、 Marker-Less AR

根基道理与Marker based AR不异,不外它可以用任何具有足够特点点的物体(例如:书的封面)作为立体基准,而不需求事前建造非凡的模板,解脱了模板对AR使用的束厄局促。它的道理是经由过程一系列算法(如:SURF,ORB,FERN等)对模板物体提取特点点,并记实或许进修这些特点点。当摄像头扫描四周场景,会提取四周场景的特点点并与记实的模板物体的特点点停止比对,假如扫描到的特点点和模板特点点婚配数目跨越阈值,则以为扫描到该模板,然后按照对应的特点点坐标估量Tm矩阵,之后再按照Tm停止图形绘制(方式与Marker-Based AR近似)。

LBS-Based AR

其根基道理是经由过程GPS获取用户的地舆地位,然后从某些数据源(好比wiki,google)等处获取该地位四周物体(如四周的餐馆,银行,黉舍等)的POI信息,再经由过程挪动装备的电子指南针和加快度传感器获取用户手持装备的标的目的和倾斜角度,经由过程这些信息成立方针物体在实际场景中的立体基准(相当于marker),之后坐标变换显示等的道理与Marker-Based AR近似。

这种AR手艺操纵装备的GPS功用及传感器来完成,解脱了使用对Marker的依靠,用户体验方面要比Marker-Based AR更好,并且因为不消及时辨认Marker姿势和计较特点点,机能方面也好于Marker-Based AR和Marker-Less AR,是以比照Marker-Based AR和Marker-Less AR,LBS-Based AR可以更好的使用到挪动装备上。

人工智能图片

使用数据迷信研讨法

机械进修和深度进修算法的优化计较才能:

AR加强实际的手艺支持

辨认与跟踪手艺

在完成加强实际的进程中,需求对真实的场景和信息停止阐发,天生虚拟事物信息。这两步看似复杂,实在在现实停止进程中,需求将摄像机取得的真实场景的视频流,转化成数字图像,然后经由过程图像处置手艺,辨识出事后设置的标记物。

人工智能图片

辨认出标记物之后,一标记物作为参考,连系定位手艺,由加强实际法式断定需求添加的三维虚拟物体在加强实际情况中的地位和标的目的,并断定数字模板的标的目的。将标记物中的标识符号与事后设定的数字模板镜像婚配,断定需求添加的三维虚拟物体的根基信息。天生虚拟物体,并用法式按照标识物体地位,将虚拟物体放置在准确的地位上。这此中触及到的辨认跟踪和定位成绩,是加强实际的最年夜的困难之一。

要完成虚拟和实际事物的完满连系,必需断定虚拟物体在实际情况中正确的地位,正确的标的目的,不然加强实际的结果就会年夜打扣头。而在实际情况中,因为实际情况的不完满性,或许称为庞杂性,加强实际零碎在这种情况下的结果远不如在尝试室的抱负情况中。因为实际情况中的遮挡,未聚焦,光照不平均,物体活动速渡过快等成绩,对加强实际的跟踪定位零碎提出了应战。

假如不思索与加强实际停止交互的装备,其首要完成跟踪定位的方式有如下两种:

图像检测法

利用形式辨认手艺(包罗模板婚配,边沿检测等方式),辨认取得的数字图像中事后设置的标记物,或是基准点,轮廓,然后按照其偏移间隔和偏转角度计较转化矩阵断定虚拟物体的地位和标的目的。

人工智能图片

这种方式停止跟踪定位不需求其他的装备,并且切确度较高,是以是加强实际手艺中最罕见的定位方式。在模板婚配时,零碎会事后存储很多多少种模板,来和图像中检测到的标记物婚配来计较定位。复杂的模板婚配可以进步图像检测的效力,因也为加强实际的及时性供给了保证。经由过程计较图像中标记物的偏移和偏转,也可以或许做到三维虚拟物体的全方位不雅察。模板婚配普通用于对应特定图片三维成像,装备经由过程扫描特定的图片,将这些图片中的非凡标记位与事后存储的模板婚配,即可出现三维虚拟模子。好比汽车店的车模卡片,玩具公司的人物卡片,都可以用模板婚配来停止加强实际。边沿检测可以检测出人体的一些部位,同时也可以跟踪这些部位的活动,将其与虚拟物体物体无缝交融。好比,真实的手提起虚拟的物体,摄像机可以经由过程跟踪用户手的轮廓,活动体例来调剂虚拟物体的方位。是以,很多商场的虚拟商品适用,多会利用边沿检测。

固然图形检测法复杂高效,但也有其缺乏的处所。图像检测多用于绝对抱负的情况以及近间隔的情况,如许取得的视频流和图像信息会清楚,易于停止定位计较。而假如在室外情况中,光线的明暗,物体的遮挡,以及聚焦成绩,使得加强实际零碎不克不及很好的辨认出图像中的标记物,或是呈现和标记物类似的图像,如许城市影响加强实际的结果。而此时,就需求其他跟踪定位方式的辅佐。

全球卫星定位零碎法

这种方式是基于具体的GPS信息停止跟踪和断定用户的地舆地位信息。当用户在真实情况中行走时,可以操纵这些定位信息和用户摄像机的标的目的掉误,加强实际零碎能将虚拟信息和虚拟物体切确的情况景物以及四周的人物之上。今朝因为智能装备的普及,智妙手机的普遍使用,而又因为智妙手机具有撑持基于GPS定位法的加强实际零碎的根基组件:摄像机,显示屏,GPS功用,信息处置器,数字罗盘等,并把它们集成为一体,是以这种跟踪定位法多用于这种智能挪动装备上。一种称为加强实际阅读器的使用法式,首要就是使用这种方式。加强实际阅读器可以或许在智妙手机上运转,它可以毗连互联网,搜刮相干的信息,然后让用户在真实的情况看到相干的信息。加强实际阅读器可以或许可以让用户领会到摄像机标的目的的简直一切事物的信息,好比找到一家间隔很近可是被遮盖住的餐厅,或是获取用户对一家咖啡馆的评价。

人工智能图片

这种定位体例合适于室外的跟踪定位,可以降服在室外情况中,光照,聚焦等不断定身分对图像检测法形成的影响。

实在在加强实际零碎现实应用的情况中,往往不会用单一的定位方式来定向定位。好比加强实际阅读器也会应用图像检测法来检测一些特定的符号,例如QR码。辨认出QR码在停止模板婚配,即可为用户供给信息。


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

本文作者2020-5-6 07:37 PM
人工智能
粉丝1 阅读70 回复0

精彩阅读

排行榜

人工智能公众号

扫码微信公众号
我陪你畅想未来

最智能的人工智能网!
QQ:162057003
周一至周五 9:00-18:00
意见反馈:162057003@qq.com

扫一扫关注我们

Powered by Discuz! X3.4   © 2020 ( 鲁ICP备18055727号 )  |  |网站地图