来源于智东西 ，作者孙, 悦
智能眼镜被认为是可穿戴设备的一大突破，它将渗透进我们日常生活当中的方方面面。这项技术具有挑战，但众多创企和科技公司正在让其变为现实。
早在2013年谷歌推出谷歌眼镜，就将这一概念推向大众，但这一品类一直未进入主流。近年来，有传言称苹果正在研究智能眼镜，而Facebook也确认计划在2021年推出智能眼镜，并以AR增强现实为核心，提供虚实结合的视觉效果。此外，谷歌也收购了有前景的智能眼镜品牌North，该公司正在研发第二代North Focals，目前已并入谷歌硬件团队。
当下市面上有哪些智能眼镜及AR眼镜？各家眼镜的发展情况如何？下面就根据美媒Wareable的盘点一起来看下吧。
1
Facebook Ray Ban智能眼镜：
可定位追踪，今年下半年推出
发布时间：2021 | 售价：未定
互联网社交巨头之一Facebook的CEO马克·扎克伯格声称，他们目前正在研发公司的首款AR眼镜，并与奢侈品牌Luxottica合作，采用雷朋（Ray-Ban）系列的规格，眼镜预计将在2021年推出。这也是Facebook Reality Labs研究所里一项名为Project Aria的项目。
Project Aria是一个AR相关的测试项目，其将搭载摄像头、不配备AR显示模组，目的是让员工和外部合作伙伴用来测试，探索隐私、视频录制等方面的潜在问题，处于制定行业标准阶段。
▲Facebook Ray Ban智能眼镜
虽然目前不清楚这款AR眼镜的外形设计，但有消息称它具有物品追踪和导航功能，让用户更加快速地在一定范围区域内找到物品。
2
亚马逊第二代Echo Frames：
支持Alexa语音助手
发布时间：2020年11月 | 售价：249.99美元起（约合人民币1592元）
全球最大电商平台亚马逊于去年11月推出了二代Echo Frames，它带有内置扬声器、麦克风的眼镜框，发光二极管灯光指示灯和Alexa。Alexa是亚马逊推出的语音助手，就像谷歌的智能生活家居助手，以及小米的小爱同学。
与谷歌眼镜不同的是，Echo Frames没有AR功能，所以不会出现虚拟效果。但用户可以通过眼镜配备的四个定向扬声器和Alexa交流，用以控制智能家居、获取语音通知、打电话和听音乐等功能。
▲亚马逊第二代Echo Frames
值得一提的是，亚马逊推出的这款仅仅是眼镜框架，用户可以根据自己喜好，把它定制成太阳镜或者是普通的眼镜。镜片还能选择支持蓝光过滤或是和带有偏光的功能。
这次二代Echo Frames框架是亚马逊在一代基础上进行的升级版。首先，它是材质是使用碳纤维和钛制成，所以镜框轻巧，同时Echo Frames达到了IPX4级的防水标准。其次，二代框架能够根据周围的环境来调整反馈信息的音量，电池的续航力也提升了40%，可以支持在14小时内的60分钟的音乐、30分钟电话和120条消息通知。最后，它还新增了一个自动关闭的功能，只要用户将镜框倒置放到桌面上，三秒后它将自动关机。
目前，亚马逊的第二代Echo Frames已推出，售价为249.99美元起（约合人民币1592元）。
3
Snap第四代Spectacles AR：
只向开发人员提供
发布时间：2021 | 售价：暂时不对外销售
互联网社交巨头之一Snap透露，他们研发的最新款Spectacles AR眼镜搭载了专门为AR设计的高通骁龙XR1处理器，具有26.3度FOV和6DoF。眼镜两侧配备了RGB相机和触控板，其重量只有134克。但唯一的不足是续航能力只有30分钟。
▲Snap第四代Spectacles AR眼镜
这款眼镜预计在明年推出，仅供开发人员和Snap创作者使用，暂不面向大众市场。
4
联想Think Reality A3：
配有鱼眼相机，明年1月发布
发布时间：2021 | 售价：未定
中国科技巨头联想旗下的Think Reality A3由高通骁龙XR1平台提供动力，当连接到摩托罗拉智能手机时，它可将内容投射到带有1080p分辨率的显示屏上，并支持多达5个虚拟现实器的工作。
▲联想Think Reality A3
Think Reality A3配有一对鱼眼相机，支持800万像素的RGB相机拍摄，还提供6DoF。另外，Think Reality A3的镜框可进行私人化定制，使其更适合工作环境，增强AR体验。
联想Think Reality A3预计将于2021年1月发布，主要针对企业级办公使用。
5
Vuzix Blade Upgraded：
支持语音控制，自带4GB存储空间
发布时间：2020年 | 售价：899.99美元（约合人民币5731元）
美国智能眼镜科技公司Vuzix推出了全新Blade系列，第一个真正意义上的商业AR眼镜。它在原基础上新增了800万像素的摄像头和扬声器，以及支持Vuzix的语音控制。
▲Vuzix Blade Upgraded眼镜
在软件方面，Vuzix丰富了应用商店的内容，添加了适用于AR眼镜版本的Netflix、Zoom、Amazon Alexa和大疆无人机的应用程序。
这款AR眼镜不仅成像画质清晰，还自带有4GB的存储空间，续航能力可达3、4小时。在价格方面也越来越友好，从最初的1800美元将至现在的899.99美元（约合人民币5731元）。
6
爱普生Moverio BT-300：
搭载英特尔Atom处理器，可无线连接
发布时间：2018年 | 售价：699美元起（约合人民币4452元）
日本数码影像公司爱普生推出了一款名为Moverio BT-300的AR眼镜。在简洁轻巧的外观设计下，BT-300使用具有720p高分辨率的OLED来作为设备显示器，还配备500万像素的前置摄像头。同时，由英特尔Atom四核处理器为其提供动力支持。
▲爱普生Moverio BT-300 AR眼镜
BT-300具有蓝牙、Wi-Fi和Miracast（一种无线连接方式）的技术支持，用以连接Moverio应用商店提供的Sky Map和AR飞行模拟器等应用程序。
在BT-300基础上，爱普生还专门推出一款无人机版本，它可以直接在眼睛里选择DJI模式，无需连接应用程序。目前BT-300可在亚马逊上购买，售价为699美元起（约合人民币4452元）。
7
微软HoloLens 2：头显级设计，高达2k分辨率
发布时间：2019年 | 售价：3500美元起（约合人民币22290元）
美国电脑科技巨头微软推出的HoloLens 2想必是大众最熟悉的一款产品了吧，它更偏向于头显设计。HoloLens 2主要针对的是企业级办公人群，它可以提供高达2k分辨率的多维全彩图像和43×29度FOV。
▲微软HoloLens 2
HoloLens 2配备了四台环境感应相机，可以全方位监测用户所处的真实环境，并通过第二代HPU（全息处理单元）实时映射所有内容，并使用6DoF追踪提供精确的显示。
通过麦克风和相机来追踪使用者的手势动作和眼球运动，为用户提供完全沉浸的体验。在续航能力方面，HoloLens 2可达2、3小时的使用，但它的售价颇高，为3500美元起（约合人民币22290元）。
8
Magic Leap 1：搭载Android系统，配有四个麦克风
发布时间：2018年 | 售价：2291美元起（约合人民币14590元）
美国AR科技初创公司Magic Leap在前期筹集了大笔资金后，于2018年推出了Magic Leap 1 AR护目镜。它是基于Android系统为核心，为其提供光场技术。Magic Leap 1采用全息镜头，将数字3D图像与现实世界结合，把虚拟信息呈现在显示器上。
▲Magic Leap 1
Magic Leap 1的每只单目镜可支持1280x960分辨率的图像，40x30度FOV，通过眼镜配置的四个内置麦克风，来混合虚拟物体和真实世界物体的声音，增强用户的沉浸式体验。
在链接到计算机设备时，Magic Leap 1可在一定范围内自由活动。届时该区域会提供六个外部摄像头进行用户位置追踪，以及一个6DoF的控制器，用于手部动作的追踪。
目前Magic Leap 1售价为2291美元起（约合人民币14590元）。
9
Kopin Solos：防水级太阳眼镜，续航时间长达6小时
发布时间：2018年 | 售价：499美元（约合人民币3178元）
美国平板显示器制造商Kopin专门为骑行运动爱好者推出了一款名为Solos的智能眼镜。与一般AR眼镜不同，Solos是一款带有AR功能、防水级的太阳眼镜，适合在户外骑自行车的时候使用。
Solos眼镜由轻便的聚碳酸酯材质制成，大小为46×10.5×5.5毫米，带有防滑耳托和鼻垫，镜片也能够进行调节和更换，整体参照了人体工学原理设计。
除去设计方面的独特用心，在硬件搭配上，Solos也是相当出色，其采用了高能量碳-氧化硅材料电极锂电池，据说与常规锂电池相比，同样体积内储存电量高出一倍。这款容量为400毫安的电池充满电后能够提供长达6个小时的续航时间，很适合长途骑行使用需要。
▲Kopin Solos眼镜
Solos眼镜搭载了独立Whisper芯片，它的显示屏采用的是Kopin独立研发的4mmVista显示屏，这块半透明的显示屏为5英寸大，屏幕大小适中，既不影响美观，又能够在很大程度上降低眩光，有效抵抗户外运动中耀眼阳光对眼部的刺激。同时，它还支持语音助手功能。
Solos眼镜可以通过蓝牙连接智能手机，实现提供消息和健康监测等功能。其音量还可以根据背景的噪音情况来实现自动调节，这避免了运动过程中掏出手机的麻烦和由此带来的风险。
如今，Solos将与Strava和MapMyRide等健身应用程序合作，提供导航、追踪功能。目前美国自行车队中的那些精英运动员们纷纷都在使用它，起售价为499美元（约合人民币3178元）。
10
Everysight Raptor：支持导航和心率监测
发布时间：2016年 | 售价：649美元（约合人民币4133元）
以色列初创科技公司Everysight推出了一款名为Raptor AR眼镜，该公司之前曾为军队提供防备显示器服务。
▲Everysight Raptor AR眼镜
与Solos相似，Raptor是专门为骑行者设计的智能眼镜，它搭载了OLED投射系统，通过AR技术在眼镜上将导航、时间、距离、速度、心率和节奏等信息展示在用户眼前。Raptor AR眼镜还配备了一个相机，实现用户的动作追踪。另外，Everysight还在努力积极为平台开发更多的应用程序。
目前，Raptor AR眼镜的售价为649美元（约合人民币4133元）。
11
Vue：传统眼镜设计，可识别动作
发布时间：2020年 | 售价：199美元起（约合人民币1267元）
美国智能眼镜初创公司Vue在Kickstarter上筹集了大笔资金，致力于研发一副可以同时用作无线耳机、健身追踪器和智能手表的智能眼镜，并在2020年推出了Vue Lite智能眼镜，它摒弃了一些专注于蓝牙音频的功能，配备了标准扬声器、麦克风和语音助手，以及支持大约3.5个小时的音乐播放功能。
▲Vue Lite智能眼镜
从设计上来看，Vue Lite与传统眼镜十分相像，但是它右边眼镜腿内置触摸操作面板，可以进行点击、滑动等手势操作。它的内置传感器可用于追踪相关运动数据，也可以进行一些点头、摇头、歪头等的动作。
Vue Lite支持USB接口充电、无线充电，待机时长最长为7天，正常使用续航为2-3天，通话时长5小时左右。在价格上，它的售价为199美元起（约合人民币1267元）。
12
结语：轻量化设计，对标消费市场
自从谷歌智能眼镜概念推出后，各大科技公司纷纷向它看齐，加入到AR眼镜的研发中，致使近几年来，AR眼镜产品呈喷井式发展。
不难看出，这些AR眼镜设备都呈现轻量化设计的趋势，而且他们也在不断向大众消费市场进军，在价格方面也越发亲民，看来AR体验的普及指日可待。
增强现实核心技术产业联盟（ID：CARA--2019）
来源：Wareable
2021年6月《AR洞察与应用实践白皮书》
--关于白皮书--
该白皮书是由华为技术有限公司撰写，内容涵盖AR行业趋势、AR设备、AR应用、云应用、网络使能和发展建议等。SDI将对该白皮书进行要点拆解和系列分享，本周内容为白皮书AR设备技术与市场关键信息点，供您参阅。
AR设备分类
目前的 AR 设备种类繁多，先进程度和应用场景不尽相同。主要分为双目式（如HoloLens和Magic Leap）、单目式（如Google Glass和AR骑行眼镜Solos）、插入式（联想星球大战AR头显）、隐形眼镜式（如Mojo Vision）、静态全息显示器（索尼的静态桌面显示器）和车载AR（佳明车内抬头显示器（HUD））等。
AR 眼镜关键部件
图：AR眼镜关键部件（来源：Strategy Analytics）
AR最主要特征技术是透镜技术、定位和视觉识别技术、语音助手、手势控制技术等，牵涉部件数量众多。因此，一台完全独立运行、功能完备的AR设备可能非常昂贵，还会十分笨重，电池续航方面也可能遇到瓶颈。例如，HoloLens 2重达一斤多，续航时间约为4小时，并不支持长时间连续工作。将设备与智能手机配对是缩减体积（提升设计和舒适度）和成本的一种可行方法，而且有更好的便捷性。
AR 设备市场增长
当前的专用 AR 头显主要面向企业市场，售价高、销量低。Strategy Analytics 发布的2020年数据显示，该市场的全球出货量不到11.5万台，总收入为1.66亿美元，81%的头显出货量是面向企业的。一旦预期中的消费级头显问世，这一市场将呈现爆发式增长。预计到2026年，消费级AR头显的全球出货量将超过5,300万台，总收入将超过300亿美元。届时，预计消费者和企业市场份额将完全对调，86%的设备出货量面向消费者，仅14%面向企业。随着时间的推移，消费型AR头显的价格将进一步降低，平均售价预测将从2020年的800多美元下降到2026年的500美元以下（38%的降幅）。如上节所述，绑定智能手机的AR头显（可能采用分布式计算架构）可能成为AR设备的主流形态，原因之一是此类设备的成本低于独立AR设备。预计到2026年市场上将存在各个价位的AR头显设备，从超过1,000美元的旗舰级产品到低于500美元的入门级产品。随着AR头显向大众市场普及，500美元以下的产品终将占据市场主导地位。长期来看，双目AR设备最有可能成为驱动消费者市场发展的设备类型。短期来看，更基础的设备可能先会催生一些细分消费市场。AR头显市场的发展可能会重现智能手表市场的发展过程。智能手表市场起步十分缓慢，但运动健康应用等细分市场已经证明了其实用性。
评价：类似hololens MR眼镜，国内一时半会还真没有；一是想像力不够，二是思维太急于商业化，三创新创意不够，四器件和算法也差一点。
作者梦秋·分类 快讯·2021年06月29日：映维网
测试IVAS在极端环境下的表现
（映维网 2021年06月29日）军用设备需要适用于地球各种情景，尤其是极端环境，因为这与士兵的生命息息相关。今年3月份，美国陆军宣布要在阿拉斯加州格里利堡的寒冷地区测试中心（Cold Regions Test Center；CRTC）测试基于微软HoloLens 2军用版本的集成视觉增强系统IVAS。
如今过去三个多月，美国陆军首次分享了当时在极寒天气环境下的一些测试反馈，并表示集成视觉增强系统IVAS在寒冷天气下具有战略优势。
集成视觉增强系统项目经理特洛伊·德诺米上校（Col.Troy Denomy）表示：历史上因为冰寒而失败的例子比比皆是，没有人喜欢在寒冷中战斗，一是因为设备，最后是身体无法支撑下去。所以，如果你拥有这种能力（在极寒环境中作战），它将成为一种战略优势。如果我们只测试和探明系统在一个名义环境中的性能，这将在很大程度上限制我们战斗的选择。为极端寒冷、潮湿和高温设计系统至关重要。
CRTC归属于美国陆军尤马试验场（Yuma Proving Ground；YPG）的下属机构，而后者主要负责评估测试极端沙漠、亚北极和热带环境中的军用装备性能。
当驻扎在阿拉斯加埃尔门多夫·理查德森联合基地的步兵在3月份抵达CRTC时，地形和温度都符合测试的要求。团队规划了夜间徒步情景，要求士兵穿戴IVAS穿越崎岖的雪地。另外，一部分士兵将扮演敌对部队。除了随行的测试官和数据采集员外，这次演习非常接近于一次真正的步兵任务。
CRTC位于阿拉斯加州的格里利堡，靠近北极圈，是在严寒条件下进行军事装备测试的首要场所。这里时刻面临着各种极端气候的挑战，夏季最高气温比冬季最低气温高出150度（华氏摄氏度），而最长的夏季有近23小时的白天，冬至日照时间则只有不到5小时。
评价：MR单兵工具，会有提升，也是下一代武器重要的呈现装置。但还需时日。
微软混合现实开发者大会
13:00~18:00举行
来自微软HoloLens等多名工程师的技术分享
会议直播地址：https://live.bilibili.com/730
会议内容介绍：hololens.nweon.com/devday
主题一：混合现实 & HoloLens概览开始时间：0:08:00
大会讲师：梅颖广（微软混合现实资深技术解决方案专家）
讲师介绍：梅颖广有十几年的游戏研发经验，曾就职于多家知名游戏公司，制作过多款知名游戏。加入微软以来，梅颖广一直从事微软最新系统和平台的研究和推广工作，致力于微软开发者关系和技术生态建设，目前是微软混合现实领域的一线技术专家，主要帮助合作伙伴和企业客户推动包括HoloLens在内的混合现实设备和技术在多个行业领域中使用和部署。
主题二：跨平台混合现实工具包MRTK-Unity开发概览开始时间：0:50:00
大会讲师：王子川 Max Wang（微软混合现实MRTK软件工程师）
讲师介绍：王子川是微软美国总部的工程师，多年以来一直都是XR行业的坚定践行者，拥有多家业内知名软硬件企业的工作经验。加入微软以来，王子川一直在微软美国总部从事MRTK的开发工作，致力于为混合现实开发者提供功能丰富且可靠的跨平台工具包。
主题三：Unreal Engine对混合现实的支持开始时间：1:52:00
大会讲师：Summer Wu（微软混合现实项目经理）
讲师介绍：Summer Wu在微软美国总部负责微软MR的Unreal Engine相关工作，与Epic Games 等合作伙伴进行密切合作，致力于用Unreal实现高保真 HoloLens 2 和MR体验。Summer Wu热衷于为MR开发者提供合适的工具，帮助开发者研发创新性解决方案，以改善人们的工作和生活方式。在加入微软MR团队之前，Summer Wu工作经历遍及Azure 网络安全，金融和科技创业领域。
主题四：Unity 2021全新XR系统介绍
大会讲师：任沁明（Unity工业解决方案技术总监） 开始时间：2:13:00
讲师介绍：任沁明精通多种编程语言、最新图形技术以及相应工程应用。任沁明曾就职于Autodesk M&E部门，任资深图形系统工程师，参与了3dsMax 2008 – 3dsMax 2017等产品的开发工作。任沁明现就职于Unity，为各行业客户提供解决方案咨询、项目实施、培训等服务。
主题五：站在云端算力的肩膀上，Azure MR新服务介绍开始时间：2:50:00
大会讲师：王哲 Wayne Wang（微软 Windows 混合现实高级架构师）
讲师介绍：王哲拥有多年软件行业从业经验，是微软企业服务部门现场解决方案专家，兼任混合现实应用高级架构师，在解决UWP技术难题与HoloLens开发等相关方面经验丰富。王哲还参与指导了多场全国范围内客户现场与科技交流活动。
主题六：利用Azure空间定位点创建跨设备混合现实体验开始时间：3:50:00
大会讲师：翟浩凡（境腾科技混合现实资深开发工程师）
讲师介绍：翟浩凡从事HoloLens开发4年，精通Unity/HoloLens开发，熟练掌握微软Azure云端混合现实技术，如远程渲染、物体识别、空间锚点等。现任大中华区首家金牌MRPP—境腾科技资深开发工程师，负责境腾工作流软件产品 (JingTeng Workflow)主程开发，已为多家世界500强企业提供专业混合现实项目实施、培训、技术支持等服务。
By William
据外媒UploadVR报道，近日Facebook公布的一项申请专利显示，该公司正在研发一种基于帽子形状的全新VR/AR头戴设备设计。
该专利描绘了一个可悬挂在用户眼前并与帽子连接的遮阳板，这款基于帽子的VR/AR头戴设备还能与VR手套及CTRL-Labs腕带相兼容。
不仅如此，该头戴设备内部嵌有嵌入式触觉/脑机接口组件，同时遮阳板采用了可拆卸设计。
Facebook设计这款头戴设备的目的旨在提升VR/AR用户舒适度体验，Facebook指出当前的系统很难整合复杂的处理器、眼动追踪系统等高级计算组件，而将这些组件以分点式分布而不是传统的集中式分布，将有利于计算组件的散热和稳定运行，并助于提高用户舒适度。
按照惯例，专利申请仅能说明Facebook正在研究新的头戴设备设计，而不能证明该设计已经定型生产，不过这透露了Facebook寻求突破Oculus Quest 2产品设计，期望获得更轻、更小的新一代头戴式设备以解决用户佩戴舒适度问题。
这不是Facebook首次尝试非传统头戴设备设计，早在2019年，Facebook就提出了将传输功能组件集成至便携盒子的想法。「93913原创内容，转载请注明及回链」
增强现实核心技术产业联盟
本文汇总了常见的一些单传感器、多传感器的标定融合paper、工程代码，应用于自动驾驶、3D视觉、SLAM等领域，供大家学习参考~
Online Calibration of Exterior Orientations of a Vehicle-Mounted Surround-View Camera System
Calibration of fisheye camera using entrance pupil（鱼眼相机）
一些开源代码：
https://github.com/VLOGroup/dvs-calibration；
https://github.com/gorchard/DVScalibration。
1、A New Technique of Camera Calibration: A Geometric Approach Based on Principal Lines。
下载：https://arxiv.org/abs/1908.06539v1
2、Traffic Surveillance Camera Calibration by 3D Model Bounding Box Alignment for Accurate Vehicle Speed Measurement
下载：https://arxiv.org/abs/1702.06451v2
3、Autocamera Calibration for traffic surveillance cameras with wide angle lenses
下载：https://arxiv.org/abs/2001.07243v1
1、Calibration of Asynchronous Camera Networks: CALICO
下载：https://arxiv.org/abs/1903.06811v2
2、Infrastructure-based Multi-Camera Calibration using Radial Projections
3、 Infrastructure-Based Calibration of a Multi-Camera Rig
4、Leveraging Image-based Localization for Infrastructure-based Calibration of a Multi-camera Rig
1)Unified Intrinsic and Extrinsic Camera and LiDAR Calibration under Uncertainties（ICRA2020）
2)Analytic Plane Covariances Construction for Precise Planarity-Based Extrinsic Calibration of Camera and LiDAR（ICRA2020）
3)A Novel Calibration Method between a Camera and a 3D LiDAR with Infrared Images（ICRA2020）
4)Online Camera-LiDAR Calibration with Sensor Semantic Information（ICRA2020）
5)Automatic extrinsic calibration between a camera and a 3D Lidar using 3D point and plane correspondences
6)A Novel Method for the Extrinsic Calibration of a 2D Laser Rangefinder and a Camera
下载：https://arxiv.org/abs/1603.04132v4
7)LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry
下载：https://arxiv.org/abs/1804.05178v1
8)Improvements to Target-Based 3D LiDAR to Camera Calibration
下载：https://arxiv.org/abs/1910.03126v2
9)Targetless Rotational Auto-Calibration of Radar and Camera for Intelligent Transportation Systems
下载：https://arxiv.org/abs/1904.08743v2
10)Semantic sensor fusion: from camera to sparse lidar information
下载：https://arxiv.org/abs/2003.01871v1
11)Automatic online calibration of cameras and lasers
12)Radar and vision sensors calibration for outdoor 3D reconstruction
13)A novel method of spatial calibration for camera and 2D radar based on registration
一些项目代码：
https://github.com/ankitdhall/lidar_camera_calibration;
https://github.com/robofit/but_velodyne/tree/master/but_calibration_camera_velodyne.
Calibration of Event-based Camera and 3D LiDAR
Intersection Safety using Lidar and Stereo sensors
https://zhuanlan.zhihu.com/p/147051259
1)Multiple Sensor Fusion and Classification for Moving Object Detection and Tracking.
2)An Extrinsic Calibration Tool for Radar, Camera and Lidar
3)Extrinsic 6DoF Calibration of 3D LiDAR and Radar
4)Extrinsic 6DoF Calibration of a Radar – LiDAR – Camera System Enhanced by Radar Cross Section Estimates Evaluation
IMU内参标定：
https://github.com/Kyle-ak/imu_tk;
http://www.olliw.eu/2013/imu-data-fusing/;
9、Lidar-IMU标定
https://github.com/ethz-asl/lidar_align
https://github.com/ethz-asl/kalibr/wiki/calibrating-the-vi-sensor;
https://github.com/ethz-asl/kalibr;
Extrinsic Calibration of an Eye-In-Hand 2D LiDAR Sensor in Unstructured Environments Using ICP
1)AC/DCC : Accurate Calibration of Dynamic Camera Clusters for Visual SLAM
2)A Stable Adaptive Observer for Hard-Iron and Soft-Iron Bias Calibration and Compensation for Two-Axis Magnetometers: Theory and Experimental Evaluation
3)Precise 3D Calibration of Wafer Handling Robot by Visual Detection and Tracking of Elliptic-Shape Wafers
4)Globally Optimal Relative Pose Estimation for Camera on a Selfie Stick
5)Learning Camera Miscalibration Detection
6)Multiple Sensor Fusion and Classification for Moving Object Detection and Tracking
多传感器标定数据融合:
https://blog.csdn.net/qq_17256689/article/details/100037699?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2
https://github.com/tudelft-iv/multi_sensor_calibration
增强现实核心技术产业联盟（ID：CARA--2019）
原文链接：https://zhuanlan.zhihu.com/p/268908000
作者：Tom Hardy@知乎
作者广东客·分类 专利·：映维网
利用前置摄像头的视频反馈，并以一种类似MR的方式在VR视图中叠加物理对象图像。
（映维网 2021年06月23日）熟悉VR头显的用户应该都知道一种所谓的防护系统，其可以在用户接近游玩区域边界或物理对象时以一系列不同的方式发出警报。这是因为VR头显会用数字内容取代用户周遭的现实世界，所以为了防止用户因失去物理世界视觉感知而与现实对象碰撞，设备需要一种提醒告示系统。
日前，美国专利商标局公布了一份名为Feed-forward collision avoidance for artificial reality environments的Facebook专利申请。这份发明主要介绍了一种利用前置摄像头反馈来渲染物理对象相对位置的技术。具体来说，Facebook希望用MR叠加图像数据来避免用户与物理环境中的任何物理对象发生碰撞，从而保持用户的安全并帮助确保不间断的虚拟现实体验。
Facebook指出，由于虚拟现实系统呈现的虚拟现实内容不一定与物理环境的物理尺寸和物理对象一致。当用户与虚拟现实系统交互前，用户可能已经具有物理环境的心理模型，包括物理对象在物理环境中的位置。但当用户开始进入虚拟现实系统并潜在地在物理环境中移动时，用户的心理模型可能变得模糊，从而增加其与物理对象发生碰撞的风险。
所以，作为上述问题的一个解决方案，Facebook构思的虚拟现实系统包括能够生成表示房间物理对象的叠加图像数据的物理对象叠加引擎，以及为物理对象叠加引擎提供视图反馈的前置摄像头。作为示例，叠加图像数据可以包括部分图像、单个图像或一组图像。
通常，叠加图像数据可以以一种匹配虚拟现实视图的方式来生成，然后同样以非突兀的方式过渡叠加到虚拟现实视图，从而允许用户在不中断虚拟现实体验的情况下确定其相对于物理对象的位置。例如，虚拟现实系统可以同时呈现物理对象的叠加图像和虚拟现实图像，从而允许用户同时看到虚拟现实内容和叠加图像数据。
在一个示例中，虚拟现实系统可以在用户接近物理对象时自动叠加物理对象的图像数据。叠加图像数据可以是临时的，并仅在用户与的物理对象的接近度存在导致用户与物理对象发生碰撞风险时显示。对于这一点，可以根据用户与物理的接近度与阈值比较来进行确定。
在另一个示例中，用户可以手动方式命令物理对象叠加引擎生成和叠加物理对象的图像数据，例如通过手持式设备的按钮。对于这种情况，叠加图像数据可以是临时的，并且可以仅在用户激活时显示。除了按钮之外，可以响应于其他用户激活条件来生成和显示覆盖图像，如语音命令、手势或其他形式的用户输入。
通过上述两个示例，物理覆盖引擎可以提供物理对象的图像，而用户可以利用叠加图像来更新自己对房间的心理地图，从而避免与房间中的对象发生碰撞。另外，用户可以利用叠加的图像来规划自己在空间中的移动或其他行为。
在上述专利图示中，专利图7A是虚拟现实头显呈现的虚拟现实视图。在专利图7B中，响应于用户与物理对象的接近度达到或超过阈值，或者响应于用户的主动激活，虚拟现实系统可以利用前置摄像头的视频反馈，并致使物理对象叠加引擎生成物理对象的图像数据，然后在专利图7A中的虚拟现实视图中叠加所述的物理对象图像数据。
以这种方式，用户可以利用叠加图像来更新自己对房间的心理地图，从而避免与房间中的对象发生碰撞。另外，用户可以利用叠加的图像来规划自己在空间中的移动或其他行为。
相关专利：Facebook Patent | Feed-forward collision avoidance for artificial reality environments
名为Feed-forward collision avoidance for artificial reality environments的Facebook专利申请最初在2019年12月提交，并在日前由美国专利商标局公布。
原创前沿科技新媒体青亭网
hi188｜编辑
随着HTC Vive Focus 3开始出货，HTC开始公布了一系列预热视频，向外界展示其产品特性，包括产品使用指南、以及拆机视频。通过官方拆解视频，我们今天能够了解到Vive Focus 3部分内部细节。
视频解说是HTC Vive全球硬件主管Shen Ye，他对Vive Focus 3的定位是：5K级别分辨率、高端商用VR一体机。
关于Vive Focus 3我们在《Vive Focus 3和Vive Pro 2正式发布，HTC全面to B新思考》一文也进行了产品定位的解析。可简单看，其产品特点包括：四摄Inside-Out光学追踪方案；双目5K级别、90Hz刷新率屏幕、120度FOV；前后配重接近1：1，支持一键快摘，高通XR2芯片；Vive Business平台。
首先提醒：本视频不具有维修参考价值，内部芯片等细节未列出。对于想要了解内部设计构造来说，这个视频有着十足的意义。
经过结构优化，Vive Focus 3前后配重接近1：1，可以进一步提高佩戴舒适性，尤其是面部和后脑勺区域。
因为采用后置电池，且电池为非标准的弧形设计，因为定制电池必定成本更高。虽然如此，这块异形电池支持快拆，拿掉后脑垫即可。
为了解决后置电池散热问题，其采用石墨冷却薄片。电池外壳为金属材质，同时保证坚固性，又具有散热能力。并且，电池采用凝胶锂聚合物电池，相比常规手机中采用的锂聚合物电池具有更好的抗膨胀和泄露性能。
Vive Focus 3内置扬声器位于左右两侧硬质转轴连接带中间，宣称具备空间音频效果，音质更佳，并且采用定向设计可以有效声音外漏。
面罩采用了防水材质，特点是磁吸快拆设计，更换十分方便。因为是防水材质，每次使用后需要擦干净面罩。
Vive Focus支持2TB的Micro SD存储卡，卡槽位于头显内左侧，需要拆下面罩才能看到。
第一步是取下面罩，拧掉底部裸漏的螺丝。
左右两侧连接处需要注意，因为它同时包含电源和音频排线。
扬声器模块的体积可不小。
机身底部隐藏了几颗螺丝，拿掉USB C磁吸盖板即可找到所有外壳螺丝。然后外壳部分就可以取下了，右侧外壳没有其它部件。
整个内部结构也显现了出来，做工、零部件排列十分规整，符合高端机器的定位。内部灰白色固定支架（后文会讲）用于隔离内部屏幕和外部主板，固定摄像头、支撑IPD调节功能等用途。
一个显而易见的设计，左侧主板Soc采用铜管与顶部风扇连接，出风外斜向上，进风口在底部，散热设计逻辑和很多笔记本电脑类似。
风扇作用不仅仅是为高通骁龙XR2芯片组散热，同时周围的一系列芯片组都可以利用到主动散热系统。
风扇下还有一个金属固定片，内部涂有硅脂。
接下来，可以暗部就按的将排线的零部件拆下，然后即可取下主板和屏幕的整个大模组。
分开透镜和显示屏，就可以看到主板的面貌。
前面从外壳就能看到的灰白色框架，实际上是镁铝合金材质，好处是质地轻、坚固性更好。这个设计，和类似很多高端笔记本电脑，据我了解部分笔记本电脑会采用镁铝合金支架提升内部坚固程度。
这里还提到镁铝合金另一个优势，就是疏导四颗摄像头产生的热量，毕竟四颗摄像头实时工作热量持续产生，而这也是塑料材质不具备的优势。我又回看了Quest 2内部设计，似乎Quest 2就是不锈钢，但是日常使用完全没有摄像头和周围发热的情况。
在镁铝合金框架上，集成IPD功能。
拆下来的头显塑料外壳上，还拥有机身一侧的USB C和3.5mm耳机接口排线；音量按键排线；电源排线；顶部和底部双麦克风排线；距离传感器。
光学透镜宣称具有0.1毫米级别的装配精度，从底部开打能看到排线和背板屏蔽罩，整个取下即可看到透镜。
Vive Focus 3采用双透镜设计，HTC表示单透镜无法达到120度FPV，因此采用了双透镜设计。
以上是整个Vive Focus 3头显部分的零部件。
接下来是手柄拆解。Vive Focus 3的手柄单个重142g，相对比较轻。
通过撬片即可取下外侧防护盖。
拧下按键周围螺丝，即可取下手柄顶部圆圈追踪环，追踪环可直接取下，排线内置。
内部的LED追踪环，追踪环内侧还加上了5个LED，用于提高定位稳定性。
摇杆和扳机按键模组，扳机拥有电容触控感应区。
电池模组，目测非18650，显然是要照顾内部空间机型定制。手柄握持区域的线性马达。
最后是手柄的零部件。
综合来看，Vive Focus 3内部设计和做工都还不错，镁铝合金框架，铜管散热设计，人体工学等方面可圈可点。参考：https://www.youtube.com/watch?v=seKaYzVCc90
评价：VR重点看facebook，以及明年的苹果；明年可以模仿苹果的外观，另加一个quest的芯，澎湃动力。其他家亦步亦趋。期望出现超低端新秀，以及大批量的免费游戏内容。
原创陀螺君VR陀螺1周前
文/VR陀螺 ZJ
Magic Leap这几年的日子并不好过，这一点从联合创始人兼CEO Rony Abovitz及高管的陆续离职、诉讼缠身、麻烦的专利洗牌和大规模裁员等事件中都能看出来。
如今，在Peggy Johnson的领导下，这家曾经红极一时的AR独角兽创企的情况似乎已经稳定了下来，但人们对这家公司的过往仍有疑问，即它的问题究竟出在哪里？
大多数前Magic Leap员工对此一直保持沉默，但现在一位重要的前高管终于站出来，对情况做出了一些说明。
远离硅谷留下的隐患
Magic Leap的前创意战略高级副总裁John Gaeta是《黑客帝国》系列电影中一些标志性特效的幕后推手，他早在2019年就退出了公司。从那时起，除了对今年晚些时候即将上映的《黑客帝国4》做出的贡献外，Gaeta在大部分时间里都非常低调。
图源：Magic Leap丨YouTube
但在本周，Gaeta从他的工作中抽身出来，谈论了他的职业生涯及其与AR的交集，并在这个过程中透露了一些罕见的消息，即Magic Leap在疫情爆发前就已经出现的挣扎状态。
具有讽刺意味的是，虽然我们现在已经拥抱了新的远程办公文化，但Gaeta所揭露的事情之一恰恰就站在了远程办公的对立面。他认为，Magic Leap的公司选址是一步错棋，这是一个一直被人们刻意忽略，但却又一直存在的问题。
"这就像是一个在佛罗里达州的泡沫。有点奇怪的事情是，这个泡沫是把双刃剑，"Gaeta在与EON Reality创始人Dan Lejerskar（Gaeta现在是该公司的顾问委员会成员）近两个小时的谈话中说道。
"由于这个泡沫远离硅谷，所以在某种程度上来说，你不会因为在附近而受到硅谷腐蚀。但与此同时，你也被隔离了，所以你无法从一些很重要的事物中获益。比如某些不一定住在佛罗里达州的人才。Magic Leap必须引进所有的人才。在我看来，这是超级有问题的，因为举家搬到一个陌生的地方对一个人来说是一个重大的人生决定，因此Magic Leap没能得到真正需要的所有人才。"
图源：Magic Leap
鉴于我们在过去受疫情影响的一年半中所了解的一切，这是一个有趣的观点。当然，远程工作在很多方面都是最理想的，但Gaeta指出的是，在重要的技术中心面对面讨论时，可能发生的那种思想上积极的摩擦碰撞和偶然性的创新是无法被远程工作替代的。把你的公司从这种汇集了人才和创意的地方孤立出来，会给你的团队留下意想不到的盲点和潜在的缺陷。
当愿景遇到执行
但是，公司选址和人才来源只是Gaeta认为Magic Leap公司出错的一部分原因。最重要的是，从他的评论中可以看出，许多雄心勃勃的初创企业都受到了同样的困扰：缺乏对目标的聚焦。
"我发誓，关于我在那里遇到的事情和人，我也许可以写一两本书。我可以这样说：一些非常聪明的人在非常认真地对待Rony在那里提出的一些愿景。在我看来，公司本身......以及这一切都与你优先考虑的价值有关，"Gaeta说道。
"当你在执行一个硬核的工程任务时，可能会出现一点冲突状况，例如全息图像如何在白天传输，以及设备的追踪问题等等，这些都是十分艰巨的问题，这其中的难度就像在执行一个火箭飞船任务。我注意到媒体中有很多人都天真地无视这其中需要跨越的技术难题，但Magic Leap和那里的工程师们完成了这个艰巨任务。这甚至比其他资源更丰富的公司还要早"。
图源：Magic Leap
的确，Magic Leap所取得的成就应该受到赞扬。Magic Leap One及其配套的软件平台是一个神奇的系统。但是，虽然Gaeta在评论中给予该设备正面评价，但他没有提到的是，Magic Leap的早期承诺（可追溯到2015年）似乎与它最终交付的东西并不相符。
相比之下，人们立即想到的是Snap创始人兼CEO Evan Spiegel如何不停地 "低估"其在AR智能眼镜方面所做的事情。例如，早在2019年，Spiegel就声称AR智能眼镜想要进入主流市场可能还要等上整整十年，即使此时他即将推出自己面向C端用户的AR可穿戴设备。
同样，不久前刚推出的新Spectacles的第一个演示片段并没有展示Spectacles AR场景的理想化版本（正如Magic Leap经常被指责的造假问题那样），而是展示了该设备的视野是多么有限。
尽管Magic Leap的前CEO似乎是想效仿乔布斯时代的苹果公司那样的营销策略，但后者的战略能成功的关键是不对消费者做出过度的承诺，但会为他们带来超出预期的产品。Snap似乎把这部分做对了，而Magic Leap早期宣传中那些并不真实的视觉效果则最终带来了重重争议。
如果你认为将Snap和Magic Leap放在一起比较看起来并不公平，那么你需要留意一件事情：在上个月新的Spectacles亮相后，现在正在领导一家新的沉浸式项目工作室的Abovitz在Twitter上对该设备进行了一些带有负面意味的调侃。
图源：@rabovitz丨Twitter
在聊天的另一部分，Gaeta终于触及了Magic Leap在愿景的执行方面出现的核心问题。
"有趣又罕见的是，Rony的愿景包括为每个人创造一个快乐的世界，他被类似的东西所驱动和激励，比如说，像Walt Disney这种类型的人物。对我来说，这很有吸引力，足以成为我试图帮助他们的理由，"Gaeta说道。
"但我发现，这不仅仅是Magic Leap，我已经看到这种情况在创企中多次发生：当这其中有太多人混杂在一起，就会产生太多分裂的愿景，就像VR一样，如果你无法专注并将资源集中在一起实现一个单一的目标，你真的就会在许多事情上遭遇失败和淘汰。不幸的是，这种情况在整个Magic Leap中相当普遍。"
又一次出现的问题：专注。一些曾经相信Abovitz版本的Magic Leap最初愿景及其使命的人也曾对这家公司反复提出这个意见。
"有成百上千个任务都需要财政资源、技术资源......我一生中从未想象过如此多的机会和商业潜力来自于你所能想到的各种领导者、产业、政府......这令人难以置信。在某种程度上，这一切都被摊开在了桌子上无法完成。所以这是一个悲剧性的故事。"
图源：Magic Leap
值得庆幸的是，Magic Leap的故事并没有就此结束，现在微软曾经的老员工Johnson正在掌舵，致力于建立新的伙伴关系，并将Magic Leap的重点从C端转向B端。她的种种举措最终可能使Magic Leap恢复活力，而我们能做的就是等待其将在今年晚些时候发布的下一款硬件设备。
原文链接：
https://magic-leap.reality.news/news/the-matrix-movie-effects-pioneer-former-magic-leap-exec-reveals-tragic-story-startups-recent-struggles-0384736/
犇牛调研逻辑4月22日
要点：
1）全球 VR 一体机的大盘预测：2020 年全球出货量约 700 万台， 2021 年估计 800-1000万台，其中 Oculus Quest 产品占 80%以上。预计 2022 年约 1200-1500 万台，如果存量用户基数可以突破 1000 万，将有可能成为构建社交关系网的基础。
2）VR、AR 整机价值量排序：一是屏幕，二是光学，三是芯片连接技术，四是操作系统和算法。VR 头显中，屏幕和光学的成本占比 50%（在 AR 头显中占 70%）；VR 芯片领域，高通市占率在 90%以上，国内有全志科技、瑞芯微等；生产制造领域拼的是前期投入、经验积累和更快拿下客户，如歌尔股份；ODM 大多都是沿用手机的器件，从手机切过来的难度不大。
3）VR、AR 的产业应用对比：VR 的发展更加成熟，应用领域更加广泛，ToB、ToC 端均有涉及，ToC端如 Oculus 在通讯、社交、娱乐、教育、医疗等领域均有涉及，ToB 端包括安防、国家安全、教育培训等领域。AR 发展较慢，还处于 ToB 验证中。
1、2021、2022 年 VR 一体机市场大盘预测？
2020 年全球出货量约 700 万台，2021 年估计 800-1000 万台，其中 Oculus Quest 产品占 80%以上。海外主要看 Oculus，国内大盘取决于几个渠道的增长，比如运营商、ToB、ToC 等。
（1）Oculus Quest 去年销量好的原因：
一是 VR 内容生态，Quest1 和 Quest2 经过三年的发展积累，内容质量较高；二是硬件基础体验；
三是价格便宜，在 2200 元左右；
四是北美、拉美等地广人稀的区域受疫情影响，无法正常进行学习、观影、社交等线下活动，而 VR 提供了全新的数字化环境进行线上活动，这是去年最重要的原因。
（2）明、后年的增长趋势：
一是内容持续增加；
二是硬件的技术发展需要让产品更小、更轻、更薄，设备佩戴体验感好，那么需要屏幕和光学技术的演进；
三是成本，硬件设备价格低廉，所以成本下降空间较小，除非推出 Oculus Quest2 定制版；
四是疫情放大了需求，疫情之后的需求增长取决于内容能否适用于更多的产品，取决于产品能否从游戏机转变为工具和任务驱动型的通用技术平台。
（3）大方向的市场增长逻辑：
目前是游戏机增长模式，未来 2-3 年会转变为平板的增长模式。以该底层逻辑进行推演，预测2022 年下半年 Quest3 产品推出后，市场量级会有增长，但从游戏机跃迁到通用技术平台后增速会有所下降。如果能突破瓶颈，会出现类似 TWS、耳机一类产品的增长曲线，如果无法突破，可能就停留在游戏机、平板一类产品的增长曲线。
预测 2022 年约 1200-1500 万台，2023 年估计 2000 万台。
2、VR 行业的市场竞争格局，包括各家巨头在技术和策略的不同？
（1）VR 行业包含三类厂商：
一是小米、华为、三星、苹果等手机公司；二是移动互联网流量巨头，即 Facebook、字节、腾讯、快手、BAT 等公司；三是空间互联网场景创业公司，即 Pico、小派、大朋、创维等公司。
（2）手机公司分为两类：
一是创新型驱动的公司，例如苹果，将 VR 产品视为下一代通用技术平台（手机）；二是华为、小米、OPPO、vivo 公司，视为游戏、视频的场景拓展。华为需要新的终端承载5G 的新型信息媒介和交互方式，所以底层逻辑是服务集团的战略证明 5G 是有价值的；小米推出较多 VR 产品，其底层逻辑是做内容的产品探索，将视频和游戏从手机端迁移到 3D 化平台，探寻下一代通用技术平台的交互方式；OPPO、vivo 未涉及过 VR，在 AR 领域，两家公司需要新的品类进行技术实力的科技转型。
（3）互联网公司分为两类：
一是Facebook 一类，和苹果一样将 VR 产品视为下一代通用技术平台、下一代手机进行研发制造；谷歌消费级 AR 初心不改；国内公司通过收购、复制国外的商业模式，国内的快手、抖音两家公司比较重视该领域，因为这两家所在的短视频已然是目前最重要的信息媒介，而VR、AR 是下一代信息媒介的重要方向；二是空间互联网创业公司，它的底层逻辑是需要做智能硬件，通过 ToB 和 ToC 的增长证明价值和存在意义。
3、AR/VR 产业供应链的价值分配？国内哪些环节和公司受益？
（1）在硬件部分，按照重要性排列：一是屏幕，二是光学，三是芯片连接技术，四是操作系统和算法。VR 头显中，屏幕和光学的成本占比 50%（在 AR 头显中占 70%），通过二者制造视差达成 3D 化的展现形式；在芯片领域，高通市占率在 90%以上，国内 VR 芯片厂商较少，全志科技有在做，AR有一些小公司；生产制造领域拼的是前期投入、经验积累和更快拿下客户，ODM 大多都是沿用手机的器件，从手机切过来的难度不大。
（2）在软件部分，操作系统目前在模仿安卓系统，但已经无法满足 VR 产品需求；算法包括空间计算、目标识别和内容渲染。内容生态取决于流量和终端技术，目前内容分发基本被华为、小米、OPPO、vivo 统治；在生态平台上，之后会出现 AR、VR 中的微信、支付宝、京东、淘宝。
（3）屏幕领域，国内有BOE、华星光电、维信诺、视涯等公司；光学领域，国内有舜宇、欧菲光、水晶光电等；ODM 领域，如龙旗、闻泰等公司；在生产制造领域，如歌尔等。操作系统领域是小型公司在进行研发生产；算法领域，人工智能公司，如商汤、旷视等。
4、VR 更多是用在游戏、娱乐和教育等，AR 和 MR 的用途更广，能否介绍 AR 和 MR 的一些产业进展？
AR 和 VR 的相同点：1）都是 3D 化的信息元件；2）：都可以对接智能的交互方式，不仅是触控和语音等；3）都给予环境、空间和目标深度的感知融合。
区别：VR 是封闭的，有使用成本和使用条件。AR 是开放的，使用场景更大。本质上两者的区别类似于笔记本电脑和台式机的区别。
VR 产业的发展更加成熟，应用领域更加广泛，ToB、ToC 端均有涉及，ToC 端如 Oculus 在通讯、社交、娱乐、教育、医疗等领域均有涉及，ToB 端包括安防、国家安全、教育培训等领域。AR 发展较慢，还处于 ToB 验证，ToB 包括国家安全、教育培训、广告营销、培训等。
5、未来 VR 产业发展后对整机代工的竞争格局预测？
歌尔VR 整机代工做得早，有头部客户，拿下了很大的单子，如果市场盘子较小，短中期内还是一家独大的局面，未来看谁能拿到新增大客户的单子，需要有技术和关系积累。
6、如何评价全志科技的 VR 芯片？
首发了行业里 VR/AR 专用芯片方案，比高通更先进，合作客户包括小米、Pico、创维、大朋等公司。全志科技实现了成本和体量的完美平衡，但是高通的技术远大于全志科技。不过全志科技有受益于国产替代。
7、除了全志科技，国内还有哪些芯片厂商涉及 AR/VR 芯片吗？
国内瑞芯微、海思、珠海炬芯等公司，都有做全功能性 SoC芯片，但 AR/VR 芯片要求极高，现有产品线无法支持。
8、Oculus Quest2 与游戏机价格对比？
Oculus Quest2 价格在 2200 元左右，和 Switch 正版价格相近，但 Switch 内容价格较高。与游戏机相比，硬件加软件 Oculus Quest 2 价格较低，原因是硬件价格较低，内容经常出现打折出售的情况。与手机相比，比如高阶手机价格在 4000 元以上，所以也是有价格优势。
9、AR/VR 行业发展的天花板？
从智能硬件的分类来看，第一类：内容驱动型产品，包括电视、音响、游戏机等，第二类：应用生态型驱动产品，包括手机、pad、电脑等，两类产品的增长模型不同。
VR 产品的增长，初期类似于游戏机，需要通过优质的内容带动，但是群体相对小众，会有瓶颈存在，后期会演变成类似 iPad 的平台型产品，平台型产品的成本、可穿戴性、用户体验要求较高。早期，一个家庭一般一个 VR 产品，后期增长到一家两个 VR 产品，已经是很大的成功。
AR 产品的增长逻辑：如果短中期定位为配件，类似 TWS 耳机，在眼镜的基础上添加耳机、手环、手表等功能，同时扩展更多场景，例如运动健康提示、户外导航等，AR 产品的发展增长取决于用户的市场接受度。另外是偏头盔型 AR 产品，尺寸和重量较大，所以短期增长会类似于游戏机的增长模型，中长期会转变为通用系统平台。AR 产品不同的品类和阶段的增长逻辑、增长压力线不同。
10、疫情没了以后，VR 产品继续渗透的驱动力是什么？
早期内容体验比较好，如果存量用户基数可以突破 1000 万，将有可能成为构建社交关系网的基 础。
11、AR 和 VR 目前的技术痛点？2-3 年可以落地解决的技术路线？
1）VR 目前用的屏幕是菲涅尔透镜，缺点是重和厚，小一斤的重量，可穿戴性不好。解决：变成超导加速器。
2）屏幕分辨率提高，需要依靠半导体工艺的升级。
3）芯片，现在基本上是高通的，手机转过来的，从通用转变为 VRAR 专用芯片再变成分布式的专用芯片。
4）感知和识别能力，VR：未来普及眼球追踪，人脸追踪。形态：一体机为主流，未来更轻薄更小巧发展。
2022 年：超短焦镜片、定制化高通芯片（非苹果华为）、定制屏幕（苹果）、感知：十几个摄像头（苹果）、8K 分辨率的屏幕现在的技术可以做了（索尼可以做）。
AR：形态没有统一，Glass 类和头盔类，头部厂商会引领市场走向。高通一家独大，逐步由通用转化为专用，AR 比 VR 多的一个重要机会点是可以做相对小巧的人工智能芯片。
屏幕：目前 Micro OLED为主，但 Micro LED 会是未来。
光学：目前 BB 卖得最好，而未来是衍射式波导。
12、内容可以跨平台使用吗？
部分内容可以跨平台使用。取决于交互标准和操作系统定义的统一，每家的 SDK 都不一样，国内找华为、小米、Pico、爱奇艺等适配，给开发者造成了极大的适配成本，所以会优选终端存量大的，比如找 Oculus 验证完再考虑国内，适配需要时间，找个熟练的工程师，开发加测试 6-8 周。
13、国内 VR 玩家情况如何？
主要是国内普遍当成手机的配件，格局不够。不同厂商玩法不一样，爱奇艺学得最像 Oculus，但仅限于视频领域；Pico 生产制造很强，但内容运营还欠火候；华为技术实在，底层逻辑是为了证明 5G的价值；小米最接近 Oculus，软硬兼备，有游戏和视频。
14、工具类目前比较好的应用是什么？
教育培训，远程协助等会好一些。
15、如何评价苹果和索尼的新产品？
底层逻辑不一样。索尼：游戏主机→配件，大概只有任天堂和 Xbox 才可以对标。苹果：路线和Facebook类似，创新力度强悍，跨越好几个时代做出颠覆性的产品，PC 到移动互联网再到空间互联网的完美转变。
16、5G 对于 AR/VR 产品的通信有改善吗?
现在用得好的 VR 产品与 5G 没有关联。
17、AR/VR 对芯片的要求很高能否展开说明一下？
一个眼睛 16K，两个眼睛 32K 的屏，每一秒刷新 240 帧，对 GPU 芯片的要求也非常高，对新材料的创新也有要求。
18、目前 VR 做得好的国内公司，未来迁移至 AR 也可以做得好吗？
第一是生产制造，先把 VR 做好了才能做 AR；第二类是 ODM；第三是 Camera。其实 AR、VR 除了屏幕、光学、操作系统和算法，其他基本一样。
19、云计算目前哪些公司做得比较好，技术难点在哪儿？
实现 VR 要求的 5ms 延时，成本高，需要整个网络端到端的优化，点对点的无线传送，问题在于无法真正做到 VR，AR 普及。
20、如何评价Oculus、Steam 的游戏？
Steam 做得早，游戏多，生命周期长；Oculus 好评多，具有一些平台独特游戏。
21、怎么解决 VR 头晕？一定要用 OLED 吗？
只能转移或者无限减缓。通过提高芯片刷新率和屏幕分辨率，视觉传输和光学做好，但这也只解决 50%-60%。还需要看游戏内容做得好不好，如果交互设计得好，就能转移注意力忽略头晕。不一定非得用自发光。
原创小鱼三次方AIRX1周前
苹果、Facebook 和谷歌的目标是在不久的将来为智能手表和未来眼镜带来手腕手势输入。
之前Facebook 泄露了他们的第一款智能手表将于 2022 年上市的消息，据报道该手表将配备两个及更多摄像头。从更大的角度来看，Facebook在 3 月份透露，他们着眼于使用手表或类似手表的设备为未来的 AR 眼镜带来基于手腕的输入。苹果也不甘示弱，在 5 月份为 Apple Watch 提供了他们新的 AssistiveTouch 技术的预览，该技术可通过手腕手势来控制用户界面。
其实自 2019 年以来，谷歌一直在为未来的手表和/或 WearOS 开发手势输入。
最近美国专利局发布了另一项关于未来手表手势检测的谷歌专利，可以将输入扩展到未来的 Chromebook 和眼镜，如下面的一系列专利图所示。
图4表示了使用惯性测量来检测姿势的示例。更具体地说，该示例说明了手的运动 (220) 包括手的旋转，这可以由 Chromebook 的相机 (115A) 捕获。
然而，在某些情况下，例如轻微倾斜，处理器可能无法简单地通过使用图像处理方法处理图像数据来检测手的旋转。此外，旋转可能太快而无法被相机捕获。因此，处理器可以另外使用来自可穿戴计算设备（手表120）的陀螺仪125B的旋转测量来进行手势检测。接收到的旋转测量可以包括相对于三个旋转轴的旋转角和/或角速度测量。
上面的图5示出了使用信号强度测量来检测手势的示例；图8图示了使用来自多个可穿戴设备（手表和智能眼镜）的传感器数据来检测姿势的示例。
苹果可能会首先在 Apple Watch 7 中引入辅助触控，作为残障人士的辅助功能。但是，随着时间的推移，Apple 可以进一步将 AssistiveTouch 扩展到更多设备和可访问性之外的应用程序。
至于 Facebook，有传言称他们计划在今年秋天向市场发布他们的第一款智能手表。他们的手腕手势输入功能是否会一开始就推向市场还不得而知。
随着今年秋天谷歌与三星合作推出通用的 WearOS 体验，手腕手势也可能会出现，尽管在 2021 年这将是一个难以指望的事情。
谷歌希望将手腕手势引入未来眼镜的上市时间尚不清楚，尽管他们本周确实推进了他们的智能眼镜项目，获得了专利 11,030,973，他们称之为可穿戴平视显示器，如下面图所示。
虽然有传言称 Apple 将在 Q2-22推出他们的第一款 AR眼镜，但希望 AssistiveTouch 在发布时准备好与他们的眼镜一起使用，充其量只是一个漫长的过程。如果谷歌在此功能上击败苹果推向市场，它可能会推动苹果团队加速将这一功能推向市场。
归根结底，使用智能手表进行腕部输入似乎是指日可待的未来趋势，因为苹果、谷歌和 Facebook 正在争先恐后地为他们的技术申请专利，然后再全面推进。
当然，真正的竞赛是将优质的 AR 眼镜推向市场，富有想象力的新输入工具和用户界面是与众不同的因素，如果一家科技公司设定了很高的标准，它们可以为一家科技公司提供真正的市场优势。
如果郭明錤的预测成真，那么我们也不会等待这个新细分市场真正起飞。
由于谷歌的 Pixel 手机从未真正获得吸引力，而 Facebook 完全错过了整个智能手机竞赛，预计苹果的两个竞争对手都将全力以赴，以确保苹果不会像 iPhone、iPad 和 Apple Watch 那样主导下一波设备浪潮。
对于消费者来说，眼镜领域的激烈竞争将是个好消息，因为它将推动所有顶级科技公司将他们最好的创新推向市场，从而创造激动人心的时代。只要芯片短缺没有搞砸，2022 年肯定会是非常激动人心的一年。 所以三次方的用户们，快点根据三次方的XR人才培养标准来系统化的学习AR／VR知识，成为这个行业的领航员吧！
原创陀螺君VR陀螺1周前
文/VR陀螺 德林
Facebook——这家对于VR产业发展起到举足轻重作用的互联网巨头公司，它的一举一动，都极大可能代表下一阶段VR/AR行业的走向，其在该领域的技术、营销及市场策略，也几乎成为教科书式的存在。
日前，外媒在Instagram Live上对Facebook创始人扎克伯格和Reality Labs的负责人Andrew Bosworth进行了采访。内容直切Facebook对于VR生态下一步计划、AR操作系统、AR眼镜终端及脑机接口等核心话题，整个对话大约进行了一个半小时。
扎克伯格：VR终端价格仍不够亲民
将加大力度推进普及
Quest2卖出299美元的价格，加上相对完善的VR内容生态，直接导致了VR产业第二春的爆发。但是对于扎克伯格来说，这还远远不够。
从2014年宣布收购Oculus团队开始，Facebook对VR产业的投注就一直没有断过，扎克伯格不止一次公开地表示他对AR、VR设备未来的发展可谓是信心十足。
扎克伯格认为沉浸式行业将沿着有线和无线的路线划分，并且其中无线设备可能赢得更大的消费者市场份额。越来越多的品牌相继推出VR一体机设备，挣脱连接线的限制，在未来高质量的VR、AR产品的标准将会是以无线为基础。
图源：bilibili@默者VR
扎克伯格还提到关于使VR、AR技术普及的另一个重要原因——价格。技术的不成熟，以及研发投入的成本等问题，导致VR、AR设备目前无法做到在价格方面、配置方面都尽善尽美。价格要尽可能地让更多人负担得起，成为下一代计算平台愿景才有实现的可能。
Facebook表示在这方面的计划会类似游戏厂商的做法，预先贴补后续通过销售应用程序和其他服务来补贴。在未来十年内，价格将决定这些技术的普及程度。
VR生态建设方面，最近Facebook还将目光投向了大量虚拟现实工作室，包括收购了《Beat Saber》的开发商 Beat Games 、《Asgard’s Wrath》的开发商 Sanzaru以及类似Roblox的游戏创作平台Crayta等。
图源：Crayta
VR实际是曲线救国之策
AR眼镜、操作系统研发正稳步推进
扎克伯格曾表示，VR会是AR构建方式的重要组成部分。看来，目前Facebook的动作都是在为其AR产品做铺垫。
在谈及AR眼镜的研发上，扎克伯格曾表示会于今年推出Facebook的第一款AR眼镜，但是在技术上还无法做到功能完整。如果你正在打造一款看起来像普通眼镜的AR眼镜，需要对系统进行非常严格的优化才可以基于此完成现代计算机所期望的所有计算，但因为AR眼镜是在人脸上的设备，散热和功率将会是一个非常大的挑战。
图源：tech.sina
扎克伯格表示：对于AR产业的布局，Facebook可以说是领域先行者。2018年，我们就推出了Portal平台，并在一年后为其注入了有趣且实用的AR滤镜功能。
Bosworth补充道，在疫情期间，扎克伯格在推动Portal的发展上投入了很大精力，使其成为Facebook员工实现在家办公的生命线。Portal是Facebook在前几年推出的用于视频通话服务的智能显示器，与亚马逊Echo show以及Google Home Hub类似。Portal设备虽然经过Facebook隐私泄露事件的打击一度销量不佳，但在去年圣诞期间，新款的Portal的销量超过预期。
图源：NYTimes
这一销量表现，或许是与未来很有可能会持续很长一段时间的疫情状态以及Facebook在该产品上的一系列改进有关，因此也引得大众对这款产品的后续发展有了更多的好奇。
对此，扎克伯格认为在疫情的影响下，人们的社交方式也随着发生了变化，使用视频通话来社交成为一件更有可能性的事情。自推出Portal设备以来，Facebook便在不断完善AR功能为设备增加趣味性，社交性。即使视频是二维的，始终没法做到面对面交流的效果，但对于大多数人而言，视频技术是目前最能提供存在感的工具，人们使用视频通话时可以与对方建立起实时联系。
一方面，是通过Portal打造全新的远程通话模式，同时，扎克伯格也表示他们将Portal设备视作Facebook虚拟实验室的一种扩展产品，并且这与Facebook在AR、VR上的布局有关。
当然这与我们所做的关于AR、VR的更大格局有关。许多人认为AR和VR就是这些技术，实际上它们是传递存在感的工具和平台。
图源：techcrunch
虽然Facebook的AR眼镜具体消息还迟迟没有透露，但最近根据外媒的报道，Facebook有意在明年夏天推出第一款智能手表，将会作为其AR眼镜的关键输入设备。不仅是在硬件上为AR眼镜作为准备，Facebook也在自主研发一个虚拟现实系统。
我们正在构建一个现实操作系统，将会是个跟其他所有平台不一样的新平台，这是一个非常大的挑战，但我们的团队在这方面已经走得很远了。我们正在建立一个基于微内核的操作系统。
神经接口将是未来AR、VR的通用输入方式
脑机接口是一个非常具有科幻感的概念，现在处于非常早期的阶段。前有马斯克成立Neuralink专注研究脑机接口技术，后脚Facebook就收购了神经接口服务商CTRL-Labs，宣布进入神经接口领域。不同于Neuralink的侵入式设备需要植入大脑中，Facebook的是非侵入的腕表类设备。
图源：venturebeat
在神经接口的领域，人们一直担心个人隐私相关的问题，而扎克伯格认为大众对于神经接口有一些误解，神经接口系统并不是读心术，而是给某个人赋予一种能力好让他们的大脑发送关于这个工作的信号到其他身体部位。早在收购CTRL-Labs时，扎克伯格就表示他希望通过神经接口的技术创建一个更好的社交方式，只需要靠意念就可以实现打字、为照片添加滤镜等功能。
对于神经接口的未来前景扎克伯格充满信心，在某些方面，所有这一切的突破口将会是神经接口。不过，很显然神经接口的这个领域从各个方面来看都不够成熟，担任神经接口项目的负责人也曾表示：我们认为这可能需要十年时间，这是一项长期的研究计划。如同扎克伯格在对话中透露的一般，关于Facebook即将推出的一些很酷的东西的时限是以5年、10年为单位计算的。
图源：sohu
并且他认为当设计一个新平台时，最为重要的就是输入方式，如何控制该平台是最具决定性的因素。围绕AR、VR的交互活动如果不需要任何物理的控制器或者类似的东西，那必然是一个全新的变革。
从扎克伯格的描述来看，未来的VR、AR的输入方式很有可能就是以神经接口设备来实现。在这个基础上，Facebook将打造一个未来感十足的社交平台。
原文链接：
https://uploadvr.com/zuckerberg-bosworth-vr-transcript/
原创映维网映维网Nweon6月17日
查看引用/信息源请点击：next.reality
我得保守一些秘密。我们总是会藏点底牌。
（映维网 2021年06月17日）苹果增强现实眼镜的传闻从未停止，而且最近几个月愈发热闹。在日前一次活动中，苹果首席执行官蒂姆·库克的言论再为这一话题添了一把火。
库克于当地时间周三出席了法国巴黎科技大会Viva Technology。在与Brut首席执行官纪尧姆·拉克鲁瓦（Guillaume Lacroix）的一次远程对话中，这位苹果掌舵人谈到了令公司感到兴奋的一个未来项目。
他表示：我对AR感到兴奋。我对AR感到兴奋的原因是，我认为它是一种可以广泛地提高生活质量的技术。我们一开始是用手机和iPad来开发AR，接下来我们会看看它在产品形态方面的发展。
最后一句话似乎暗示苹果正在研发一种非软件的AR产品，而我们首先联想到的显然是传闻中的AR眼镜。
当然，关于苹果AR设备的传闻层出不穷，我们难以判断到底苹果的产品实验室最终会为我们呈现什什么样的产品。AR可穿戴设备？虚拟现实头显？两者的混合体？又或者是我们从未想象过的产品形态呢？
到底是什么的困惑，加上各种泄密消息的推波助澜，这或许表明苹果已经尝试过一系列不同的AR可穿戴概念，而库克的发言暗示了这一点。
他指出：我们更愿意在内部失败而不是在外面失败，因为我们不希望让消费者卷入其中。我们有开发一些产品，但后面决定不将其推到市场。我们开始沿着某条道路走下去，但有时我们会因为在这个过程中的某些发现而做出重大调整。失败是生活的一部分。无论你是一家新公司，一家初创公司，还是一家已经存在了一段时间的公司，你都在尝试不同的道路。如果你没有失败，这就说明你没有尝试足够多的方向。
考虑到上述言论，早前出现的部分AR眼镜传闻或者是关于苹果已经尝试过并选择放弃的项目。
当然，我们只能继续等待时间对真相的揭晓。库克最后说道：我得保守一些秘密。我们总是会藏点底牌。
---原文链接：https://news.nweon.com/86688
MicroDisplay6月17日
Kopin微型显示器长期以来一直被应用于各类VR/AR产品，比如SKULLY FENIX AR摩托车头盔、谷歌企业版AR眼镜等。近日，Kopin展示了其使用全塑料Pancake设计的光学方案。
来源：vrfocus
Pancake 光学器件外形纤薄，非常适合XR应用，但当它与塑料材料结合使用时，光学解决方案往往需要使用玻璃透镜以避免产生由双折射引起的图像伪影。但这此，Kopin展示的Pancake光学元件使用了全塑料光学设计，这种设计不仅让重量得到减轻，同时（该公司声称）几乎不产生双折射。
因为视场角为95°，Kopin将第一款全塑料Pancake光学元件命名为P95。P95每个镜头组的重量为15克，厚度为16毫米。
Kopin Corporation的首席执行官兼创始人John C.C. Fan在一份声明中表示：这一重大突破代表了新兴 VR 市场的一个里程碑 ，多年以来，头显的笨重一直是阻碍消费者采用的主要障碍。我们在对光学设计进行彻底审查后，认为全塑料Pancake光学器件最适合需要非常大的视野、出色的图像性能与超紧凑尺寸的 VR 使用。现在，找到合适的具有所需光学特性的塑料材料的挑战已经克服。
来源：vrfocus
这家公司的首款全塑料Pancake光学元件P95针对1.3英寸的2.6K x 2.6K OLED微显示器（分辨率2560 x 2560）进行了优化，并且可以提供95度的视场。这一Pancake光学系统的厚度是16毫米，每组透镜重15克。结合高平电子的2.6K x 2.6K高亮度OLED微显示器，P95可提供相当于在10英尺距离查看250英寸对角线显示器的虚拟图像。
高平电子首席执行官范钦强指出：这一重大突破代表了新兴VR市场的一个里程碑。多年来，笨重的头显一直是消费者市场快速普及的主要障碍。在对现有的光学设计进行全面审查后，我们认为全塑料Pancake光学元件光学系统最适合于需要大视场、出色图像性能和超紧凑尺寸的VR应用。我们已经发现了一种具有所需光学性能的合适塑料材料。我们相信我们的Pancake光学元件完美契合虚拟现实头显。我们的第一个设计P95专门为采用我们的2.6K x 2.6K OLED高亮度微显示器而优化。这项新技术将是虚拟现实的理想选择。
他进一步补充说：借助全塑料Pancake光学元件和双栈OLED微显示器，行业终于可以实现时尚、轻便、紧凑的高性能XR头显产品。我们计划将这一全新的光学元件作为独立组件或与我们的OLED微显示器模块一起向市场提供。我们非常高兴已有一位合作伙伴围绕P95进行产品设计。
由于专利仍在申请中，Kopin 的 P95 Pancake光学元件可能还需要一段时间才能开始出现在产品中。目前，该公司已经就该设计申请了三项专利.
原创苏建勋 乔芊36氪6月15日
收录于话题
焦点分析85
AR1
社交巨头 Snap 豪掷五亿美金收购了光学模组公司 WaveOptics，无疑给 VR/AR 市场注入了一针强心剂。
文 |苏建勋
编辑 |乔芊
封面来源 |IC photo
2015 年，博世创投合伙人蒋红权第一次走进 WaveOptics 位于英国牛津的办公室。和大多创业项目一样，从事 AR 光学模组研发的 WaveOptics 团队不到十人，办公也要和其他创业公司挤在一层楼里。
逼仄的办公环境中，最让蒋红权感到耳目一新的区域，是 WaveOptics 的光学实验室，里面陈列着检测光路、测试 AR 镜片等种种设备，实验室非常漂亮。更令蒋红权惊喜的是，WaveOptics 提供了一种全新的 AR 眼镜光学成像技术，能在拥有更大视角的同时，让镜片保持轻薄，还能实现极高的良品率。
彼时，博世集团正在寻求AR在工业领域及2C端的应用场景，背靠全球第一大汽车及工业技术供应商，博世创投对投资标的定位是：在硬件方面可以引领整个行业的主流型供应商企业。
很快，博世创投作为领投方对 WaveOptics 进行了A轮投资。恰巧，戈壁创投合伙人朱璘带领戈壁中国团队在AR 领域也已经苦寻多年，基于博世与戈壁创投的多年合作，经蒋红权搭线，在亲自前往牛津调研了 WaveOptics 的技术后，戈壁创投于2017年作为唯一的中国风投基金参与到 WaveOptics 的后续融资中。
之后，博世与戈壁连续加注WaveOptics 的 B轮与C 轮融资。在WaveOptics后续发展过程中，蒋红权一直与团队保持着深度交流，WaveOptics 如今的CEO大卫·希斯（David Hayes） ，也是在蒋红权的引荐下加入公司，这些举措都为加速产品的商业化发挥了重要作用，也促进了后续与Snap的并购谈判。
六年后，博世与戈壁的押注，终于等到了收获的时节。
5 月底，社交巨头 Snapchat 宣布用5亿美元收购AR光学模组厂商WaveOptics，据 36 氪获悉，Snap将以股票的方式支付一半交易费用，两年内再决定以现金或股票的方式支付另外一半。
snap 推出的 AR 眼镜
在这笔并购中，成功实现退出的博世创投和戈壁创投也获得了不菲的回报。其中，戈壁的回报率接近 7 倍。从硬科技的角度来看，这个数字我还是满意的。朱璘对 36 氪说。
这是一笔典型的穿越周期的投资。2015 年前后，全球对于 AR/VR 设备的追捧一度达到巅峰。海外，AR 头显厂商 Magic Leap 拿下5 亿美元巨额融资，其发布的鲸鱼从体育场跃出的画面令人惊叹；国内，以暴风魔镜为首的一系列厂商紧锣密鼓地融资、发新品，一个新风口蠢蠢欲动。
但泡沫很快破灭，Magic Leap 的新产品迟迟未能面世，起先放出的演示视频被证明是伪造；暴风魔镜很快陷入裁员危机，如今已杳无音讯；而曾经试图闯入赛道的玩家，诸如小米、锤子，也都清盘退出。
如今，Snap 豪掷的五亿美金（也是 Snap 历史上数额最大的一笔并购），如同给 AR 赛道的一剂强心针，一位硬科技领域投资人对 36 氪笑谈：这笔交易一公布，又有几家做 AR 的能融钱了。可究竟是机遇还是又一轮泡沫，不少从业者仍在观望。
AR 赛道的投与不投
时间倒回到五年前。在把当时市面上的 VR/AR 项目搜过一圈后，朱璘得出结论：投不进去。
为什么？
VR/AR 设备的体验在当时是个问题。FOV（视场角）是衡量 AR 眼镜观看范围的重要概念，人眼可以观看前方 180 度的景象，但当时大部分 AR 眼镜的 FOV只有 15 度-30 度，这就好比有两只手遮挡在眼睛前方，必须靠不停转动头部才能观看视场角以外的物体。
价格也是个门槛。市面最头部的两家厂商，微软 HoloLens 与 Magic Leap 在 2016 年前后发布的产品，定价均在 3000 美金（约合人民币 2 万元）上下，这让普通消费者望而却步。
在朱璘看来，体验和价格问题都是表象，把 AR 赛道抽丝剥茧地看下去，他发现，AR 深层的问题是技术问题，当中最严重的是光学问题。
VR 是封闭设备，对光学成像的需求很小；但 AR 要和现实结合，光学模组就像眼前的投影仪，这个投影仪的亮度、清晰度、投影大小，直接决定了用户体验。朱璘对 36 氪说。
制约 AR 的关键问题在光学成像，可在产业端，光学成像在技术突破上迟迟未有较大进展。
这与终端市场的需求量有关。手机市场在过去十年的全球出货量攀升至上亿，直接倒逼了半导体制程的飞速发展，最领先的台积电从 2009 年的40nm，进步到如今的量产 7nm 芯片。对比之下，光学成像技术的应用都局限在实验室里，除了满足小众人群的拍照需求外，光学模组的发展在产业化、商业化层面都相当缓慢。
光学成像在技术上的积贫积弱，又直接影响了终端出货的成本问题。
实现光学成像有多种技术路线，以 HoloLens 为首的公司采取压片技术，利用机床将多块镜片压缩，以形成光学折射达到成像效果，但这种路线的缺点在于，由于要将几十片镜片压缩，一旦单个镜片上的电路损坏，整块镜片的成像就会受到影响，因此良品率较低，使得生产设备的终端成本居高不下。
而 WaveOptics 之所以能脱颖而出，也是因为其选择了另一种技术路线。
waveoptics 推出的光波导产品
区别于传统压片技术，WaveOptics 采取了光波导路线，用类似盖章的方式，将光学电路压刻在镜片中，这种方式相较于压片，极大提升了良品率，也进一步减轻了终端眼镜的重量和成本。
去年 2 月，WaveOptics还推出了目前最轻薄的AR眼镜波导显示屏Katana，厚度仅为1.15mm，重量为7g。而在 FOV 的提升上，目前WaveOptics可以达到超过 40 度的视角范围，甚至在实验室能达到 70 度的视角。
技术路线的选择让 WaveOptics 在 AR 赛道有了立足之本，据 36 氪了解，在拿下博世创投与戈壁投资后，WaveOptics 已经与国内多家一线手机厂商制定了初步的采购协议。
从技术到商用，WaveOptics 经历了一家科技公司最为凶险的周期。而选对了路线，加之巨头有了并购底层技术的需求，让 WaveOptics 有了被并购的可能。
2017 年投资，四年后退出，这个 timing 很不错。朱璘坦陈，相比国内巨头习惯用并购消灭竞争的手段，海外公司更倾向于用并购去弥补技术短板，这也为诸如博世创投和戈壁创投这类的一线 VC 提供了退出的机会。
找到 AR 的产业位置
斥资五亿美金收购 WaveOptics 后，Snap 在一份公开文件中表态：这笔并购会给 Snap 提供强有力的竞争手段，特别是针对那些有计划推出 AR 眼镜的竞争对手。
而在官宣收购WaveOptics的前一天，美国时间 5 月 20 日，Snap 还宣布了一项重要的产品：它发布了新一代智能眼镜 Snapchat Spectacles。不同于前几代 Spectacles 用于拍照、录短视频的简单功能，最新款 Spectacles 是一副货真价实的 AR 眼镜（但只提供给开发者使用）。
这显然是社交巨头的 AR 野心。随着智能手机的增长到达瓶颈，包括Facebook、Snap在内的应用已经意识到，将手机作为 APP 载体，其应用场景已经很难突破。AR 终端厂商徐驰曾告诉 36 氪，用户与手机的交互均为二维操作，而 5G 时代的诸多场景，比如用手柄和朋友在虚拟世界玩游戏、打招呼，均为三维互动。
snap 的 AR 眼镜成像效果
AR 设备的意义，意味着交互内容的更全息、更 3D，更高清，这将是移动互联网空间化的升级。徐驰对 36 氪说。
但野心归野心，现实仍然残酷。今年上半年，又有爱奇艺 VR、VR厂商Pico、VR 交互厂商 NOLO 等接连宣布融资，但多位行业人士告诉 36 氪：厂商们融资热闹，但是收入没有一家能做起来。
即使有了一起退出案例，朱璘对这一赛道仍颇为冷静。
终端产品我们还是会小心一些。它需要一个产品周期，拿手机来说，先要底层芯片ready，从intel、高通、ARM芯片，到诺基亚只手遮天，再到苹果应用生态的成熟，大概要花15-20年时间。朱璘对 36 氪说。
可以说，在生态爆发前，如今的 AR/VR 厂商需要找到自己在产业中的位置和价值。
To B 被认为是 AR 落地的希望。To B 是一个场景非常清晰的市场。蒋红权对 36 氪说。投资WaveOptics时，也抱有与自身业务协同的目的，蒋红权介绍到，当时在市场寻觅 AR 相关技术项目，主要有三项需求：
1、博世集团拥有博世 service（售后服务），下设诸如4S店等汽车零部件维修网络，AR 可以汽车服务的远程维修；
2、博世全球分公司间的协作研发，比如共同开发新车系统，会需要这种VR/AR在三维空间内共同协作；
3、博世还有物流技术供应商的角色，可以利用 AR 在物流系统中提供辅助配送。
蒋红权表示，结合博世在汽车以及工业领域的业务，他们也在不断尝试与WaveOptics进行联动，做一些前瞻性的探索——例如摩托车头盔显示、汽车前玻璃指示等场景的应用。这当然需要企业有更高质量的交付能力，待整个工业成熟后，比如达到了手机供应商的要求，才可能满足汽车、工业这方面的应用需求。
朱璘也对 To B 场景中的 AR 应用更有信心，他接触过 AR 在工业场景的解决方案，工人戴上 AR 眼镜后，哪里有漏电之类的危险信号，可以立刻被监测出来，这就能卖进去（场景）了，但 To C 如果你没有一个杀手级场景，且价格不跌到一万元以下，真的很难起量，不起量在 To C 就没意义。
对于 To C 是否能迅速爆发，行业里已经有了共识——短时间内，VR/AR 代替手机暂无可能，就连Snap CEO 也在采访中坦陈：AR 眼镜大概要花费 10 年才能成为主流。（AR glasses will take roughly a decade to reach mainstream adoption.）
但观望的眼睛仍然还在。对于 Snap 收购 WaveOptics，业内还有一种解读，同样作为社交巨头，腾讯对于 VR/AR 领域的关注不逊于任何一家 VC，一旦有机会浮现，财大气粗的腾讯会立刻出手，买断这个领域最先跑出的公司，别忘了，腾讯还是 Snap 的股东之一。
21dB声学人21dB声学人6月15日
近日，美国专利商标局（US Patent & Trademark Office）公布了一项苹果公司（Apple）的延续专利，涉及AirPods Pro和智能眼镜等可穿戴电子设备，这些设备可以产生可被佩戴者感知的触觉输出。更重要的是，触觉技术能为用户提供一种独特的方向感，可引导用户的注意力集中在虚拟远程会议或更远的方向上。专利讨论了空间音频在近日的WWDC21上引入的视频会议中的使用。
Apple的专利通常针对可穿戴电子设备，包括触觉执行器，尤其是与虚拟对象位置（可能与个人、音频源、仪器、图形对象等）相对应或代表虚拟对象位置的触觉输出。
可穿戴电子装置可包括触觉致动器阵列（例如，两个或更多个触觉致动器），可根据致动模式致动，将佩戴者的注意力引导到特定方向。
例如，一组触觉致动器与佩戴者头部的不同部位接触，可以一种模式被致动，产生一种具有明显方向性成分的感觉。用户可以感觉到向左或向右移动。可以促使使用者根据触觉图案指示的方向上转动头部或身体。
通过定向触觉输出指示方向可用于增强与音频（或视觉内容）的各种交互，特别是增强具有位置信息的交互，以及有视觉或听觉组件内容的交互。
下图2A-2B为头戴式触觉配件的例子；3A-3B是头戴式触觉配件的另一个例子；4A-4B是头戴式触觉配件的另一个例子；图9所示的示例图显示了不同头戴式触觉附件之间的差异。
10A-10B和图11是电话会议参与者的描述。例如，检测条件可能包括或对应于检测音频信号中音频源的存在，其中音频源可能与相对于用户的虚拟位置相关联。
10A-10B，如果用户处于多与会者的电话会议中，每个与会者可能都有一个相对于用户的虚拟位置。在这种情况下，检测情况可能包括检测参与者之一正在说话或以其他方式产生音频。检测该条件还可以包括检测信号的特征（包括但不限于与音频信号相对应的音频输出的音量或振幅）是否满足阈值。例如，在多方会议呼叫的情况下，检测该条件可以包括检测与参与者之一相关联的音频输出已经满足阈值（例如阈值音量）。
12A-B是定向触觉输出的另一个例子，可用于引导用户的注意力到虚拟或增强现实环境中的图形对象的位置；14A-14B描述了一个用户和两个声源的空间排列。
美国专利局公布了苹果公司的延续专利，其中苹果公司完全取消了他们对这项发明的原始专利要求，特别是一种方法。这是一项重要的发明，苹果已经部分集成到iOS 15和以后的版本，苹果推出了20项新的专利，现在涵盖了头戴式电子系统。大多数新申请都与苹果未来的头戴设备（如上图12A和12B所示的AR头戴设备）带来空间音频有关。
信息源于：patentlyapple
原创前沿科技新媒体青亭网6月7日
Esther｜编辑
去年7月，光学玻璃厂商肖特（Schott）宣布为AR光学厂商Lumus量产低成本AR反射光波导模组Maximus。据悉，Maximus基于Lumus的反射波导光学元件（LOE），可用于开发水平视场角53°（对角线65°），具有紧凑性、移动性、舒适性等特点的消费级AR眼镜。
近期，Lumus CEO Ari Grobman和研发部门执行副总裁Aviv Frommer来到美国，展示了Lumus Maximus AR原型眼镜的最新成果。该AR眼镜整体图像显示效果优秀，具备单目2K分辨率，亮度大于3000尼特（不久还将提升到4000尼特以上），视场角达50°，以及高透光性、轻量化等特点。
据青亭网了解，Lumus所展示的AR眼镜原型仅包含光学模组部分，并未配备电池、处理器、摄像头和SLAM模块，主要目的是通过有线投屏显示的方式，来展示光学模组效果。
细节方面，Lumus Maximus采用Compound Photonics提供的2K分辨率LCoS微型显示模组。据Guttag称，在Maximus上体验过CP的LCoS模组后，改变了原先对于LCoS光源的看法，CP的LCoS模组可实现高对比度和优质色彩，以及高像素密度（单像素仅3微米）、高反射率（高效显示）、高场序率（避免头部运动造成色彩瑕疵）。
实际上，Lumus在2017年的CES上就曾展示早期的Maximus概念产品，后来又推出了一维扩瞳光波导技术。由于一维扩瞳光波导技术所需的光学引擎体积较大，为了解决这一问题，Lumus Maximus采用二维扩瞳光波导技术，结合CP的LCoS光学元件，进一步缩小了光学引擎的体积。
此外，采用二维扩瞳光波导技术的另一个优势是，未来还可以在50°视场角和正方纵横比基础上进一步提升，可以根据不同的纵横比和视场角来调整光波导尺寸。
Guttag表示：在体验Maximus原型AR眼镜后，发现它有许多令人惊喜的特点，比如：AR图像的纵向尺寸足够大，纵横比1:1，色彩和亮度足够均匀，比此前体验过的其他光波导模组效果更好，等等。
不过，Maximus原型眼镜的图像存在一些针插象差效应，由于原型版仅采用简单的球面光学模组，目前仅通过软件来优化图像失真，而在未来正式生产的版本，将采用非球面光学模组来校正失真。
未经软件优化的Lumux Maximus显示效果
从左到右视觉效果对比：Maximus 2K、HoloLens 2、Maximus放大1倍。整张图横向包括1.1万像素。
通过焦距更长的摄像头来将Maximus和HoloLens 2的中心画面进一步放大2.5倍，发现Maximus的水平和纵向角分辨率大约是HoloLens 2的四倍。
此外，Maximus显示白色的效果也足够干净，几乎看不到彩虹效应。
关于原型AR眼镜的球面光学元件和边缘的图像失真，通过Guttag拍摄的Maximus右上角图像画面，可以看到一些重影和画面失真效果。
通常，AR眼镜在显示黑底白字时的对比度会比白底黑字更好，而Maximus显示两种不同底色图像的效果均足够清晰。
接下来，Guttag进一步对比了Maximus与HoloLens 2在多方面的区别：
光学效率
Guttag表示：准确对比AR眼镜光学效率其实并不容易，不仅不容易测量，而且结果也会受到大量变量影响，包括视场角、eyebox等等。不过，Lumus光波导通常比衍射光波导的效率更高。
Lumus在今年3月国际光学工程学会举办的SPIE会议中，曾提到Maximus的光学效率预计达到每流明650尼特（nits/lumen），相比之下WaveOptics的衍射光波导方案Odin仅为每流明50尼特（nits/lumen），相当于前者是后者光学效率的十倍以上。
实际上，光学效率越高，更有助于降低AR眼镜的功耗，进而提升续航、降低温度。
光学显示模组体积
为了对比Lumux Maximus和HoloLens 2显示模组的体积，Guttag将Lumus官网图片与此前发布的HoloLens 2拆解图进行对照，发现Maximus的LCoS显示模组仅为HoloLens 2的激光扫描模组的1/4大小，与此同时Maximus可实现更高的分辨率，亮度甚至是Hololens 2的6倍左右。
此外，Frommer在SPIE会议中也展示了关于Maximus的更多细节，比如：其光学模组由曲面镜、CP微显示模组、透镜、注光棱镜、光导管集成器、LED光源、分束器、光束准直元件等等，此外Maximus似乎采用类似于birdbath的光学方案，与一般birdbath不同的是，Maximus将发光元件置于透镜侧面，而不是在上方。
Guttag表示：Maximus仅采用单一的PCB板和微型LED阵列，即可实现超过3000尼特级别的亮度，让人印象深刻。Maximus的AR光学模组通过一个光导管集成器来融合LED光源的RGB色彩，接着注光棱镜以特定的角度将光线折射到光波导中，实现全内反射光线传播。此外，偏振光线分束器将改变每颗像素的偏振，来控制AR画面亮度。
偏振光线经过分束器后，会摄入曲面镜，输出准直的AR图像。在这一过程中可能会有一个四分之一波片控制曲面镜反射的光线进入分束器，然后输出为AR图像。实际上，Maximus采用了复杂精致的光学方案，上述光学结构只是其中比较明显的大致部分。
CP LCoS微显示系统
除了Lumus的光波导技术外，CP提供的场序LCoS微显示模组也有许多细节值得一提。在2019年时，青亭网就曾报道这款LCoS模组的尺寸仅0.26英寸（对角线），像素间距3.015μm，分辨率达2K，PPD达60，显示规格1:1，适合应用于50°视场角以上的光波导模组产品中。此外，该模组还可以进一步提升分辨率。
Guttag表示：CP改变了以往LCoS模组的低对比度和色彩分离等缺点，比Google Glass和HoloLens 1采用的LCoS模组效果更好。比如：Google Glass的图像有点色彩失真，而且由于对比度低，整体图像看起来泛红，看起来就像是有一个长方形的红色背景。而HoloLens 1所采用的场序色彩LCoS模组，则会产生色彩分离的效果。
而CP的LCoS模组支持240Hz刷新率（最高可提升至1440Hz），可大幅降低电子到光子延迟，避免色彩分离，此外也支持GPU模式，进一步降低延迟。
对比度方面，CP的LCoS模组可实现2100:1对比度，其液晶模组采用VAN向列排列方式，特点是进一步提升了切换速度、色序率、对比度。
CP LCoS模组配置
透光性
前面提到，Maximus的透光性足够高，约达85%，无需遮光罩，在室内可显示200到300尼特亮度。与HoloLens 2相比（透光率仅约40%），Maximus看起来更像是日常的眼镜，旁边的人可以透过镜片看清你的眼睛。Maximus仅遮住15%环境光，相比之下HoloLens 2大约遮住了4倍光线，而市面上一些birdbath方案甚至遮挡住70%环境光，外观看起来更像墨镜。
从Guttag公布的照片来看，还可以看到Maximus透镜上半部分的光学浮雕图案，而且使用者眼角膜中也反射出眼镜显示的AR图像（很小的方形）。
透光率高还有一个好处，就是除了镜腿部分，镜片不会过多遮挡使用者的余光。
四种AR光学模组透光率对比，Lumus透光率约85%，WaveOptics大于70%，HoloLens 2透光率40%，Nreal大约25%。
值得注意的是，HoloLens 2和Nreal均在光学元件外加入了遮光罩，其中部分原因是为了保证AR画面的亮度，避免光线泄露。
光线泄露
大多数光波导可能都存在漏光的效果，从外面看起来镜片反着彩色的光，不像自然的眼镜片。与HoloLens 2相比，Maximus漏光的程度大幅减轻，对此Lumus表示：Maximus漏光仅5%，未来通过优化反射波导光学元件（LOE）的涂层，有望将漏光降低至1%。
eyebox和视场角
Guttag表示：体验过Maximus后，发现它的eyebox（眼动范围）足够大，AR画面的宽度几乎和透镜一样宽。
Maximus通过2D图像放大元件，将AR图像放大至整个FOV范围，这一过程需要两个步骤：横向放大和纵向放大。如果需要增加FOV范围，则需要增加适眼距，而目前的AR光波导还不能实现像VR那样高的FOV。
从Guttag制作的示意图来看，Maximus的眼动范围并不是正长方形，底边长度要比上面更短，而且右下角与镜框重叠。
透镜和屈光调节
由于光波导的光源聚焦在无限远，因此输出的AR图像也聚焦在无限远，Maximus也是如此。为了提升视觉体验感，缓解视觉辐辏调节冲突或是屈光等问题，Maximus可以像HoloLens一样采用双透镜结构（第二个透镜可固定在光波导附近），在无限远焦距基础上再加入一个2米左右的焦点平面。或者，Maximus可以采用动态液晶透镜，比如在2017年时Lumus就与Deep Optics合作，研发AR动态对焦技术。
除此之外，WaveOptics在今年初还曾宣布与3D打印处方镜片厂商Luxexcel合作，研发嵌入光波导的视力矫正模组。
FOV和纵横比
Guttag认为，包括Lumus在内的许多AR厂商发现方形的纵横比更适合人眼观看，HoloLens 2也从第一代的16：9改善到3:2的显示比例。
而视场角方面，微软HoloLens光学架构师合伙人Bernard Kress就曾指出人眼固定活动范围在40°到50°之间，在这个范围中人眼分辨率最高。结合软件IPD调节后，50°视场角范围也足够用，如果使用者希望视场角更宽，可以通过IPD调节，再设置为3:2或4:3的宽高比例来实现。
总结
Lumus Maximus采用了全新的二维扩瞳反射光波导+LCoS显示方案，实测效果比HoloLens 2的激光扫描+二维扩瞳衍射光波导更好：
亮度是HoloLens 2的6倍多；
透光性是HoloLens 2的4倍；
光学显示效率约为HoloLens 2的10倍多；
光学引擎和光波导模组体积更小；
像素数量是HoloLens 2的10到16倍；
漏光更少；
色彩和亮度更均匀；
色彩表现更优秀；
对比度更高（除了几乎全黑的图像）；
功耗更低。
除此之外，体积上Lumus Maximus原型机虽然比HoloLens 2小得多，不过前面提到Maximus原型目前仅包含AR光源和模组，未集成摄像头、SLAM技术、电池、多焦距透镜、处理器等更完整的元件。如果将Maximus制作成具有HoloLens 2完整功能的产品，体积可能要比普通眼镜更大，更接近头显的外观。
未来，为了降低Maximus AR眼镜的成本，Lumus可通过与肖特合作，利用低折射率玻璃材质来制造反射光波导，实现低成本量产。
参考：
https://kguttag.com/2021/05/24/exclusive-lumus-maximus-2k-x-2k-per-eye-3000-nits-50-fov-with-though-the-optics-pictures/
原创前沿科技新媒体青亭网6月15日
Esther｜编辑
前不久，Facebook在F8 Refresh线上活动中公布了基于视频通话的AR互动工具：Multipeer API，该工具可用于Portal、Messenger、Instagram等多个平台，应用场景包括远程社交、多人游戏等等。
我们知道，Facebook正在AR和VR上同时发力，VR方面Quest和Quest 2受到广大玩家欢迎，而AR方面虽然未正式推出相关的眼镜产品，但通过Portal等移动硬件一直在发展AR内容生态和技术，包括在视频通话中加入具有临场感的AR互动功能Multipeer，甚至包括正在研发中的AR现实操作系统。
在近期于Instagram上举行的问答活动中，Facebook Reality Labs老大Andrew Bosworth连线CEO扎克伯格，回答了网友提出的许多问题，进一步透露关于未来Facebook AR/VR发展策略的更多信息。其中，扎克伯格还透露自己最喜欢玩多人VR射击游戏《Onward》，难怪今年5月Facebook宣布收购该作开发公司Downpour Interactive。总之，青亭网整理了本次问答的主要内容，供大家参考：
Bosworth：Portal的长期发展方向？
扎克伯格：我认为，疫情期间的许多习惯也将在日后延续，比如：视频通话、远程社交、远程视频会议等场景将会越来越常见。与此同时，人们对于远程社交的临场感的需求也会增加，而这一点可以通过AR/VR来实现。
与2D视频相比，AR/VR可以更自然的模拟多人在同一场景的体验。不过考虑到视频通话更加普及，目前主要通过AR来滤镜来优化视频的沉浸感。
Bosworth：与一对一视频通话相比，多人视频通话似乎更需要空间感，否则会比较乱，很难多个对话同时进行。为了解决这一问题，Facebook正在研发一种用于线上会议的空间音频方案。
另外一个问题，EMG腕带对于Facebook AR/VR战略的重要性？
扎克伯格：输入方式是定义一个平台的关键，而AR/VR与PC、手机的不同之处不只是视觉形式不同，更重要是交互方式更加自然，并且结合多种输入方式，包括：语音助手、手势识别、手柄等等。这些输入方式各有优势，适用于不同的场景，而在此基础上，神经接口使用起来更加自然、低调。
在神经接口的研究上，Facebook的不同之处在于，更侧重于识别大脑向身体/肌肉输送的信号，以实现类似于心灵感应的交互，而不是侧重于读取人的具体想法。如此一来，神经接口可以让一些人更好的控制假肢，比如通过运动神经元信号来控制AR/VR中的虚拟手，即使你不方便使用手柄也能控制AR/VR。
Bosworth：这位网友问，听说Facebook正在开发操作系统，请问是为什么？
扎克伯格：的确，Facebook正在开发一款现实操作系统（Reality Operating System），它与现有的系统有很大不同，这将体现在交互方式、应用模式、内容分发、硬件形态和体验感等多个方面。与此同时，也需要解决许多问题，比如：如何通过优化的系统，在轻量化、全天候AR眼镜中运行和整合计算机的功能，同时还需要考虑散热、续航等问题。
目前，Facebook已经在操作系统上进行长时间研究，其研究的操作系统将基于微内核技术，特点是具有一个分割式的安全架构，每一层技术都将支持定制化设计，以达到硬件方案对于性能、效率的需求。
Bosworth：我想补充一下，Facebook并不是要开发完整的操作系统，而是会通过开源API等软件，将开发机会交给开发者。与VR不同，Facebook需要针对AR眼镜的小巧体积去优化系统，减少散热，因此需要定制化的底层系统，而不是直接采用安卓。
扎克伯格：除了现实操作系统外，Facebook的底层技术实际更深入，不仅需要提升应用、系统的效率，还需要优化硬件、自研定制芯片等等。Facebook对于AR/VR的长期目标，是未来实现更模块化的系统，通过与芯片、硬件伙伴合作，继续扩展。
Bosworth：你很喜欢玩游戏，那你最喜欢的VR游戏是什么？听说你每周都玩VR。
扎克伯格：在疫情期间，我最喜欢玩多人VR游戏。最开始，我喜欢玩《亚利桑那阳光》，后来我开始玩《Onward》等游戏。前不久，《Beat Saber》也开始支持多人模式，也很有意思。目前，我可以玩Expert模式，不过还不够Expert+的水平。
总的来讲，我最喜欢《Onward》。
Bosworth：对了，最近John Carmack经常在Twitter上组队玩《Beat Saber》，他很难被击败。不过我在《Pistol Whip》中赢了他几次，我最近很喜欢玩这个游戏健身。
这个人问，目前Oculus应用中已经接入广告，那么未来在VR中也会加入广告吗？
当然会加入广告，因为软件和游戏生态发展依赖于推广，而广告则是推广的重要部分，能够为VR开发者带来经济效益，甚至降低内容开发和硬件成本。而且，广告并不一定都是干扰性的，对于不合适的广告，你是可以举报的。
总之，VR中会加入一些广告，未来可能会有更多。
下一个问题，未来Facebook将如何降低AR技术的门槛？由于AR是一个比较新的技术，刚开始成本可能会比较高，这将如何解决？
扎克伯格：AR眼镜需要解决两大问题，一是提升用户体验，二是降低使用门槛。体验感方面，有线化设计无法保证临场感，这一点通常被很多人忽略。这并没有回答关于定价的问题，不过我认为无线化的体验将成为未来高端AR/VR的标准，因此AR/VR市场会分为两大阵营：更小众的分体式/有线化AR/VR，以及更难研发、更大众化的一体式AR/VR。
至于定价的问题，如果想要让AR打开主流市场，那么从根本上讲这家公司的产品不该收取商品溢价，而是尽可能降低价格。可以效仿游戏主机的策略，放低硬件的价格，通过应用等内容生态来盈利，这也是Facebook在AR/VR上的战略。我认为，低门槛的战略将很大程度决定，未来5-10年人们更常使用哪款AR/VR硬件。
参考：https://www.instagram.com/p/CPoxx2_JS5-/
作者广东客·分类 快讯·2021年06月15日 09:00:04
加入映维网会员
查看引用/信息源请点击：映维网
异步空间扭曲的插值发生在PC端，而同步空间扭曲则发生在头显端
（映维网 2021年06月15日）Virtual Desktop的开发者盖伊·戈丁（Guy Godin）日前通过Reddit发布了名为 Synchronous Spacewarp同步空间扭曲（SSW）的beta版功能。据介绍，Virtual Desktop的SSW类似于Facebook的Asychronous Spacewarp异步空间扭曲（ASW）。但两者不同的地方在于，异步空间扭曲的插值发生在PC端，而同步空间扭曲则发生在头显端。这意味着所述功能能够支持任意GPU，而且不会产生ASW的PC性能影响。
在一度删除后，Virtual Desktop已经恢复PC VR流式传输功能，Quest用户可以直接通过Virtual Desktop访问SteamVR和Rift内容库。当然，用户的另一个选择是利用Facebook的Air Link无线串流技术。
当显卡无法满足帧率要求时，Air Link能够像Oculus Rift一样启动异步空间扭曲，迫使正在运行的应用以一半刷新率渲染，并在每个真实帧后推断出一个合成帧，从而解决所述问题。
现在Virtual Desktop提供了一个类似原理的功能，但不同的地方在于，同步空间扭曲发生在头显端。
开发者戈丁表示，为了实现这一目标，他与高通进行了密切合作，采用了高通XR2的运动估计能力来实现头显端的插值功能。当然，SSW目前仅支持Quest 2。
延伸阅读：高通用OpenGL插件进行运动估计，实现更高性能VR体验
下面这个视频比较了Facebook的异步空间扭曲和Virtual Desktop的同步空间扭曲。可以看到，ASW 能够保持整体画面的平滑行进，但手部和手指的撕裂伪影问题相当明显。作为对比，SSW在手部和手指方面的处理明显更优。
当然，SSW尚不完美，但我们显然可以期待开发者对所述功能的进一步优化。
目前Virtual Desktop已经提供beta版本的SSW功能，如果有兴趣，你可以访问Virtual Desktop的Quest Store页面。然后登录Facebook帐户，并在版本+发行说明下选择测试版。
砍柴网
发布时间: 20-09-2220:16砍柴网官方百家号
来源：映维网 作者 颜昳华
美国陆军正希望利用先进技术来重新定义士兵在战场上瞄准和杀死敌人的方式。所述的技术名为IVAS集成视觉增强系统。其中，士兵将穿戴一种基于微软HoloLens的军用改装版头显，然后通过叠加在视场的传感器数据来快速获取关于目标的数据。设备同时结合了夜视功能和数字瞄准功能，并能够精确显示关于周遭环境的一切信息。
这与数十年前拿着步枪并在猛烈炮火下攻击碉堡的情景相去甚远。
想象一下，一架敌机正在一公里的地点进行攻击，另外两架位于数百公里远的另两架驾敌机正从不同方向火速驰援。这时，位于敌机附近并穿戴IVAS的美军士兵就可以捕捉，整合并在3D中快速绘制多个目标的位置，从而为司令部提供完整的军事态势图，并进而帮助其下达合适的命令。另外，相关数据同时可以显示在设备视场，从而帮助士兵掌握具体的军事态势。
根据克里斯·奥斯伯恩（Kris Osborn）发表在美国《国家利益（The National Interest）》上的一份报告，上述的复杂性构成了IVAS的概念基础。
美国陆军副参谋长约瑟夫·马丁（Joseph Martin）在捍卫民主基金会（Foundation for the Defense of Democracies）的一次活动中表示：我们把所有穿戴IVAS的士兵变成一个传感器，他们可以收集数据，并与更大的网络进行共享。屏幕可以绘制一条路径，并告诉你敌人的位置。如果你脱离了部队或单独执行任务，你知道这可能是非常孤独的情景。你想和你的战友建立联系。这时IVAS就可以派上用场。
马丁进一步解释说，IVAS系统正在通过一个名为Soldier Touchpoint的士兵测试项目进行迅速迭代和升级。其中，士兵们会穿戴IVAS进行训练，并向开发者提供反馈。
美国陆军的采办、后勤和技术部助理部长布鲁斯·杰特（Bruce Jette）在今年早些时候接受《The National Interest》采访时表示，工程师们创造的IVAS能够补偿人眼的局限性。IVAS的操作需要基于一定程度的人机界面，因为它将人类视觉的特定神经过程与设计用于处理、组织和显示其他挑战性因素的软件集成在一起，如深度感知，周遭的外围对象和人类的其他元素视觉定位。
杰特指出：一只眼睛无法感知距离，但如果我能用到两只眼睛，我就能感知3D对象。要做到这一点，我需要通过一个传感系统来确定眼睛注视方向和运动。IVAS可以实现这一点。它可以判断你正在看什么，你在看什么类型的物体，并专注于在你面前生成一个3D图像。
据《The National Interest》报道，按照设计，IVAS系统的目标是减少硬件面积，减轻重量。但最为重要的是战斗相关性，亦即简化对时间敏感的作战数据显示。杰特解释道：传感器可以看到我的眼睛在看什么，并根据一定的测量结果进行保存。如果我正在控制一架无人机，IVAS可以显示无人机的视场，并将两者融合在一起，这样我就可以控制无人机前往任何位置。
有趣的是，在反馈过程中，士兵希望传感器能够纳入更多的数据、图标、细节和作战信息。在一开始，开发工程师是为了避免信息过载而故意限制IVAS系统显示的信息总量，但士兵们非常喜欢这种数字显示系统，并要求提供集成更多信息的显示器。
美国陆军副参谋长詹姆斯·E·麦克弗森（James E.McPherson）在活动中指出：这些20岁的年轻人一生都在与数字屏幕打交道，他们说我们可以利用更多的信息。
原文链接：https://yivian.com/news/78329.html
作者刘源·分类 资本·2021年06月12日 06:50:02
加入映维网会员
查看引用/信息源请点击：映维网
买买买之路停不下来
（映维网 2021年06月11日）Facebook日前再度出手，收购热门VR吃鸡游戏《POPULATION: ONE》背后的开发商BigBox VR。但是，双方没有披露具体的交易条款。根据Crunchbase的数据，BigBox早前曾完成了650万美元融资，投资者包括Shasta Ventures, Outpost Capital, Pioneer Square Labs和GSR Ventures.。
这已经是Facebook在VR游戏领域公开收购的第五家工作室，前面包括2019年11月收购《Beat Saber》的开发商Beat Games，2020年2月收购《Asgard’s Wrath》的开发商Sanzaru，2020年6月收购《Lone Echo》的开发商Ready At Dawn，2021年5月收购《Onward》的开发商Downpour。另外，Facebook在日前宣布收购一家类Roblox的元宇宙平台Crayta。
对于《POPULATION: ONE》，开发商BigBox VR打造了一种只能通过VR实现的绝地求生类游戏。游戏采用了独特的Vertical Combat System（垂直战斗系统），并允许玩家自由攀爬任何一切，飞到任何地方并展开激烈的战斗。这将是一场令人兴奋的，存在无限可能的大乱斗。三人一组的六支队伍将传送到一张大地图中，并在不断缩小的区域内进行生死抓杀，直到其中一队获胜。另外，战利品散落在环境中的各个角落，包括枪械，血包，盾牌，背包和手榴弹等等。
这款作品在Quest，Steam和Rift平台均收获了大量的好评。其中，Steam1610份评测中给出了88%的特别好评。Quest平台的7813次评价中更是给出了近五星的绝对好评。
值得一提的是，根据Facebook在2020年9月Connect大会公布的信息，在Oculus Store发行了数个月后，《POPULATION: ONE》的营收就已经超过了1000万美元。
原创前沿科技新媒体青亭网6月10日
Esther｜编辑
自从去年AR头显厂商Meta由于破产被Olive Tree Ventures收购，并成立全新的Meta View公司后，这几年几乎很少有与它相关的消息。直到今年4月，Meta View以AR远程协作方案商Campfire的新身份亮相，并推出了基于Meta AR头显技术的3D AR/VR可视化与协作整体解决方案。
据青亭网了解，Campfire的AR解决方案包含一台分体式birdbath光学AR头显，一个类似于显示屏支架的交叉式底座，以及可以将手机变成手柄的外设Pack，再加上Scenes和Viewer两款应用。尽管Campfire的AR头显看起来与Meta有多种相似之处，但在用户体验等设计上又有许多不同。
尤其是从Meta更名为Campfire这件事来看，这家公司似乎想要彻底摆脱与原先品牌的关系，当然这可能与此前Meta与Genedics的侵权案有关，当时法院曾判决永久禁止销售和制造Meta AR头显。实际上，在近期接受外媒Next Reality采访时，Campfire CEO Jay Wright就多次否认Campfire是Meta的迭代品。
在这场采访中，Wright还透露了关于Campfire将于今年秋季发货，以及其背后的一些细节，以及战略构思和应用场景，感兴趣可以一起看下去。
NextReality：您曾就职于Vuforia和高通，可以谈谈自己在AR/VR领域的过往经验吗？
Wright：从我进入高通到现在，已经进入AR/VR行业13年了。当时，我在高通内部成立了一个早期的Vuforia研发项目，随着产品不断发展，Vuforia逐渐成为了高通的一个IE独立业务。后来在2015年，Vuforia被PTC收购，于是进入PTC，作为Vuforia总裁负责AR业务。
因此，我积累了很多AR技术经验，并且深入了解这项技术的功能和应用。通过这些经历，我了解到AR可应用于广泛的场景，也了解到阻止AR广泛应用的障碍。
NextReality：可以谈谈Meta吗？Campfire是Meta的迭代产品吗？
Wright：Campfire并不是Meta的迭代品。我成为Campfire CEO的过程是这样的，先是风投公司收购了Meta的资产，然后邀请我去，于是我评估了一下Meta的资产，包括一些有价值的专利组合、未商业化的下一代AR显示系统，以及Meta品牌。后来，尽管Campfire并未使用Meta的品牌，但Meta的技术是实现Campfire产品和体验的基础之一。
NextReality：可以谈谈Campfire这个名字吗？为什么从Meta View改成Campfire？这个名字和企业聊天应用Campfire有关吗？
Wright：Meta View是Olive Tree Ventures收购Meta后，为新公司起的名字。不过Meta破产后，实际上对品牌形象、客户关系会有所影响，于是决定不再使用Meta View名称，而是改为全新的Campfire。
而Campfire名字的意义在于，它指的是人们聚集在一起，进行自然的交流。就像以前穴居人的交流方式是围坐在篝火前聊天，现在这种场景改成了家中的餐桌、客厅、会议室等等。也就是说，篝火会让人想起协作、沟通等体验，符合产品定位，而且好记。
NextReality：Campfire的团队中也包括一些Meta前成员，他们参与了Campfire产品的哪些方面呢？比如软硬件、运营等等。此外，Campfire将与Meta有哪些不同？
Wright：举个例子，比如有一名叫Steven Worden的Meta前员工，他是Meta和Campfire的首席机械工程师，而且是优秀的工业设计和机械设计工程师。他曾为苹果、Polycom、Cisco等多家公司设计过产品，而且他对于Meta IP足够了解，因此他是未来Campfire的一个关键人物。
关于第二个问题，首先Meta和Campfire不是一家公司，因此发展运营自然有所不同。我认为，目前AR所面临的最大挑战，就是专注一个应用场景。即使是我之前在研发Vuforia平台时，也发现产品研发过程很容易转移注意力，而且会有不同的人提出各种需求，所以专注和管理比较困难。
因此，Campfire的优势在于，将专注开发和优化一个AR应用场景，解决这一个场景中的各种局限。
NextReality：那么Campfire专注于什么应用场景？
Wright：Campfire专注的方向是，企业协作、扩展现有的3D工作流程，用户群是那些在2D屏幕上进行3D创作的设计师、工程师，可帮助这些3D创作者实现本地和线上的协作。在Vuforia工作的时候，我就发现市场对于3D可视化、协作的需求。
NextReality：曾为苹果提供设计的Frog Design也是Campfire的客户，那么请问Frog是否帮助Campfire设计AR头显或系统？
Wright：Campfire很早就和Frog进行合作，当时我们带着AR头显和控制器原型，询问Frog能否将控制器设计成一种可以接入手机的手柄？于是，Frog对Campfire的手柄和头显设计进行了改进和优化，统一品牌风格，融合了亲近感、未来感和实用性。
NextReality：请问Campfire是一个完整的AR头显系统和产品，还是一个提供参考设计和定制化解决方案的公司？
Wright：Campfire就是一个完整的AR产品，可以快速上手使用，就像是连接电脑屏幕、下载应用一样简单。
除了AR功能外，Campfire似乎还具有VR功能，可以进一步解释一下吗？实际上，VR模式主要是通过在AR头显上加入磁吸式遮光罩来实现，缺点是不如VR头显那么沉浸，但是对于3D可视化来讲足够。尤其是对于Campfire的目标客户来讲，他们不一定在乎AR还是VR，最主要的目的是能够以3D的形式查看和体验立体模型。
NextReality：那么，作为B端AR公司，Campfire与HoloLens等其他解决方案相比有哪些优势？
Wright：企业级AR很多应用于一线工人，主要是帮助工人在工厂导航、指导工人作业，提供AR远程专家、AR指导等方案。不过，将AR应用于工厂的成本较高，不仅需要开发AR内容、购买AR硬件、培训工人，还需要兼顾隐私和安全，因此难以大规模展开。
因此，Campfire解决方案并非用工厂流水线，而是专注于居家办公、会议室、办公室等场景，用户在使用时不需要出门走动，只需要在室内进行远程协作和3D可视化。
另一方面，现有的AR头显难以实现优质的多人协作，原因有三点：1）整体视觉效果差，视场角小；2）设置过程麻烦，可能需要扫描空间、实现同步、远程培训等步骤；3）可共享/同步的内容和交互少。
因此，为了解决AR的视觉效果、简化工作流程和远程协作，Campfire推出了足够简洁方便的一体式AR可视化产品。
NextReality：可以谈谈Campfire的配置等细节吗？并且讲一讲它的控制台部分。
Wright：视场角90°，有线式，支持独显PC，最低PC配置未确定。同时，Campfire的X形控制台也需要插电源供电，其作用主要是模拟传统显示器功能，以及AR定位。也就是说，当你戴上AR/VR头显后，可以直接在控制台部位查看3D模型，不需要扫描周围环境或是寻找显示界面，使用起来足够方便。此外，控制台可进一步优化AR定位，与基于计算机视觉算法的方案相比，适用于各种环境，不受桌面颜色、光线等因素限制。
NextReality：Campfire似乎希望通过一个全新的角度去解决一个AR应用场景的问题，那么可以继续谈一谈它具体是怎么使用的吗？如何与手机互动？
Wright：Campfire的手柄续航达10小时，足够日常使用。此外，Campfire手柄通过NFC技术与手机关联，这也是为什么它会固定在手机背面上半部分。
软件方面，Campfire有两个官方应用，其中《Campfire Scenes》类似于3D版Google Docs和PowerPoint，也就是说3D内容可以保存在云端，通过链接分享，实现远程协作。而与PowerPoint相比，《Campfire Scenes》可以在不同的3D场景中切换，类似于切换3D版幻灯片。
价格方面，目前Campfire未公开明确的数字，不过Wright表示：Campfire的定位是服务于各种规模的组织和企业，因此与HoloLens等方案相比，价格优势在于它只需要购买一次就包含全部整体方案。
NextReality：Campfire定位在远程协作方案，这是由于疫情原因而做的决定吗？
Wright：在疫情发生之前，用AR/VR进行远程协作本身就是一种有价值的应用，疫情来了之后，相关的需求明显增加，促进了AR/VR远程协作的市场。此外，疫情也改变了Campfire的开发重点。在此之前，Campfire的主要应用场景在远程会议领域，而现在更侧重于可视化和远程协作。
NextReality：你如何看待市面上一些定位多功能应用场景的AR头显？
Wright：我认为还是应该专注特定的应用场景，比如Mira、Tilt Five等方案，注重于完整的软硬件方案。不过大企业有足够的资源去发展应用场景更多的AR，比如ARKit或是Microsoft Mesh等等。
参考：https://next.reality.news/news/campfire-ceo-jay-wright-he-plans-use-ar-transform-we-work-collaborate-0384623/
原创前沿科技新媒体青亭网6月9日
Esther｜编辑
2018年，微软HoloLens首次赢得4.8亿美元美军订单，为美军的作战和培训项目IVAS提供AR头显技术。从此，这个4.8亿美元规模大订单作为行业的代表常常受到人们关注和讨论。后来在今年4月彭博社曝光，这份合同在10年内价值将达到218.8亿美元，再次刷新纪录。
截止去年10月，IVAS AR系统已经在1000名士兵身上进行超过25场测试。而在2018年至今的三年里，微软已经交付12万台特别改装的HoloLens头显。对此，媒体也多次报道相关的研发和部署进度，CNBC甚至还去美军基地体验了军用特供版IVAS头显，这些报道曝光了该头显的多种功能，比如：夜视等增强视觉、3D地图可视化、AR导航、第一人称控制无人机、模拟敌人和武器、无接触测温、智能目标瞄准、AR标记、基于Azure的实时通讯和AR信息同步等等。
而今天，微软在官方新闻平台上发布了一篇名为美军将在军用AR头显中采用HoloLens技术的文章中，正式曝光了关于军用HoloLens头显和IVAS项目的更多细节，以及合作的过程，具体关键信息如下：
1，IVAS系统将于9月开始陆续应用，最初用于地面作战，后续会用于车辆等场景；
2，在研发过程中，陆军参与程度极高，多次将IVAS在军队中测试，收集近8万小时的体验反馈，原型机迭代几十个版本；
3，曾尝试为IVAS设计分体式控制模块，该模块位于胸前，支持单手指操作；
4，可串流军用瞄准镜画面；
5，微软将在硅谷的工厂生产超过12万台IVAS头显；
6，IVAS还有一个目标是降低人员损失。
当回顾整个合作过程时微软透露：在2019年，为了探索用AR提升士兵的局势感知和战斗能力，美国陆军邀请微软工程师和一些其他员工，来到位于北卡罗来纳州的一个军事基地，进行了一系列为期一周的迷你训练。
在这场训练中，微软团队学习了地面导航、夜间行动和战场交流。同时这场训练也是为了，帮助微软工程师们了解士兵作战时的艰难环境，从而根据这种情况去设计一款优化作战能力的AR头显，未来将应用于数千个美国军队。
IVAS项目副经理Mark Stepehens表示：微软并不是传统的国防承包商，因此希望通过短暂的集训，帮助他们去体会士兵作战的体验和感受，做出更有效的技术决策。当时，受培训的一些人表示受到了启发。
关于IVAS项目进度
接下来，美军计划在今年9月开始陆续为士兵配备AR头显，实际应用的版本将从根本上改变他们的作战方式和能力。
参与IVAS项目的高级应征顾问Marc Krugh军士长表示：利用AR头显，士兵将在更加逼真的场景中训练和演习，为许多潜在的情形做准备。此外，美军的主要目标是，利用AR来降低人员损失。
在本次合作中，微软首次将以用户为中心的设计理念应用于军事场景，并且通过与美军项目团队的紧密合作，更好的根据军队的需求和目标去进行设计。为了不断优化IVAS头显，美军会拜访微软在华盛顿的工业设计和软件实验室，测试多种原型产品并提供反馈，以推动迭代产品的研发。
而截至2021年2月，由微软和美军组成的IVAS项目团队已经收集了近8万个小时的士兵反馈，并且在疫情期间进行了为期6个月的4轮测试。除了现场测试外，IVAS项目团队还通过微软Teams线上交流，并分享文件和数据。
关于合作过程
而HoloLens之父Alex Kipman则表示：IVAS项目的独特之处在于，美军的参与程度足够深入，而这并不常见。
Krugh表示：在整个研发过程中，我们不断迭代IVAS头显，并探索了多种可能。同时，士兵的反馈直接塑造了IVAS头显的许多关键功能。
比如，早期的原型头显基于HoloLens，并在此基础上加入摄像头、增加重量的护目镜、多种3D打印的元件等等。这样的原型头显设计满足了美军对于坚固性、防水性和防震性的需求，但并没有考虑到士兵在举枪瞄准敌人时的可行性。
Krugh表示：如果士兵戴着IVAS头显同时举枪瞄准敌人，那么步枪的尾部碰到士兵脸颊时可能会遮挡住头显下方的传感器。一些士兵还反馈，护目镜的边缘需要重新设计，来优化余光视觉。而为了解决护目镜问题，IVAS团队曾制造并测试了数十款原型机。
最初，为了方便士兵控制AR头显，微软设计了一个被称为Puck的控制器，士兵可以将它穿戴在胸前。不过，当士兵匍匐潜行时，发现Puck很容易损坏。
Kipman表示：Puck类似于一个拨号器，只需要一根手指就能使用，设计足够精巧。不过经过测试发现它不够实用，于是就取消了，而像这样的例子几乎有数千个。
IVAS头显的意义
对于美军来讲，IVAS头显将为作战形式等方面带来转变，比如：未来军人在制定战略的时候，不再需要使用盒子、棍子、石块等材料制作战场模型，而是直接通过IVAS显示的3D地图来预览地形。
除此之外，士兵还可以利用IVAS头显切换视角，寻找有利地形，不受白天或夜晚的光线环境、天气限制。士兵可以直接预览目标建筑的AR模型，并从中寻找最佳的进入或逃跑路线。
在作战过程中，IVAS可读取发布在战术网络中的人员位置信息，可帮助士兵在黑暗或复杂的环境中快速定位队友。接着，士兵可以通过热成像技术，透过烟雾看到队友，或是在夜晚通过夜视镜查看。
微软IVAS项目负责人David Marra表示：IVAS系统不仅帮助士兵快速感知周围环境，还能定位队友、地点等关键目标的位置。这些功能对于提升士兵的安全性具有深远意义，同时也将大幅降低友军误伤等意外。
通常，士兵通过步枪上的瞄准镜来瞄准敌人。而未来，IVAS可以在士兵眼前显示瞄准器中的画面，同时士兵可以用余光去观察周围环境，进一步提升安全性。即使士兵左右转头，也能在头显中看到瞄准器的画面，足够灵活。与此同时，士兵还可以通过头显来远程交流。
Krugh表示：目前，IVAS头显依然在测试中，不过已经在开始改变士兵的作战方式。尤其是IVAS现有的一些功能，已经开始让士兵们重新思考执行任务的方式，总之AR将为士兵提供更多信息，做好更全的准备。
总结
IVAS系统基于HoloLens技术，不过和HoloLens、HoloLens 2有完全不同的用途，而且功能有很大差异。对于美军来讲，他们对于IVAS的需求足够明确，而微软则负责将这些需求变为现实，并且在此基础上让更多功能变为可能。
在研发和测试的每个阶段，美军都参考了士兵的反馈，一共进行了4轮主要的测试，以及一些用户调查。此外，与美军此前研发的军事方案不同，IVAS的设计以士兵为中心，而不是去参考以前的军事设计。而这应该是为了让穿戴式头显在实际应用中保持良好的效果。
为了优化IVAS系统，美军在弗吉尼亚的皮克特堡对其进行了两年时间的测试。而最近，IVAS系统还曾在波多黎各和阿拉斯加进行测试，以适应热带或寒冷的极端环境。
而对于微软来讲，在获得潜在价值高达218.8亿美元的军事合同后，将在硅谷的工厂继续生产超过12万台IVAS头显。而美军计划在今年9月开始陆续为士兵配备AR头显，首批将应用于步兵，还将结合军用车辆来测试AR环境感知。
值得注意的是，为了加速IVAS计划，美军与微软的合作是在OTA（其他交易机构）下进行的，通过五角大楼的新采购授权，微软作为承包商可以更快获得美军打款。这也是为什么IVAS头显可以在不到三年时间内完成研发，比类似的一般军事项目快得多。
参考：
https://news.microsoft.com/transform/u-s-army-to-use-hololens-technology-in-high-tech-headsets-for-soldiers/
作者颜昳华·分类 快讯· 映维网
引入了一系列的功能和改进
（映维网 2021年06月08日）苹果于今天凌晨以线上形式举办了2021年WWDC全球开发者大会。这家公司带来了新版ARKit 5、RealityKit 2、Live Text、Visual Look Up。
ARKit 5定位锚更多城市ARKit是苹果最初在2017年WWDC推出的AR开发平台。利用这套工具，开发者可以为iPhone和iPad创建增强现实应用程序。最新的ARKit 5引入了一系列的功能和改进，从而帮助开发者构建比以往任何时候都要更好的AR体验。
现在，你可以在更多的城市放置Location Anchor定位锚，将App Clips或ARKit应用中的虚拟内容固定到打印或数字App Clip Code中，利用iPad Pro（第5代）超宽摄像头中的人脸追踪功能等等。
1. Location Anchor定位锚
Location Anchor定位锚允许你将AR作品锚定在特定的纬度、经度和高度。用户可以围绕虚拟对象走动，从不同的角度查看它们。现在，团队已经将Location Anchor定位锚定位锚带到伦敦和美国的更多城市，从而允许你为特定的地方创建AR体验，比如伦敦眼和时代广场。
注：这需要iPhone XS、iPhone XS Max、iPhone XR或更高版本，而且仅支持部分城市。
2. 扩展的人脸追踪支持
对人脸跟踪的支持已经扩展到任何搭载A12仿生芯片和更高版本的设备（包括iPhone SE）的前置摄像头。这样，更多用户都可以享受通过前置摄像头实现的AR体验。最新的iPad Pro（第5代）超宽摄像头同样支持人脸追踪。原深感摄像头一次最多追踪三张人脸并增强前置摄像头体验，如Memoji和Snapchat。
3. App Clip Code
App Clip Codes是人们发现你的App Clip和ARKit应用的最佳方式。它们独特的设计是立即识别，从而提供了一个快速和安全的方式来启动你的App Clip和ARKit应用。
现在，开发者可以将App Clips或ARKit应用中的虚拟内容固定到打印或数字App Clip Code中。这样当用户扫描打印或数字二维码时就能马上看到相关的虚拟内容。
ARKit 5已经正式发布，更多关于苹果AR开发工具的信息请访问苹果官网。
RealityKit 2更方便创作高质量3D模型RealityKit框架专门为增强现实量身定制，能够提供逼真的图像渲染、相机特效、动画、物理特效等等。借助原生Swift API，ARKit集成、基于物理的超逼真渲染、变换和骨骼动画、空间音频和刚体物理，RealityKit可让你比以往更加快速轻松地进行增强现实开发。
在今天凌晨举行的WWDC开发者大会中，苹果正式发布了RealityKit 2，带来Object Capture（对象捕捉），自定义着色器，自定义系统，动态asset和角色控制器等等。
RealityKit 2的新增内容包括：
1. Object Capture 对象捕捉
利用macOS的Object Capture API，你可以将iPhone或iPad的照片转化为高质量的3D模型，并可在数分钟内实现AR优化。Object Capture使用摄影测量将在iPhone或iPad拍摄的一系列照片转换成3D模型，同时允许你在AR Quick Look中即时查看，或集成到Xcode项目之中。
2. 自定义着色器
RealityKit使用真实的和基于物理的材质、环境反射、背景阴影、相机噪点、运动模糊等等来将虚拟内容与现实世界无缝融合，以令虚拟与现实几乎无法区分。RealityKit2通过自定义渲染目标和材质提供了对渲染管道的更多控制，这样你就可以微调AR对象和场景的外观和感觉。
3. 自定义系统
你现在可以构建自己的Entity Component System，并在AR场景中组织资源和在系统层中构建更复杂的功能。
4. 动态asset
你现在可以启用可自定义的资源加载，从而能够更灵活地定制基于RealityKit的体验。例如，以编程方式使用每个帧更改图像或网格。
5. 角色控制器
开发者可以利用强大的Swift API轻松创建玩家控制的角色，这样你的用户就可以跳转、缩放和探索你创建的AR世界和基于RealityKit的游戏。
iOS15苹果地图全新AR导航功能在今天凌晨举行的WWDC 2021开发者大会中，苹果表示iOS15将会为苹果地图（Apple Maps）带来全新的AR功能，从而提高这款原生导航应用程序之于谷歌产品的竞争力。
苹果地图的核心是地图本身，而它现在纳入了更丰富的高程数据和更多的道路颜色。在WWDC大会，苹果演示了关于旧金山科伊特大厦、渡轮大厦和金门大桥等地标的导航。
在上路时，用户现在可以看到详细的立体街道信息，包括车道标志、特殊车道（如自行车道和公共汽车/出租车车道）、人行横道等。公路和街道数据同样以3D显示，这样你在驾驶时就能够看到复杂的立交桥呈现等等。另外，利用苹果设备的高帧速率，苹果地图现在运行更加流畅。
团队指出，更详细的地图数据可以让司机更早地知道需要走哪条车道，从而提高安全性和帮助优化交通状况。
值得一提的是，苹果地图同时增加了提高步行和搭乘公共交通便利性的新功能。例如，用户可以将附近的公共交通站点和车站信息锁定到iPhone和苹果手表，并在乘车和公交接近站点时接收自动更新和通知。
在步行方面，全新的增强现实功能允许用户用iPhone的摄像头扫描相关地区附近的建筑物，从而确定自己的精确位置并获得更准确的步行方向。当然，相关信息将在增强现实视图中呈现。
苹果表示，这项功能将于2021年在部分城市推出，并在明年登陆更多的城市。
Visual Look Up理解真实世界物体谷歌的Google Lens已经成为最有用的增强现实应用之一。对于今天发布的iOS 15，苹果同样不甘人后。这家公司宣布，Live Text（实时文本）和Visual Look Up（视觉查找）将登陆iPhone。可以说，这两个应用工具都是直接对标谷歌的Google Lens。
1. 将手写文本或打印文本转换为数字文本
Android手机用户已经相当熟悉，而现在iPhone用户同样可以便利地通过Live Text（实时文本）将手写文本或打印文本转换为数字文本。苹果指出，所述功能是基于采用机载处理的深层神经网络，而不是基于云计算的方法。
在一个演示示例中，你可以对准办公室白板的便笺，点击相机应用取景器右下角的新图标，然后扫使用常用的文本选择手势（将手指拖到文本）就可以将手写文本复制到电子邮件或便笺应用中。
你同时可以对图库中的现有照片使用Live Text（实时文本）。在一个演示示例中，苹果以数字方式复制了一张旧照片的餐厅名字和电话号码。
苹果的Live Text（实时文本）的局限性要大于Google Lens，毕竟后者从2017年就已经与大家见面。目前，苹果表示所述功能只支持7种语言（英语、中文、法语、意大利语、德语、西班牙语、葡萄牙语）。相比之下，Google Lens支持100多种语言。
尽管目前尚无法与Google Lens相提并论，但对于苹果的相机应用而言，这是一个相当有用的新功能，而且它适用于所有类型的照片，包括屏幕截图和网络照片。
2. 搜索真实世界
尽管苹果在WWDC 2021期间没有深入演示Visual Look Up（视觉查找），但这个功能可允许系统自动在照片中查找信息，比如狗狗的品种或者花朵的类型。
这家公司指出，所述功能适用于书籍、艺术、自然、宠物和地标，但具体的支持范围有待观察。考虑到搜索巨头谷歌能够从服务中收集到堆积如山的数据，所以苹果要想在这方面与其竞争，这无疑是一件棘手的事情。
不过，尽管这一功能在一开始可能存在限制，但这一举动或许是为传闻中的苹果眼镜铺路。自动识别视觉信息是任何智能眼镜的一个重要组成要素，而Visual Look Up（视觉查找）可以为日后的苹果眼镜奠定基础。
Visual Look Up（视觉查找）适用于iPhone、iPad和Mac。用户只需更新到最新的软件，你就能尝鲜使用。预计iOS 15的完整版本将在9月中旬左右推送。
作者广东客·分类 专利· 映维网
眼镜盒同时可以作为眼镜的控制器，从而实现一物多用
（映维网 2021年06月09日）传统的眼镜盒只是为眼镜提供物理存储和安全防护，有时或会额外用于存储清洁布等附件。但现在，诸如苹果和Facebook等巨头都在积极研发能够提供混合现实功能的眼镜设备。显然，这样的眼镜设备需要一种特别的眼镜盒。
索尼在日前公布的一份专利申请中指出：最近行业已经开发出包括集成显示器的眼镜，如当透明时为用户提供增强现实或混合现实体验的眼镜，或者不透明时提供虚拟现实体验的眼镜……所以行业需要更适合这种集成显示眼镜的眼镜盒。
名为Glasses case and system的索尼发明正是描述了一种适合集成显示眼镜的眼睛盒。
如专利图1所示，索尼构思的眼镜盒包括一个壳体20，其中外壳具有可以存储眼镜的体积。壳体20通常是为存储在其中的眼镜100提供物理保护的刚性外壳。壳体20可以由任何合适的材料制成，包括金属或塑料，并且可以具有装饰性外层。
壳体20可以具有任何适合容纳眼镜的形状参数，并且可以开关和闭合，如像蛤壳一样打开，从而允许安放或取出眼镜。
眼睛盒同时包括电池30。电池通常位于壳体中，在可存储眼镜的体积下方。当眼镜100存储在壳体20中时，其可从电池吸取电源。电池通常可从眼镜盒内充电，但不是必须从眼镜盒内充电。
如果电池不从眼镜盒内充电，通常可以提供一个用以允许拆卸和更换电池的访问面板。电池可以包括多个单独的电池芯。作为一个非限制的例子，其可以包括两节、三节或四节AA或AAA电池，而它们本身可以通过单独的充电器充电。
另外，眼镜盒同时包括以类似于传统游戏控制器配置布置的用户控制输入配置，其用于向驱动眼镜显示器的计算系统提供输入。
简单来说，这种电子眼镜盒同时可以作为手柄，从而实现一物多用。索尼指出，用户可以以类似传统游戏手柄握持眼镜盒。所以在穿戴眼镜时，用户可以将眼镜盒作为控制器，并向驱动眼镜显示器的计算系统提供输入，从而实现控制导航数字内容的目的。
值得一提的是，索尼提到这种眼镜的集成显示器可以拆卸。发明文件写道：眼镜100由一个完整的显示器110组成。这种显示器可以采用任何合适的形状参数，并可用于增强现实或混合现实用例（镜片至少部分透明），或用于虚拟现实用例（镜片不透明）。显示器不可分割，至少在使用过程中需要装接到眼镜，但在具体实施中可以是可拆卸的，以便于清洁或替换，比方说如果用户改变了镜片的参数。
延伸阅读：Sony Patent | Glasses case and system
名为Glasses case and system的索尼专利申请最初在2020年11月提交，并在日前由美国专利商标局公布。
作者广东客·分类 快讯·
查看引用/信息源请点击：techradar
Live Text（实时文本）和Visual Look Up（视觉查找）
（映维网 2021年06月08日）谷歌的Google Lens已经成为最有用的增强现实应用之一。对于今天发布的iOS 15，苹果同样不甘人后。
延伸阅读：iOS15为苹果地图带来全新AR导航功能
延伸阅读：苹果发布RealityKit 2，可将iPhone照片转化为高质量3D模型
延伸阅读：ARKit 5发布，扩展人脸追踪支持，锚定更多城市经纬度
这家公司宣布，Live Text（实时文本）和Visual Look Up（视觉查找）将登陆iPhone。可以说，这两个应用工具都是直接对标谷歌的Google Lens。
1. 将手写文本或打印文本转换为数字文本
Android手机用户已经相当熟悉，而现在iPhone用户同样可以便利地通过Live Text（实时文本）将手写文本或打印文本转换为数字文本。苹果指出，所述功能是基于采用机载处理的深层神经网络，而不是基于云计算的方法。
在一个演示示例中，你可以对准办公室白板的便笺，点击相机应用取景器右下角的新图标，然后扫使用常用的文本选择手势（将手指拖到文本）就可以将手写文本复制到电子邮件或便笺应用中。
你同时可以对图库中的现有照片使用Live Text（实时文本）。在一个演示示例中，苹果以数字方式复制了一张旧照片的餐厅名字和电话号码。
苹果的Live Text（实时文本）的局限性要大于Google Lens，毕竟后者从2017年就已经与大家见面。目前，苹果表示所述功能只支持7种语言（英语、中文、法语、意大利语、德语、西班牙语、葡萄牙语）。相比之下，Google Lens支持100多种语言。
尽管目前尚无法与Google Lens相提并论，但对于苹果的相机应用而言，这是一个相当有用的新功能，而且它适用于所有类型的照片，包括屏幕截图和网络照片。
2. 搜索真实世界
尽管苹果在WWDC 2021期间没有深入演示Visual Look Up（视觉查找），但这个功能可允许系统自动在照片中查找信息，比如狗狗的品种或者花朵的类型。
这家公司指出，所述功能适用于书籍、艺术、自然、宠物和地标，但具体的支持范围有待观察。考虑到搜索巨头谷歌能够从服务中收集到堆积如山的数据，所以苹果要想在这方面与其竞争，这无疑是一件棘手的事情。
不过，尽管这一功能在一开始可能存在限制，但这一举动或许是为传闻中的苹果眼镜铺路。自动识别视觉信息是任何智能眼镜的一个重要组成要素，而Visual Look Up（视觉查找）可以为日后的苹果眼镜奠定基础。
Visual Look Up（视觉查找）适用于iPhone、iPad和Mac。用户只需更新到最新的软件，你就能尝鲜使用。预计iOS 15的完整版本将在9月中旬左右推送。
作者梦秋·分类 研发·映维网
带来对象捕捉，自定义着色器，自定义系统，动态asset和角色控制器等等
（映维网 2021年06月08日）RealityKit框架专门为增强现实量身定制，其能够提供逼真的图像渲染、相机特效、动画、物理特效等等。借助原生Swift API，ARKit集成、基于物理的超逼真渲染、变换和骨骼动画、空间音频和刚体物理，RealityKit可让你比以往更加快速轻松地进行增强现实开发。
延伸阅读：iOS15为苹果地图带来全新AR导航功能
延伸阅读：ARKit 5发布，扩展人脸追踪支持，锚定更多城市经纬度
延伸阅读：对标Google Lens，Live Text和Visual Look Up将登陆iPhone
在今天凌晨举行的WWDC开发者大会中，苹果正式发布了RealityKit 2，带来Object Capture（对象捕捉），自定义着色器，自定义系统，动态asset和角色控制器等等。
RealityKit 2的新增内容包括：
1. Object Capture 对象捕捉
利用macOS的Object Capture API，你可以将iPhone或iPad的照片转化为高质量的3D模型，并可在数分钟内实现AR优化。Object Capture使用摄影测量将在iPhone或iPad拍摄的一系列照片转换成3D模型，同时允许你在AR Quick Look中即时查看，或集成到Xcode项目之中。
2. 自定义着色器
RealityKit使用真实的和基于物理的材质、环境反射、背景阴影、相机噪点、运动模糊等等来将虚拟内容与现实世界无缝融合，以令虚拟与现实几乎无法区分。RealityKit2通过自定义渲染目标和材质提供了对渲染管道的更多控制，这样你就可以微调AR对象和场景的外观和感觉。
3. 自定义系统
你现在可以构建自己的Entity Component System，并在AR场景中组织资源和在系统层中构建更复杂的功能。
4. 动态asset
你现在可以启用可自定义的资源加载，从而能够更灵活地定制基于RealityKit的体验。例如，以编程方式使用每个帧更改图像或网格。
5. 角色控制器
开发者可以利用强大的Swift API轻松创建玩家控制的角色，这样你的用户就可以跳转、缩放和探索你创建的AR世界和基于RealityKit的游戏。
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:704559159@qq.com
刷新