英伟达流媒体服务AR SDK开放公测,实时人脸3D追踪,创建AR效果

VR/AR
2020
04/30
15:37
映维网
分享
评论

来源:映维网 作者 颜昳华

NVIDIA AR SDK为直播、视频会议和游戏开辟了创造性的新选择。这个SDK允许开发者使用标准的网络摄像头对人脸进行实时3D追踪,并创建各种有趣的的增强现实效果,如为人脸叠加3D数字内容或为背景添加沉浸式效果。

NVIDIA AR SDK正以公测版本向社区开放,并支持多项用例:

追踪摄像头视图的人脸,并识别图像中的一个或多个主体。

将数字asset叠加于个人,如服饰和效果。

通过脸部和头部运动控制动画角色或游戏角色。

NVIDIA AR SDK利用了NVIDIA RTX显卡的Tensor内核,可通过AI网络实现快速和高质量的追踪性能。所述网络可以提供精确的人脸追踪;人脸形状、嘴唇、眼睛、眉毛和鼻子的三自由度五官追踪;以及六自由度的先进人脸网格(人脸和头部姿态的3D重建)。

例如,用于OBS直播软件的热门插件StreamFX发布了一个全新的版本,其利用NVIDIA AR SDK创建了一个可以自动裁剪和放大用户、并且在用户移动时保持帧居中的智能camera。

StreamFX的开发者Michael Fabian ‘Xaymar’ Dirks表示:“StreamFX中的全新Face Tracking滤镜需要复杂的数学和机器学习,而这原本需要以一系列的机器运行和花费数个月,甚至几年的时间。但利用NVIDIA的AR SDK,现在可以在短时间内完成操作,并且可以支持因NVENC H.264编码器而日渐流行的所有NVIDIA RTX硬件。这大大缩短了必要的开发时间,从原本数年的时间缩短到仅需两周,而且没有额外的成本。”

更多关于NVIDIA AR SDK的信息或下载SDK请访问这个页面。

原文链接:https://yivian.com/news/73964.html

THE END
广告、内容合作请点击这里 寻求合作
VR
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

据《华盛顿时报》报道,为应对新冠肺炎的影响,美国陆军现正利用集成视觉增强系统(Integrated Visual Augmentation System;IVAS)来快速评估数百名士兵的体温,以便开展新兵训练营的活动。
VR
即使对专业的机械师来说,维护维修汽车都十分困难。随着汽车技术的越发先进,封装的精密程度正不断提高,从而进一步加大了操作难度。
VR
由于新型冠状病毒引起的高需求和制造中断,Oculus Quest和Rift S一直是供不应求的状态。但对于希望入手Oculus头显的消费者而言,情况似乎正在发生改变。RoadtoVR日前对产品的全球库存进行了一番调查,并发...
VR
Hubs Cloud是Mozilla混合现实团队推出的一款新产品,它允许公司和组织创建自己的私人社交空间,并支持PC、移动设备和虚拟现实头显协同工作。Hubs Cloud包含运行hubs.mozilla.com的底层架构,并在AWS以抢先...
VR
Magic Leap最近确认,在极其特定的用例中,当长时间连续接入充电器时,Magic Leap One Creator Edition和Magic Leap 1中的Lightpack所包含的电池可能会膨胀。
VR

相关推荐

1
3