加入收藏 | 设为首页 | 会员中心 | 我要投稿 PHP编程网 - 黄冈站长网 (http://www.0713zz.com/)- 数据应用、建站、人体识别、智能机器人、语音技术!
当前位置: 首页 > 站长资讯 > 动态 > 正文

苹果开发出AI建筑师GAUDI 可根据文本生成超逼真3D情景

发布时间:2022-08-16 00:39:47 所属栏目:动态 来源:互联网
导读:如今,每隔一段时间就有新的文本生成图像模型释出,个个效果都很强大,每每惊艳众人,这个领域已经是卷上天了。 不过,像 OpenAI 的 DALL-E 2 或谷歌 的 Imagen 等 AI 系统,都只能生成二维图像,如果文字也能变成三维场景,那带来视觉体验势必加倍提升。
  如今,每隔一段时间就有新的文本生成图像模型释出,个个效果都很强大,每每惊艳众人,这个领域已经是卷上天了。
 
  不过,像 OpenAI 的 DALL-E 2 或谷歌 的 Imagen 等 AI 系统,都只能生成二维图像,如果文字也能变成三维场景,那带来视觉体验势必加倍提升。
 
  现在,来自苹果的 AI 团队推出了 3D 场景生成的最新神经架构 —— GAUDI。

  神经渲染(nerual rendering)将计算机图形学与人工智能结合起来,已经产生了很多从 2D 图像生成 3D 模型的系统。比如最近 Nvidia 开发的 3D MoMa 可以在一个小时内从不到 100 张的照片中创建出 3D 模型。谷歌也依靠神经辐射场(NeRFs )在谷歌地图中将 2D 卫星和街景图像组合成 3D 场景,实现了沉浸式视图。谷歌的 HumanNeRF 还可以从视频中渲染出 3D 人体。

  但是,谷歌的 Dream Fields 只能生成针对单个对象的 3D 视图,要将它扩展到完全不受约束的 3D 场景还存在很多困难。最大的难点就在于摄像机的位置有很大的限制,对于单个对象,每个可能的、合理的摄像机位置都可以映射到一个圆顶,但在 3D 场景中,摄像机的位置会受到对象和墙壁等障碍物的限制。如果在场景生成时不考虑这些因素,那就很难生成 3D 场景。
 
  对于上述摄像机位置受限的问题,苹果的 GAUDI 模型拿出了三个专门的网络来轻松搞定:
 
  GAUDI 有一个相机姿态解码器,它将摄像机姿态与场景的 3D 几何和外观分离开来,可以预测摄像机的可能位置,并确保输出是 3D 场景架构的有效位置。

(编辑:PHP编程网 - 黄冈站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读