最近人工智能的兴起在一个令人惊讶的领域产生了令人印象深刻的结果：图像和视频生成的世界。最新的例子来自芯片设计师Nvidia，该公司今天发布的研究显示AI生成的视觉效果如何与传统的视频游戏引擎相结合。结果是混合图形系统有朝一日可用于视频游戏，电影和虚拟现实。
“这是使用深度学习渲染视频内容的一种新方式，”Nvidia的应用深度学习副总裁Bryan Catanzaro告诉The Verge。“显然，Nvidia非常关心生成图形[并且]我们正在思考人工智能将如何彻底改变这一领域。”
Nvidia的工作结果并不是真实的，并且显示了在AI生成的图像中发现的商标视觉模糊。它们也不是完全新颖的。在一篇研究论文中，该公司的工程师解释了他们如何基于一些现有方法，包括一个名为pix2pix的有影响力的开源系统。他们的作品部署了一种称为生成对抗网络（GAN）的神经网络。这些广泛用于AI图像生成，包括最近由佳士得出售的AI肖像。
“我们正在考虑人工智能将如何彻底改变这一领域。”
但Nvidia已经推出了许多创新产品，它说，这项工作的一个产品是第一个带有AI生成图形的视频游戏演示。这是一个简单的驾驶模拟器，玩家可以在AI生成的空间的几个城市街区中导航，但不能离开他们的车或以其他方式与世界互动。该演示仅使用一个GPU即可实现 – 这是这项前沿工作的显着成就。（虽然不可否认GPU是公司价值3000美元Titan
V的顶级产品，“有史以来最强大的PC GPU”，而且通常用于高级模拟处理而不是游戏。）
Nvidia的系统使用几个步骤生成图形。首先，研究人员必须收集训练数据，在这种情况下，这些数据来自用于自动驾驶研究的开源数据集。然后将该镜头分段，意味着每个帧被分成不同的类别：天空，汽车，树木，道路，建筑物等。然后，对该分段数据训练生成对抗网络，以生成这些对象的新版本。
接下来，工程师使用传统的游戏引擎创建了虚拟环境的基本拓扑。在这种情况下，该系统是虚幻引擎4，这是一种流行的引擎，用于诸如Fortnite，PUBG，Gears of War 4等许多其他游戏。使用此环境作为框架，深度学习算法然后实时生成每个不同类别的项目的图形，将它们粘贴到游戏引擎的模型上。
“传统上正在创造世界的结构，”Catanzaro解释说，“人工智能产生的唯一东西就是图形。”他补充说，演示本身是基本的，由一名工程师组成。“这是概念验证，而不是一个有趣的游戏。”
AI生成图像的比较。左上角是分割图; 右上角pix2pixHD; 左下角COVST; 右下角，Nvidia的系统，vid2vid。
图片来源：Nvidia
为了创建这个系统，Nvidia的工程师必须解决许多挑战，其中最大的挑战是对象持久性。问题是，如果深度学习算法以每秒25帧的速率为世界生成图形，它们如何保持对象看起来相同？Catanzaro说这个问题意味着系统的初始结果“看起来很痛苦”，因为颜色和纹理“每帧都会改变”。
解决方案是给系统一个短期记忆，以便将每个新帧与之前的帧进行比较。它试图预测这些图像中的运动之类的东西，并创建与屏幕上的内容一致的新帧。所有这些计算都很昂贵，因此游戏只能以每秒25帧的速度运行。
Catanzaro强调，这项技术处于早期阶段，而且人工智能生成的图形可能需要几十年时间才能出现在消费者头衔中。他将这种情况与光线跟踪的发展进行了比较，光线跟踪是当前图形渲染的热门技术，其中实时生成单独的光线，以在虚拟环境中创建逼真的反射，阴影和不透明度。“第一次交互式光线追踪演示发生在很久很久以前，但直到几周前我们还没有在游戏中得到它，”他说。
这项工作确实在其他研究领域有潜在的应用，包括机器人和自动驾驶汽车，它可以用来产生训练环境。它可以更快地出现在消费产品中，尽管容量更有限。
例如，该技术可用于混合图形系统，其中大多数游戏使用传统方法渲染，但AI用于创建人或物体的相似性。消费者可以使用智能手机自己捕捉素材，然后将这些数据上传到云端，算法将学习复制并将其插入到游戏中。例如，它可以更容易地创建看起来像玩家的头像。
专家们担心用于虚假信息的AI深层伪造
然而，这种技术提出了一些明显的问题。近年来，专家越来越担心使用AI生成的深层伪造品进行虚假信息和宣传。研究人员已经证明，很容易产生一些虚假的政治家和名人的镜头，他们会说或做他们没有做过的事情，这是一个错误的武器。通过推进这项技术的能力并发布其研究成果，Nvidia可以说是对这一潜在问题的贡献。
不过，该公司表示，这不是一个新问题。“可以[此技术]用于创建具有误导性的内容吗？是。任何渲染技术都可以用来做到这一点，“卡坦扎罗说。他说，Nvidia正在与合作伙伴一起研究检测AI假货的方法，但最终错误信息的问题是一个“信任问题”。并且，就像之前的许多信任问题一样，它必须通过一系列方法来解决，不只是技术。
Catanzaro说像Nvidia这样的科技公司只能承担这么多责任。“你是否对电力公司负责，因为他们创造的电力可以为制造假视频的电脑供电？”他问道。
最终，对于Nvidia来说，推动人工智能生成的图形有一个明显的好处：它将有助于销售更多的公司硬件。自从深度学习热潮在2010年初开始起飞以来，Nvidia的股价飙升，因为很明显其计算机芯片非常适合机器学习研究和开发。
那么计算机图形学的人工智能革命会对公司的收入产生好处吗？卡坦扎罗笑着说，这肯定不会受到伤害。“任何能够提高我们生成更逼真和更具吸引力的图形的能力，我认为这对Nvidia的底线有利。”