数字视频游戏的艺术创作需要高度的艺术创造力和技术知识，同时也要求游戏美术师频繁迭代创意并产出大量的资产，通常还要面对紧迫的截止日期。如果艺术家使用的工具能够更加智能化，甚至成为他们的得力助手，那将会怎样呢？机器学习模型如画笔，可以显著减少创建高质量艺术作品所需的时间，而不牺牲艺术的选择自由，甚至可能增强创造力。

未来，Google展示了Chimera Painter，这是一种通过机器学习训练的模型，可以根据用户提供的生物轮廓自动生成完整的渲染图像。作为演示应用，当用户点击“转换”按钮时，Chimera Painter会将特征和纹理添加到按身体部位标签（例如“翅膀”或“爪子”）分割的生物轮廓上。下面是一个使用预设生物轮廓的示例。

在这个项目中，Google描述了在Chimera Painter背后创建机器学习模型时遇到的一些挑战，并演示了如何使用该工具来生成视频游戏所需的资产。

在开发用于生成视频游戏角色的生物图像的模型时，Google创建了一个数字纸牌游戏的原型，其中玩家可以通过组合不同的生物（例如，将鲸鱼和蝾螈结合成一种名为Axolotl-Whale的嵌合体）来创造更强大的生物。这提供了一个展示图像生成模型创造性的环境，因为要快速设计出大量可自然组合的艺术资产，同时保持原生物的视觉特征。

为了在艺术家的指导下生成高质量的生物卡片图像，Google尝试了生成对抗网络（GAN），以适应其幻想卡片游戏的原型。GAN由两个卷积神经网络组成：一个生成器网络用于生成新图像，另一个鉴别器网络用于判断这些图像是否来自训练数据集。Google使用了一种称为条件GAN的变体，其中生成器采用额外的输入来指导图像生成过程。这种方法与传统GAN有所不同，后者通常专注于生成逼真的照片效果。

为了训练GAN，Google创建了一个包含全彩图像的数据集，这些图像基于3D生物模型进行了改编。生物轮廓描绘了每个生物的形状和大小，并提供了识别各个身体部位的分割图。模型的任务是根据艺术家提供的轮廓生成多物种的嵌合体。最终，表现最好的模型被整合到了Chimera Painter中。

使用GAN生成生物图像时，一个挑战是在渲染图像的细节部分，如眼睛、手指或具有相似纹理的身体部位时，可能会出现解剖学和空间连接的问题。这些问题对人类感知非常重要。

为了解决这个问题，Google开发了一种新的艺术家主导的半自动化方法，用于从3D生物模型创建机器学习训练数据集。这种方法使得Google能够大规模工作并根据需要快速迭代。艺术家首先创建或获取一组3D生物模型，每种生物类型都需要一个模型。然后，艺术家使用虚幻引擎创建两组纹理，一组是全彩色纹理，另一组是每个身体部位的单色分割图。在训练过程中，第二组分割图被提供给模型，以确保GAN能够识别和理解各个身体部位的结构、形状、纹理和比例。

通过虚幻引擎，艺术家可以将3D生物模型放置在简单的3D场景中。一系列自动化脚本将处理这些3D场景，生成全彩色图像和分割图，形成GAN的训练数据集。这种方法使Google能够为每个3D生物模型生成超过10,000张图像和分割图对，大大节省了艺术家的时间。

为了优化GAN，Google调整了许多超参数，导致输入图像质量的差异。艺术家们对模型生成的生物样本进行了分类，收集了关于所需特征的反馈，如深度感、纹理风格以及面部和眼睛的真实感。这些反馈被用来训练模型的新版本，并用于生成数千张生物图像。

Google通过关注感知损失对GAN进行了优化。感知损失函数组件（也在Stadia的Style Transfer ML中使用）利用卷积神经网络（CNN）提取特征来计算两个图像之间的差异。从CNN的不同层提取特征，并对每个特征施加权重，这影响了特征对最终损耗值的贡献。Google发现这些权重对于决定最终生成图像的外观至关重要。

Chimera Painter现在可以使用受过训练的GAN，允许艺术家快速迭代使用该模型，而无需从头开始绘制相似的生物。艺术家可以选择一个终点，调整生物部件的形状、类型或位置，从而能够快速探索并生成大量图像。此外，该演示还允许上传在外部程序（如Photoshop）中创建的生物轮廓，只需下载预设的生物轮廓之一，获取每个生物部分所需的颜色，然后使用演示中的“加载”按钮填充您的创作。