这一场景拍摄于 2018 年 10 月的通勤高峰期，拍摄地点是曼哈顿市中心布莱恩特公园附近的一栋写字楼的 16 层窗口。在 2020 年 3 月新冠疫情期间，这位艺术家创作了这一 Dreamscape 作品，当时，这样繁华热闹的场景开始让人觉得是一个遥不可及的梦。它将计算摄影与 AI 相融合，创造出一个引人入胜、令人着迷的环境。
Daniel Ambrosi
对于 Daniel Ambrosi 来说，计算摄影不仅仅是营造出一种空间感，而是在于从内在、认知和情感上传达我们对环境的感受。
艺术作品
抽象之梦
2020/2021
计算摄影 + 人工智能
作为我们 Dreamscape 项目的下一步演进，该系列进一步将生成的艺术作品与基本的摄影作品分离开来，探索潜意识。这些循环播放的抽象之梦视频旨在唤起一种冥想效应，产生深度感知的幻觉，通过颜色和纹理的变化逐渐淡化或增加类似的特征。
Bryant Park Dreamscape（布莱恩特公园梦境）（疫情爆发前）
2020
计算摄影 + 人工智能
创作过程
创作过程中，艺术家开发出由 AI 增强的“全场景”艺术作品，首先在一个地点拍摄了 45 张照片，然后对其进行拼合 (Autopano Pro) 和混合 (Aurora HDR Pro) 处理，形成一个巨大的（超过 4.82 亿像素）全景图，并在 Photoshop 中进行裁剪和美化。这幅作品使用在 NVIDIA Quadro RTX GPU 上运行的 Google DeepDream 专用版本处理。
最后，Daniel 尝试使用多种工具和技术（包括 Forge 滤镜中的效果），进一步探索他的“梦境”中固有的图形表现手法可能性。他最近的尝试产生了一个系列作品，他称之为“无限梦想”，探索了受立体主义启发的“折射”梦境。
这个加长版视频循环展示了艺术家创作过程中的各个阶段 - 拍摄/组合 63 张超过 2.95 亿像素的原始全景照片；使用 DeepDream 第一次应用 AI 增强效果；使用 Forge 滤镜进行抽象化处理；第二次应用 DeepDream；以及混合从原始全景图的三个不同区域提取的细节。
技术：计算摄影 + 人工智能
相机：索尼 RX1 或索尼 RX1Rii
图形软件/硬件：Aurora HDR Pro、Autopano Pro、Adobe Photoshop、Filter Forge Pro/iMac
AI 软件/硬件：由 Joseph Smarr (Google) 和 Chris Lamb (NVIDIA) 为艺术家定制的 Google DeepDream 开放源代码专有版本/在 Amazon EC2（弹性计算云）上运行的四卡 GPU 计算服务器。
在这段名为“Dreamscape：艺术背后的科技”的视频中，工程师 Joseph Smarr (Google) 和 Chris Lamb (NVIDIA) 以非专业人员的手法阐释了如何修改 Google 的开源 DeepDream 软件，以在拥有数亿像素的图像上运行。了解这一创新的流程如何使计算摄影艺术家 Daniel Ambrosi 将作品提升到新高度。
关于 Daniel Ambrosi
Daniel Ambrosi 是新兴 AI 艺术运动的创始人之一，素以在人与 AI 的混合艺术中的微妙平衡而闻名。自取得康奈尔大学建筑学士学位和 3D 图形硕士学位以来，近 40 年来，他一直在探索新的视觉呈现方法。2011 年，Daniel 设计了一种独特的计算摄影形式，可生成异常富有沉浸感的风景图像。
主题会谈
社交晚餐：从数字到物理，再从物理到数字
艺术家 Pindar Van Arman 和 Daniel Ambrosi 以非同寻常的方法在其艺术作品中使用人工智能，但他们有一个共同的关注点，那就是制作由物理效果 AI 增强的艺术品。根据艺术家们的说法，我们是生活在三维世界中的三维生物，但我们体验世界的感官却深藏在没有光线射入的头骨之中。艺术品由位还是原子组成真的重要吗？
借助 AI 通过艺术手法呈现自然形态
有人说艺术源自生活，但如果这种艺术是艺术家利用人工智能创造的动植物呢？ 参加艺术家 Sofia Crespo、Feileacan McCormick、Anna Ridler 和 Daniel Ambrosi 以及 NVIDIA 技术专家 Chris Hebert 的讨论，了解他们如何在创作过程中利用 AI 生成技术诠释自然形态。
1 分钟：对深度梦境景象的冥想
陷入 Daniel Ambrosi 的 Japanese Tea Garden（日本茶园）抽象梦境
Sofia Crespo 和 Entangled Others Studio
人工生命形式能否帮我们重新思考与自然的联系？ Sofia Crespo 和 Entangled Others Studio 使用新技术，从全新视角探索数字世界中基于 AI 建立的生命形式如何帮助我们探索我们的共同纽带。
经验
Beneath the Neural Waves
2021
3D GAN、3D 风格转移
作品《神经海浪之下》尝试创造一个数字形式的水生生态系统以探索生物多样性，将此作为尝试参与高度抽象的关系概念的一种手段。
探索一个由神经生成的珊瑚礁碎片，以及一些生活在其中的生物的标本。
创作过程
使用的数据集包括 Joel Simon 制作的合成珊瑚数据、水生标本的公开数据和人工生成的数据。
数据集使用 Blender 处理，标本通过 3D-GAN、CNN（感谢 Alex Mordvintsev 的协助）以及 GAN 生成。
AI 用作一种手段，通过“基本”重演来探索我们对自然界关键部分的了解，这同时也反映了我们对这些基本生态系统已知和未知的方面，以及它们在内部和与我们之间的关系。
经验
Artificial Remnants 2.0
2020
3D GAN、3D 风格转移、GPT-2
此项目是正在进行的人工生命探索的一部分，旨在运用机器学习技术来生成昆虫，并提供其名字和解剖学描述。这为我们提供了一种在虚拟数字空间中参与自然世界丰富多样性的方式。创作该项目的艺术家邀请您一起探索展出的标本并与之互动。
创作过程
艺术家们使用了数百种昆虫的 3D 模型、有关其生命周期的文献，以及其纹理的特写来创作这一独特的作品。由于缺乏大量开放的数据集，致使艺术家们不得不进行大量的数据扩增。
整个过程的所有环节都用到了人工智能 – 从生成 3D 形式到赋予其表面纹理，最后是生成描述。
关于 Sofia Crespo
Sofia Crespo 是一位对生物学启发型技术有着浓厚兴趣的艺术家。她的主要关注点之一是有机生命利用人工机制来模拟自身并实现进化的方式。这意味着技术是创造它们的有机生命的一种反向产物，而非完全分离开的对象。另一方面，她也非常关注运用机器学习技术的艺术家的角色的动态变化。
主题会谈
借助 AI 通过艺术手法呈现自然形态
有人说艺术源自生活，但如果这种艺术是艺术家利用人工智能创造的动植物呢？ 参加艺术家 Sofia Crespo、Feileacan McCormick、Anna Ridler 和 Daniel Ambrosi 以及 NVIDIA 技术专家 Chris Hebert 的讨论，了解他们如何在创作过程中利用 AI 生成技术诠释自然形态。
Scott Eaton
为了进一步探索自己的艺术实践，Scott 采用了深度神经网络技术。这次探索产生了极富表现力的新颖表现手法，迸发出自己的生命力。
创作过程
绘图实验 – 使用自定义损失函数在原始形式的数据集上训练 GAN（灵感来自 pix2pixHD），以建立网络的“造型语言”。训练完模型后，使用神经网络的乐趣之一就是探索审美可能性的潜在空间。在这里，我试着通过各种方式使用这个网络，了解它如何对不同的轮廓、线宽和样式做出反应。
最终的绘图（即“蓝图”）编码了重建最终雕塑所需的全部信息（只要有神经网络能对其进行解压缩或扩展）。开发最终作品的过程包括多次线条布设、加权和轮廓细化迭代，从而让我获得了心目中的理想雕塑。将绘图与最终作品进行比较以探究神经网络如何将线条解读为建立平面变化的指令，这很有启发性。
这一步通过古老的青铜铸造过程，将这件作品从纯粹的数字创作带入现实世界。使用标准 3D 软件将神经网络输出提取为多边形，然后进行 3D 打印、模制、用蜡铸模，并投入精力和费用制作陶瓷外壳，然后浇筑成视频中显示的青铜雕塑。用来打造这件作品的过程提炼了数千年的技术发展历程 – 从原始的铸造和锻造到基于先进的 GPU 训练的生成式对抗网络。
绘图
Humanity (Fall of the Damned)
2019
Dibond 档案印刷品，第 5 版
从左到右轻扫，跟随艺术家的创作之旅，看看从绘图准备到最终渲染成品的演变过程。
创作过程
Scott 的“人物”数据集包括 3 万多张不同的照片，这些照片是他在工作室中历时两年时间，为不同的志愿者拍摄的。神经网络的实用性往往与训练输入数据的质量直接相关，因此精心编制这些数据对于在他的艺术实践中构建 AI 工具至关重要。
从他的绘画过程中挑选出的一些延时视频由“人物”网络（一种 NVIDIA pix2pixHD 图像到图像转换生成式对抗网络 (GAN)）转换生成。该网络不断评估每幅绘图中的线条、形状和轮廓，以确定其“标识”的人体模式，然后尽可能适当地对其进行着色和渲染。
Fall of the Damned 作品主体图像的绘制仍在进行中。最终成品画作有 2.2 米高，所以预备图的精细程度必须相当之高。由于成品图过于庞大，无法存储在 GPU 显存中，所以创作者通过神经网络将其处理成 8192x4096 块，然后再组合成 20500x15200 像素的最终大小。
Scott Eaton
Scott 是一位艺术家、教育家和创意技术专家，居住在英国伦敦。他的作品将传统技法与当代数字工具相结合，突破了具象化表现手法的界限。他获得了麻省理工学院媒体实验室的硕士学位，并在意大利佛罗伦萨学习过绘画和雕塑学术课程。除了自己的创作实践之外，Scott 还经常与其他艺术家和工作室合作，并在视觉效果、动画和游戏行业提供广泛的咨询服务。
主题会谈
AI 助力艺术
艺术家可以将 AI 用作工具、协作者或灵感源泉，在其创作过程中的不同阶段影响其艺术作品。来自世界各地的艺术家讨论小组成员将相互交流，比较他们如何将自己的美术背景与未来主义艺术实践相结合。
Allison Parrish
《22 Compasses》是一本用机器学习拼写和语音模型撰写的诗集。该模型在所谓的离散类别之间的负空间中发明了一些新词。
创作过程
使用的数据集：在英语中，单词拼写方式与发音方式之间不存在直接的关系。CMU 发音词典是免费提供的在线数据库，收录了英语单词及其音标。此数据集已用于训练一个机器学习模型，能通过单词的拼写发出单词的读音，还能拼写出任意声音（即使它们不是词典中的“真正单词”）。
使用的技术：Keras 是主要的机器学习框架，利用它可以轻松创建一个名为 Pincelate 的定制序列到序列模型，以便将字母“翻译”为音素特征。诗歌本身通过 Python 代码生成，这些代码利用此模型将两个或更多个单词混合在一起并拼出其读音。
如何使用 AI：处理用于从拼写预测音素的机器学习模型的隐藏状态，从而可以生成具有特定特征的新的无意义单词。
关于 Allison Parrish
Allison 是计算机程序员、诗人、教育工作者和游戏设计师，其教学工作和实践解决了在语言和计算机相遇时出现的异常现象。她是纽约大学互动电信项目的助理艺术教授，她在 2008 年取得了该校的硕士学位。
Allison 在 2016 年被“乡村之声”评为“诗歌机器人最佳制作者”，她使用计算机生成的诗歌最近发表在《BOMB》杂志和《Nioques》上。她还是《@Everyword: The Book》(Instar, 2015) 的作者，该书收集了她广受欢迎的长期自动化写作项目的成果（该项目在 Twitter 上发布了英语中的每个单词）。Allison 与 Adam Simon 和 Tim Szetela 合作设计了一款名为“Rewordable”的单词游戏，该游戏在成功完成一轮 Kickstarter 融资后于 2017 年 8 月由 Penguin Random House 发布。2018 年，她的第一本由计算机生成的全长诗集《Articulations》由 Counterpath 出版。
Allison 出生在犹他州的西邦蒂富尔，目前住在布鲁克林。
专题研讨会
利用 AI 塑造一代人的语言
我们的故事代代相传，但如果这些故事是通过神经模型而不是人传递的呢？ 参加讨论，探讨 AI 时代的语言如何以新的形式出现并讲述新的故事。艺术家 Stephanie Dinkins、Pindar Van Arman 和诗人 Allison Parrish 分享了 AI 的语言如何塑造其作品和创作过程。
11 分钟：阅读生成的诗歌
Allison Parrish 使用机器学习模型创作出天马行空的诗歌，快来欣赏一番！
Nao Tokui 和 Qosmo
制造混乱：Nao Tokui 和 Qosmo 充分利用 AI 某些不可预知的行为进行打破陈规的思考和创作。
体验
神经网络 Beatbox 与合成音景
2021
AI 引导的音乐实验
在神经网络 Beatbox 这首独奏变奏曲中，访客即兴创作一段连续的生成式鼓音（由他们自己的声音和脸部混音组成）。在神经网络模型的帮助下，录音被分类为鼓音，并生成新的节拍。当这些视听片段有节奏地回放时，访客将与过去的自己建立对话。
过程
神经网络 Beatbox 是一项音乐实验，在以下几项的交叉处开展：艺术家对日常声音的浓厚兴趣、节奏和引入 AI 所带来的迷人惊喜。
Nao 一直着迷于我们周围的声音及其激发想象力的能力。他自己录制了各种环境音效，并与 Qosmo 一起创建了一个基于人工智能的网站，该网站展示了谷歌街景图像与匹配的“想象”环境音效。
作为一名 DJ，节奏始终是 Nao 音乐练习的核心。这位艺术家使用成百上千种公开的舞蹈音乐节奏 MIDI 数据，对基于变分自动编码器 (VAE) 的节奏生成器模型进行训练。下面直观呈现了该模型潜在空间中的潜在节奏模式，以及所选模式的音频样本。
神经网络 Beatbox 由两个部分组成：(1) 基于 CNN 的声音分类模型，它对录制的声音进行分段和创建的即时架子鼓；(2) 上一节中描述的节奏生成模型。
通过整合这两个组件和这位艺术家的两份独立激情，神经网络 Beatbox 不断根据我们周围的日常声音生成令人兴奋的节拍。艺术家们发现 AI 模型的细微缺陷很有吸引力。他们还预见到 AI 在未来不只是复制我们人类创作的音乐，而是还会创造一些新颖的东西，进而激发人类的创造力。
为了创作出一首独特的乐曲，Nao 还使用他多年来收集的现场录音数据集训练了一个 SampleRNN 模型。经过数天的训练，该模型开始生成无穷无尽的虚构环境音效。
之后，他扩展了节奏生成模型，将 GAN（生成式对抗网络）框架包括在内。他添加了一个额外的判别器，为生成的节奏模式划分舞蹈音乐流派。这个 Creative-GAN 方案还激励生成器“混淆”分类器；这位艺术家进而预测会出现挑战该模型产生的流派分类的独特节奏模式。
最后，Nao 将所有成果（SampleRNN/Creative-GAN 节奏生成和 MelodyVAE 模型）都融入到他的作品“合成环境音效”中。他自己并未手动添加或删除一个 MIDI 音符。他的模型生成了所有序列，他很喜欢这些序列的特性，并将合适的序列拼接在一起。所产生的作品反映了这个时代的不确定性和“日常”生活的回忆。在这个作品中，Nao 展示了拥抱 AI 的有机性可带来独特结果和扩展创造力。
关于 Nao Tokui
Nao Tokui 是位于日本的艺术家兼研究人员。在东京大学攻读博士学位期间，他发行了第一张音乐专辑和其他单曲，其中包括与日本嘻哈界的传奇制作人 Nujabes 合作的 12 英寸唱片。从那时起，他一直在探索利用 AI 扩展人类创造力的可能性。他最近的工作包括开展 AI DJ 项目，在该项目中，基于机器学习技术的 DJ 与人类 DJ（Nao，他自己）通力合作，轮流选择和播放歌曲（一次一首）。另外他还与 Brian Eno 进行合作。他的作品曾在纽约 MoMA、Barbican Centre（伦敦）、InterCommunication Center（东京）等地展出。2021 年 1 月，他出版了第一本关于 AI 和创造力的书籍。
Medium | SoundCloud | 网站
专题研讨会
节拍器研讨会
位于日本的艺术家兼研究人员 Nao Tokui 将主持专题研讨会，探讨如何使用他的网页式应用程序“神经网络 Beatbox”来制作节拍器。此应用程序将使与会者能够使用自己的声音集体创作节拍和节奏，进而使 AI 不断生成新的节奏。快来与 Nao 和其他与会者一起体验这种乐趣和协作过程！
4 分钟：环境音效的沉浸
在 AI 生成的沉浸式电子曲目中深入探究编制在一起的景观声音。
Madonna（圣母玛利亚）
Oxia Palus
2020/GAN、GPU、多光谱成像
Oxia Palus 正在运用 AI 的强大力量，发现被时间遗忘的艺术杰作。这是一种强有力的历史和创新科技二分法，可以让我们真正洞悉被时代遗忘的艺术。
创作过程
第一步
Leonardeschi 是一群在达芬奇工作室工作或受其影响的艺术家，他们的 225 幅画被用来训练 NVIDIA 的 pix2pixHD 模型。
Madonna of the Carnation（康乃馨圣母）画作就是该模型应用的一个例子，该模型可以将边缘图映射回绘画作品。
以粗粒度标签语义对 pix2pixHD 模型进行训练有助于指导该模型识别头发和皮肤等属性。
第二步
Oxia Palus 手动将伦敦帝国理工学院的达芬奇 《岩间圣母》 的 X 射线与国家美术馆制作的 X 射线轨迹进行了图像配准（对齐）。
然后，他们进一步手动编辑了配准后的图像，添加了缺失的笔触，并标记了皮肤、头发和衣服等属性。
半透明彩色标签用于防止底层共同配准的图像饱和。
第三步
左边的视频显示了一组不同的输入颜色图，展示了《岩间圣母》X 光扫描照片的一个片段。右侧视频显示了 pix2pixHD Leonardeschi 模型的输出，在左侧有一组输入颜色图。X 光扫描照片并不是理想的伪影轮廓。但是，通过稍加调整，就可以创造出流畅的潜在重建效果视频。
绘画
带有标签的配准图像被分段（放大圣母像），随后生成一系列增强段，对亮度、对比度和锐度上进行调整。然后，这些增强段传递给经过训练的 Leonardeschi 模型，并运行推理，在一组画作中转换增强分段。在探索一组绘画（可能的解决方案）后，创作者手动选择了最美观的结果。最终的圣母 画作犹如达芬奇再世之作。
关于 George Cann
George 通过循环的路径进入 AI 艺术世界 – 从艺术到空间科学，从机器学习到艺术。他的作品用 AI 重建过去，为 AI 如何创造新的艺术价值提供了另一种途径。George 也是伦敦大学学院的博士生，研究火星大气中的生物信号，他拥有伦敦大学学院空间科学与工程硕士学位和沃里克大学数学和物理学学士学位。
精选演讲
AI 艺术竞赛：使用 NVIDIA GPU 重振失落的艺术
Oxia Palus 有一个崇高的使命：利用人工智能发现久违的杰作。深入了解他们如何使用数据集、标准图像增强和整体嵌套边缘检测将 X 射线转换为绘画，以及运用其他现代技术重现达芬奇的名画《岩间圣母》。
