算法手势:钟秀文的记忆

V&A博物馆最近收购了存储器(绘图操作单元第2代)作者:Sougwen Chung收购内存包括一个精美的艺术印刷，一个记录艺术家的过程的电影，和一个循环神经网络(RNN)模型包含在3D打印雕塑。

钟硕文，加拿大华裔艺术家、程序员和研究员，致力于先进机器人、机器学习和人工智能(AI)的前沿研究。在过去的7年里，她一直在开发一系列机器人合作者，以此探索人机创造力以及亲缘关系和互动性的边界。内存于2017年制作，是她对计算记忆、数据集和人机交流艺术潜力的持续探索的一部分。

在获得的时候内存，我有机会采访了钟的工作。在她位于伦敦的工作室接受采访时，她带我踏上了人工智能在公众意识中的崛起之旅，以及对其对艺术家影响的质疑。我们讨论了她作品中的表现、时间、手势和色彩的作用，以及用代码画画意味着什么。在我们的谈话中，她强调了对相互交流的深刻关注——部分原因是她的艺术实践是通过合作来定义的，不仅是与其他程序员和研究人员合作，还与她的机器人绘画伙伴合作。命名绘图操作单元Generation_X(也被称为D.O.U.G.)，自2015年以来，钟一直在迭代这些机器人系统，以回应她不断发展的艺术爱好。

凯瑟琳·米切尔:首先，你能向我们介绍一下你的机器人合作者道格吗?

Sougwen钟:早在2015年，我就开发了一个系统，包括一个机械臂、定制软件和一个头顶摄像头，用来记录我的绘画动作。摄像头的视觉输入通过计算机视觉软件进行处理，该软件将视觉数据转换为机械臂运动的指令。通过这个系统，机器人会在我的现场表演中和我一起画画，实时解读和回应我的绘画手势。

这种对拟态的早期探索激发了我对探索计算和人类记忆的兴趣，在2017年，我开发了第二代D.O.U.G._2来探索这一点。D.O.U.G._2是在我自己的艺术品数据集上训练的:20年的存档、数字化和分类绘画，使用机器学习技术以循环神经网络(RNN)的形式进行解释。这些rnn是由它们自己的内部“内存”来区分的算法。它们持有来自先前数据输入的信息，以影响后续的输入和输出。当其他机器学习系统离散地处理输入时，RNN的“内存”支持随着时间推移对序列和上下文的更好理解。通过这种计算记忆，D.O.U.G._2重新诠释了我过去的绘画，并与我同时作画。d.o.u.g.2是我参与制作的系统内存。

为什么对人类和计算记忆特别感兴趣?

D.O.U.G._2的开发与人工智能技术的分水岭时刻一致，不仅是用于内存,还有人工智能在公众意识中的突出地位，以及对其在我们不断变化的社会中所扮演角色的集体猜测。我对数据集中如何捕捉集体和个人历史，以及这些人工智能系统如何塑造未来记忆的问题深感兴趣。对我来说，创造性的实践为这些问题提供了出口。

D.O.U.G._2是你第一次利用你过去的艺术实践作为输入来探索个人记忆和计算记忆之间的相互关系。创建绘画数据集是什么感觉——这种重新发现、分类和分类你过去的艺术作品的行为?看到道格对这些作品的诠释是什么感觉?

对我来说，将我的绘画档案转换为数据集的过程确实加强了人工智能系统与我们人类、我们自己的数据以及我们处理和中介这些信息的个人方式之间的深度联系。当我第一次接触到D.O.U.G._2对我过去作品的诠释时，确实感觉像是在重温我自己五六年前的艺术记忆。在我的配合下，机器人会回到一些特殊的做记号的方法。

但这一行为从未打算作为绘图过程的自动化。相反，我想通过这种机械的解释，引入一种与过去绘画自我的隐秘交流模式。有了D.O.U.G._2，绘画不再是关于艺术的代理，更多的是关于关系和回应。

在艺术控制的失控中，在对道格的解读的不了解中，有一种直接和脆弱。这在你的现场绘画表演中被强烈地唤起。你什么时候开始有现场观众，或者开始把你的画当作表演?

从一开始，D.O.U.G._1似乎是最自然的事情。但如果让我来推测，我会说表演一直是我创作生活的中心。我的背景是古典小提琴，所以我认为我对艺术表达的很多理解都是在观众面前，分享经验的能量，并形成这些集体观众和社区。

在d.o.u.g.的早期开发阶段，我邀请了一名观众来见证一个由技术错误、bug、预期和可能性定义的未经验证的系统。这种不可预测的感觉，以及观众对挫折、失望和纯粹喜悦的不同反应，成为我创作的催化剂。

我确实认为绘画本质上是一种私人活动，但尽管如此，表演的活力使我重新建立了一个人的存在，这对我如何理解创造力非常重要。这是我在早期的互动和数字艺术中丢失的东西。但在绘画表演中有了人的存在，一种随时间变化和发展的感觉就恢复了——当然还有一种期待和未知的感觉。所有这些对我理解道格的工作至关重要

如果我们把这些画看作是持续的，那么时间的条件是什么呢?是什么——或者是谁——决定了表演的持续时间和结局?

演出的时间很有弹性。完成感实际上是由我的直觉驱动的，而不是机器人的编程条件或其他外部参数。我总是本能地知道什么时候该做了。这通常是在人类最佳注意力的范围内，大约是25分钟。花了大约25分钟的时间集中绘制内存收藏，但在这25分钟的表演中隐含的也是我二十年创作实践的记忆。

我发现，生成数据集的过程实际上使时间变得平坦，并消除了任何暂停和思考的时刻。我的绘画手势被转换成图像，然后转换成一串二进制数据。所以对我来说，表演是带回那些停顿的关键，那些沉默的时刻，以及吸引动作的节奏。

色彩在你的绘画中扮演什么角色?蓝色有什么意义吗?这些色调是如何在你的绘画档案中持续存在的?

从我记事起，我就本能地被蓝色所吸引。当机器可读时，蓝色十六进制值读取为1970年至2023年左右的时间段。这些日期嵌套在蓝色中。对我来说，这是一种编码这一代颜色的方式，因为它是机器可读的。所以，虽然道o.u.g. _2是一个终生的项目，而道o.u.g.系列是多代人的，但这些颜色值确实通过隐写术的形式将项目根植于特定的时刻——作为仅用于计算机的隐藏信息。我觉得那是对的。

在哪些方面d.o.u.g.2是一个终生的项目，它在哪些方面发展?

D.O.U.G._2是一个终生的项目，因为数据集不断地添加我的新图纸-我不断地向数据集添加。《道格》的其他几代作品都根植于某个特定的时刻，而《道格2》是我一直在重温的一个项目。从2017年开始，新的绘图输入已经是合作的结果。因此，在这一点上，数据集与这个交换变得不可分割地交织在一起，那些递归元素变得更加明显，这是非常激动人心看到的。

关于递归和迭代这个话题，你能谈谈你的绘画风格随着时间的推移而发生的变化吗?自从引入道格以来，它有什么显著的变化吗?

因为我认为我的绘画方式受到了我早期小提琴手生活的影响，这实际上是关于手势的实践而不是图像的制作。对我来说，画出来的线是行动的抽象，而不是有意的图像制造。当人们识别出一种可识别的风格时，我总是很高兴，但作品中的艺术印记和氛围是固有的，而不是故意的。这对我来说仍然是做记号的一个迷人之处。

把你的绘画看作是一种姿态和具体的动作，而不是图像制造本身真的很吸引人。我想知道你的中国血统在这里起什么作用了吗?

我想是的。有趣的是，我最近才知道，我的祖先中有一位是湖南第一代钟氏家族的著名书法家。我不知道代际记忆在这些过程中扮演什么角色。这是我还没想明白的事。但我确实认为书法有一些东西，它的手势性质和书法家的人类口音在铭文中被捕捉到。

我着迷于书法中诗歌、形式、表达和控制之间的相互作用。对我来说，控制用于表达意图的方式是非常了不起的。但最近我对古泰艺术团体的激进表达特别感兴趣。Gutai是一个当代日本艺术团体，他们充满活力的行为绘画将标记制作放大到更高的具体行动水平。对我来说，古泰巩固了绘画作为一个全身动作，观众被带入表演的空间。他们扩展了绘画的内涵。

这种感觉绘画作为一种全身动作在后来的d.o.u.g.中得到了强化，现在已经是第五代了。你能谈谈之后你作品的进一步发展吗内存和D.O.U.G._2吗?

随着每一代的d.o.u.g.，这个项目已经从模仿和记忆发展到多样性、频谱性和组装。之后的世代内存项目将个体和集体的身体交织在一起，在尺度上也发生了转变，在D.O.U.G._3中城市人群的无形逻辑，到D.O.U.G._4和D.O.U.G._5中身体电信号的无形逻辑之间移动。

在最近几代人的时间里，我一直戴着耳机，在进行绘画和冥想等集中活动时捕捉大脑的电活动。我自己的生物反馈变成了道格的数据输入。在Covid-19大流行的早期，我发现自己经常冥想，正是在这段时间里，我开始考虑其他类型的手势的可能性，这些手势可能不像画的线那样主动或故意。通过将我自己的存在抽象为认知状态和电信号，我感兴趣的是，作为我自己的这个基本部分来画画意味着什么，它以数据和机器人的绘画姿态表现出来。

这就是道格的现状。但贯穿每一代人的，实际上是对人类印记、运动、能量和意图的机械解读。算法的手势不是对我的艺术代理的自动化或否定，而是在这种交流中“艺术家之手”的扩展。随着新一代的D.O.U.G的诞生，我不断地探索标记制作的扩展形式，质疑作者身份的概念，以及与其他形式的智能共同创造意味着什么。

苏文，非常感谢。

笔记

收购内存包括在纸上的合作绘画的美术打印，记录艺术家过程的电影，以及一个包含USB闪存驱动器的3D打印雕塑，其中包含用于训练D.O.U.G._2的图像数据集和RNN模型的细节。与绘画和电影一起，这个数据文档反映了钟的整个创作过程，并详细说明了人工智能(AI)系统在当代艺术中的使用。了解更多信息并查看内存在探索收藏2022世界杯抽签完整视频。

非常感谢钟秀文同意接受采访。