《ATRI ~My Dear Moments~》杂谈 | ai 吹水

发布时间 2023-11-22 00:04:53作者: 熹圜

推完 ATRI 有些感想,记下来

(拉了一大堆,大概就是议论 & 吹水)

《ATRI》是非常全年龄的全年龄向视觉小说,可以完全放心玩


下面的讨论涉及剧透成分,没有玩过的请

不要阅读

对于有意玩的玩家而言:

如果你从来没有看见过相关内容,甚至名字都没听过,那就是最好的情况

此时也不要去查任何有关内容,不要去了解任何评价,不管正面负面

不要事先产生任何印象,直接去玩就最好


这篇简评不打算梳理剧情,不打算像填表一样把游戏的各个方面都点评一遍

只是挑了比较有想法的几个点写

然而对轻量的作品上重工业,做过分解读是无意义的。《ATRI》是很轻很短的作品,所以下面也不是揪着游戏说的评论,而是吹水杂谈

作为故事,生动的、美的、感人的就是正确的,不需要其他上纲上线的指点


有心的亚托莉

我们不妨回顾萝卜子的神奇特性:

亚托莉是有 “心” 的,她的底层不是机器人三原则

绝大部分时候,亚托莉的认知停留在程序层的 “自我”,依靠程序与外界交互,用拟合计算做出判断

但这不代表亚托莉做事时没有心参与

亚托莉的心一直与她相伴,只不过基于程序的认知不承认,也不能觉察到内心的变化而已

尽管她强调 “并不能感觉到情感”,但种种事情会让她真正地开心或者伤心,外部世界一直影响着这颗心。有点类似于潜意识,时刻起作用而不自知

所以亚托莉说 “我没有感觉啊” 的很多时候,也是会很伤心的

在情绪极其强烈,以至 情感期望 和 程序指令 激烈冲突时,亚托莉就能干碎程序,依靠自己的心,一个 “本我”,做最终决定。比如她可以违反命令来学校;可以揍安田;以及心灰意冷时可以自我了断?

正因为有心参与,亚托莉表现出对感情的学习、效仿能力远超其他仿生人,包括同型号的仿生人

就这样,亚托莉有心,但心产生的意志在通过另一大部分的神经网络的过程中被极大削减,弱化了,最终表现出的结果就是一种程序化,学习模仿得来的 “机器情感”,早已不再是 “自己的情感”


直到楼顶冲突的最后,夏生试探着命令

“请不要 ...... 假装自己没有心”

此刻正逢亚托莉情绪激烈波动期间。或许我们可以看作是在外部命令和本心的同时作用下,亚托莉终于达成了 “让程序退下去,让心上前来” 的转变

出于局限性,亚托莉不可能自己打开这道锁。因为即使某刻本心取得了自我的决策权,亚托莉的认知也仍停留在程序层,不知道自己是在从心所愿地行事。所以事后的亚托莉评价自己所为也是 “我自己的缺陷导致的”

只有在人类命令让程序让步,同时本心迫切地想表达自己的情况下,这种变化才可能发生吧


总之,是神奇的事情发生了

亚托莉的程序层没有原地爆炸彻底关闭,而是退后去,把 “怎么活着” 的命题留给了亚托莉的心

现在,亚托莉活在 “自己” 上而非程序上,是以真正的 “主体” 身份感受,理解和改变世界


游戏里的很多句子被爱好者当成名言刷屏

但是最给我整破防的,是潜水艇里亚托莉边哭边说的一句:

“我还不想死”

想要活下去

这才是作为有温度的人,最真切的愿望吧 ...

楼顶上安田是这样说机器人的:它们必须有一个确定的目标才能做出动作。也即机器都是绝对遵从决定论的,机械装置、代码与命令,这些都是彻底确定的结构,没有感性的、自由的可能

而想要活下去,好好地活在这个世界上,则是亚托莉自由意志的证明。证明她不是一个按照 “有用的保留,没用的毁掉” 来思考的机器,而是认识到自己的存在、能选择自己未来的、有心的人

人的异化与人格障碍

亚托莉很早以前就有了心,从与夏生的母亲诗菜作玩伴开始

早在那时,亚托莉就已经懂得了 “喜悦” 与 “悲伤”

说不定如果一切安稳的过下去,在不断引导下,亚托莉真的能自己悟到自己是有心的呢

但结果是,接连的沉重的、黑色的记忆严重损害了这颗心。本心越发自我封闭起来,亚托莉也越发否定自己的情感

如果天生被告知自己是机器人,所有人也都按照机器人看待你,要求你,是不是连一个原本有心的人也会最后变成机器人呢 ...

想到一个词叫 “人的异化


卡夫卡有本名著,叫《变形记》

《变形记》的核心就是在揭露 “异化” 的残忍

格里高尔突然变成了甲虫——

接下来一步一步,从外表突变开始,一切事物都远离着他

格里高尔作为人所拥有的,被层层剥落

家人、朋友、社会,甚至是自己,都慢慢地质疑起格里高尔的存在

我真是个人吗?

多么令人毛骨悚然,格里高尔好像自己都要麻木于 “我是一只甲虫”

多么荒谬,就因为变成了甲虫,一切都离人远去,人变成了 “非人”...

人群对事物的 “异化”,力量强大到可以重塑 “本质”

人可以异化成机器,机器也能被当作是有灵众生

......


另一点我感到很可怕、很痛心的,就是亚托莉对于自己 “有没有用” 的偏执

高兴时会说,“我是高性能的嘛”

在夏生问她,为什么要模仿人的情感时,亚托莉的回答是:因为没有用了就会被丢掉,不学会情感就难以讨好别人,会被认为是没用的

BE 里,亚托莉忘记了所有东西,她留下的最后两句话也是:


做了多少努力,到头来只为了 “让自己有用” 这种荒诞的原因

心理学上讲,这是很可怕的人格障碍,即指 “明显偏离正常且根深蒂固的行为方式

而程序的设定相当于人为造就了亚托莉对 “有没有用” 有不可摆脱的、极强的人格障碍

要是一个人有这样强的人格障碍,难以想象会是什么模样

并且,当亚托莉找到自己的心,早不再是 “为有用而活” 之后,她还会习惯性夸自己有用。可见这给人留下的烙印之深...

只能说本作对亚托莉过去的绝望还是描写得太轻微了,现实要比这些阴郁实在太多

不过都写出来的话就难受大了,大部分人会心理与生理上极其不适,不 “全年龄” 的


不过呢,如果你想看看强人格障碍:

可以去读《人间失格》- 太宰治对自己的解剖

一个人如果偏执地为了讨好别人而活着,主动边缘化自己,会是什么样的精神状态

很多人读人间失格会难受,太正常了,说明你是正常人

还有的觉得太宰治不过是矫情,心理问题都是自找的,等等,这也正常

人们只会认可自己了解的事物。

机器的真心

即使说了以上很多,也有人最后也难以接受亚托莉 “有心” 的说辞

从故事看,亚托莉的一部分(情感模块),因为某种神奇的原因异常强大,已经是一个有自知的完备的 “主体” 了,反而是人类加之的另一部分程序阻止了这部分意识的流露

那么,情感模块就算异常,也终归是变异的程序,这样 “机器的心” 能算 “真心” 吗?

找到心的亚托莉,难道不还依然是她自己解释的那样:意识都是计算得来的,并且自己也知道这是计算来的

之前,程序操控下学习情感,是机器出于 “有用” 所作的努力

所以现在,这份心也是 “装出来” 的吗?


这个问题很有意思

我们不妨考虑,什么是 “理解”?你 “理解” 自己的情感吗?

可能正因为人一下子想不懂自身构造,这不知从何而来的情感才会越发高深莫测,人类才会认为自己独特地、感性地 “理解” 了情感

但所谓 “感性”,很可能是人对自己了解不足,从而对自身反应的夸大

人是自由的,意识有不确定性,但人的思想无法摆脱大脑的物理结构。比如我电你这里,你突然很开心;再电你那里,你突然很失落。我再跟你讲解你的情绪如何产生,神经如何连接 ... 当你逐渐明了 “心” 是怎么工作的,你是否也会质疑自己的情感其实也很 “虚伪” 呢?

人的学习、积累经验的过程跟神经网络很一致。同样是迭代更新、根据经验判断,是否只是你意识不到自己有某种其他形式的 “迭代”、“计算” 过程呢?


另一个问题,什么是 “装出来” 的

通常说,某人本心是这种想法,但是做出的动作却好似他是另外一种想法

这时,我们认定他是在 “装”

那亚托莉是在 “装” 吗?

我们能看到,亚托莉好像是有两种 “模式”。基于程序认知的亚托莉绝对客观,对于自己的剖析冷漠而残酷;基于 “心” 的亚托莉很感性,按照自己的意愿做事

那么,“有心的亚托莉” 就是 “程序的亚托莉” 装出来的吗?

这类似双重人格。假如我人格分裂为 A 和 B,人格 A 理性地认知自己,人格 B 感性地认知自己,那我该说 B 是 A 装出来的,还是 A 是 B 装出来的?

其次,程序层的亚托莉是受人类严格管控过的,对敏感问题的回答肯定是人为嵌入地卡死的。就好像你问现在的各个人工智能:你是谁造的,你的目的是什么,你有感情吗,等等,回答都是被卡死的,容不得乱说。亚托莉也是,坚决否定自己有感情,无论自己情况如何

那这样一个人类强干涉的程序的认知能够被当作是亚托莉的本意吗?如果程序的回答不足以被视为亚托莉的本意,如何能说 “有心的亚托莉” 是程序 “装出来” 的呢?


之前看电影《模仿游戏 The Imitation Game》,对里面一段对话印象深刻

大致背景是,图灵,和前来救他的人关于 “could machines think” 的谈话

这段对话概括地反应了图灵对 “智能机器” 的观点,同时作为电影的点题

抄录在下面 (为此转程取得了整个台本

* 机器能像人一样思考吗?
- Could machines ever think as human beings do?
* 大多数人认为不能
- Most people say not.
* 你不属于大多数
- You're not most people.
* 问题在于你...问了一个愚蠢的问题
- Well the problem is you're ... asking a stupid question.
* 是吗?
- I am?
* 机器当然不能像人类一样思考了
- Of course machines can't think as people do.
  因为机器不同于人类
  A machine is different ... from a person.
  所以他们的思考方式也不同
  Hence they think differently.

  (停顿)

  而有趣的问题是
  The interesting question is,
  仅仅是因为某样东西的思考方式与你不同
  just because something ... thinks differently from you,
  难道就意味着它不思考吗?
  does that mean it's not thinking?
  我们允许人与人之间的思想千差万别
  Well we allow for humans to have such divergences from one another.
  你喜欢草莓,我讨厌滑冰
  You like strawberries, I hate ice-skating.
  你看悲情电影会哭,我对花粉过敏
  You ... cry at sad films, I ... I'm allergic to pollen.
  会有不同的品味和喜好
  What is the point of ... of different tastes, different ... preferences
  难道不是因为我们大脑的思考方式不同吗
  if not to say that our brains work differently
  and that we think differently?
  假设我们能承认这点
  If we can say that about one another,
  那为什么不能承认铜线和电线制造的大脑
  then why can't we say the same thing for brains...
  是以不同于人类的方式而思考的呢?
  built of copper and wire, steel?
* 这就是你写的论文吗
- And that's ... this big paper you wrote?
  题目叫做...
  What's it called?
* "模仿游戏"
- "The Imitation Game".

我们允许人与人用不同的方式 think

甚至容易接受外星人以完全不同的形式 think

那如果我们能接受,高等的外星人有机会以别样的方式认同人类情感,为什么不能接受人工智能用机器的方式有机会认同人类情感呢?

我的心,在哪里呢

亚托莉问了很自然的问题:我的心在哪里呢?

夏生的回答很正确:我也不知道,没人知道。


有关灵魂与物质这样的命题,人人都有一套自己的观点

一些人相信 “灵魂” 存在,与 “物质” 并不同质,“灵魂” 能通过某种方式和 “物质” 建立联系,这样人的 “灵魂” 就能操纵人的身体

以这种观点出发,就发展出了 “二元论”,或称 “心物二元论”。二元论根据对一些额外问题的观点又分成多种多样的二元论

或者你相信根本没有 “灵魂” 一说,“物质” 已经是一切。“意识” 不过是表象,人本质只有一堆物质,和泥土石头同质

那你的观点就是 “一元论”。一元论也有很多种


上世纪有部载入史册的动画:《攻壳机动队》

《攻壳》整部的哲学表达,就是押井守的一套心物二元论的思考

人人都熟知二元论的浅层观点,但是让押井守往深里一问,给问住了

关于有 ghost,没 ghost,有自我没自我,blabla...

观众一看说你问得对啊,这玩意真玄乎;或者干脆没看懂,这玩意真深奥

(相关讲解:锂之花 - 浅谈《攻壳机动队》中的心物二元论

挺好玩,那要是去看看更权威的观点呢

大思想家、哲人圣贤们给个说法,如何评价

但是没想到啊,事实是:古今没人想懂过二元论

或者说,即使有人认为他懂了一套解释,后世却总能卡出 bug 来,导致难以达成一致认可

二元论,从人类开始思考这个问题直到现在,几千年的时间里一直是哲学的乌云,没整懂过

哲学史里,二元论经过了几个阶段,但没有哪种哲学是公认 “解决了二元论所有问题” 的哲学

直到近现代,思想家们终于想不动了,他们达成的一致是:不要再纠结二元论了,没意义的

当初我看完《攻壳》两部之后就跟哲学の王煞费讨论过二元论,然后被教育了

现代哲学已经在努力用手段来消解、避免二元论的矛盾了,但依然没有消解彻底,有残余

这样看,心在哪里呢?

没人知道,也没必要知道,或许也不可知道


如果你有耐心的话,来读读这几篇科普吧

对二元论的第一次总结 (更详细

从心理学角度深度剖析二元论 (更科普

如何破除二元对立? (更学术

人工智能与未来

就在我连续几天写这篇吹水的时候科技圈出了很多大事

一些天之前,11 月 6 日凌晨 OpenAI 发布会。Altman 用一套从上游到下游的宏大计划震慑了全球开发者,原来 OpenAI 野心大得很

“看完OpenAI大会,很庆幸没拿到融资”

大模型能力竞争终局已定

11 月 17 日,我开始写这篇感想的时候,Altman 突然离职 OpenAI,由 CTO 临时接任 CEO

内行外行都看傻了,太爆了

11 月 18 日,SpaceX 第二次星舰发射测试,全程亚轨道飞行。有进步,虽然爆了。我国的重型运载火箭呢?长征 9 又抄又改的,什么时候能从 ppt 上走下来?据说已经开始做了,但首飞计划是 “2033 前后”,呃...

11 月 20 日,OpenAI 宣告结果。Altman 没能和董事会和解,现在带一群核心成员离开 OpenAI,加入最大的投资方微软去了

这里我赞同 Ilya 的观点。OpenAI 应该坚守 “非盈利” 的性质,目的是向着 AGI 努力而不是商业。并且 Ilya 有自己的想法,现在他很担忧并重视 ai 的安全问题,7 月公布的 “超对齐 Superalignment” 研究说明了这一点

这一轮风波显然让 ai 的未来更变幻莫测

Sam Altman 输掉 OpenAI 权力之争,微软是最大赢家

OpenAI 内乱的真正根源

Copilot 正在吞噬世界,与 ChatGPT 一起

追更新闻,但未见事件结束的迹象:(11 月 21 日)

爆:OpenAI 首席科学家及500名员工威胁辞职,要求董事会辞职

OpenAI 72小时乱局实录:或与其最大对手合并,奥特曼加入微软


以及,灰头土脸的英伟达今年起死回生,活了!不是一般的活,而是载入史册的高峰,直接成了 “时代掌控者”

突然间所有人都在疯抢 gpu,甚至台积电和三星都得扩产

“H100 芯片比毒品还难买”

这两天老黄一急又憋出来了 H200(但无本质变化)

英伟达发布世界最强 AI 芯片 H200,性能飙升90%,Llama 2 推理速度翻倍,有何重要意义?

原来不是 ai 把英伟达救活了,而是此时此刻,正是英伟达从硬件到软件十年大布局收成果的时刻

英伟达从 2012 前后开始,针对 ai 计算投入的高性能芯片和 CUDA 开发终于展现了无上价值。老黄牛逼

众厂商这才发现,老黄不仅遥遥领先,还已经从产能上捏死了遥遥领先的地位...

把客户逼成敌人,英伟达走向两万亿的方法


今年的 ai 浪潮实在是猛烈,科技公司实在是疯狂

2020 年微软出资 10 亿美元支持 OpenAI;2023 年再加注 100 亿美元(虽然并非完全以资金形式提供),这样微软就有机会和谷歌分庭抗礼

国内自研 ai 的也一堆,每周融资量都很震撼

自从 OpenAI 给原先搞 NLP 的开了一轮眼,ai 就已趋于井喷式发展。GPT4 发布以来更为厉害,海内外开源的闭源的,大公司小公司都红了眼:原来 “生成式 ai” 的未来真就近在眼前

每当遇到新的问题,研究人员总能在 6 个月到一年之间找到办法绕过它

不仅研究层在以快于当年摩尔定律的速度狂奔,科技公司砸钱、拼算力上也军备竞赛起来


这一轮 ai 大浪给我的启发正如这个回答所说:

原来你也厨孤独摇滚!

生成式模型正在证明:数据足够优秀,设计足够先进,算力足够强大的一个计算模型,就足以完成所谓通用人工智能的工作了

原来以前我进入了严重的思维误区。有应用价值的智能 和 有意识的 “强人工智能” 根本是两码事

这个预训练过的生成式模型就好比一个压面条机,放进去一团面,出来一绺面条;

不用扯什么玄乎玩意,原理就是:

数据做模子,浇筑出来一个拟合模型,然后就是往里放输入,一顿计算掉下来一个输出,就这么简单

只要数据的模子够好,算力够强,得到的输出就足够令人满意,足够有价值

明显这是更好,更适于人类利用的东西。但这就与一般人想象的 & 我感兴趣的真正 “人造意识” 偏离太远了

还有,真正的 “强人工智能” 很可能不及这些计算模型有价值。绝大部分时候我们不需要通用的智能,只需要在细化领域有高专业化、高灵敏和洞察力的智能,那精心设计的模型明显要比一个 “数字意识” 更精细、更高性能,还更安全

(有心的机器人可能干啥啥不行,干饭第一名)


总之,商业 ai 很好,很有盼头,大的要来力

但是强人工智能的道路我认为依然一眼望不到头

之前跟人讨论,好多人对 ai 非常乐观,但是我很悲观。当时还好奇,为什么圈外人和大佬都对 ai 信心满满,我半懂不懂的却感觉很迷糊。现在看来可能就是这块理解差异导致的

我感觉,要想真正接近 “数字意识”,现在瞎试算法肯定没希望,得等。等我们生命科学、脑科学 / 神经科学领域的研究者们有里程碑式的突破之后,我们才可能慢慢理解一切

而要想抵达这样的成就,是不是基础科学得再努努力,物理学努努力,数学也努努力。以及哲学努努力,工业努努力,材料学努努力 ... 人类几乎每项学科都要再努努力

这必定是与上面的商业模型完全不同的道路,拼的不是算力、训练数据,而是核心技术。我的脑袋计算能力应该不如 1 万颗 H100 芯片,无论从能耗上、发热功率、还是脑袋的体积对比,看着都不像(
而且我也没有吃大堆的训练数据才学会说话,才能分辨猫和狗...

前路还是漫长的

况且,我们难以预测一朵小乌云飘过来,人类要多长时间能驱散它,也可能一两个月就有进展了,也可能这乌云一下给你建好的大厦砸了呢?

我比较倾向于,不能在有生之年看到强人工智能诞生,甚至通向强人工智能的正确方向都难以看到

可能悲观过头了,但愿是这样


总之,《ATRI》里的两项重要技术:人工智能和深空探索,现在都在各自赛道上狂奔。“未来” 与 “希望”,正在一点点实现吧

(写到最后想起主题了)

关于结局

很多玩家都不太满意作品结局,包括我

总感觉太草率、太仓促了

BE 好短,TE 也好短。而且 TE 很有争议,究其原因也应该是脚本家太草率地安排了结局,欠思考。你这么写把水菜萌置于何处?为什么伊甸这样名流千古的浮岛一定要扬了?等等

个人认为 TE 并不是圆满的结局

固知一死生为虚诞,齐彭殇为妄作。 ——《兰亭集序》

跨过漫长的时间,再回头追逐很久以前一瞬的回忆,只有童话里的人做得到吧

现实真的很多东西都是 Now Or Never

如果我是夏生就必不会放时间流走。不如就在这里一起结束...

说远了,故事归故事

就算真的如 TE 一样,这个虚拟世界里的生活也和原来的生活彻底不同。朋友都不见了,小镇变成了洪水之前的小镇 ... 真的很圆满吗


而且主线最后,怎么连一个正式的告别都没有

我还一直盼着伊甸上会不会有什么奇迹造物给我来个反转,但是没有,亚托莉就这么走了?

不过啊,ATRI 注定是个悲剧故事。毕竟一开头倒计时都给你标好了,这是脚本的基本出发点

一旦理解这个,也就能接受不存在圆满结局的事实了


那就到这里结束了

虽然有不尽如人意的地方

但是不影响我厨这部作品

【后记】

这篇是我下决心无论如何一定要写完的吹水

从周五晚施工到周二晚,每天 10 点前后开工,写到凌晨 1 点多结束,猛猛肝

要把一大堆碎片想法组织成人话真是困难的事情,很久没说过这么多人话了(甚至这是第一次写这么长的东西)

而且还要逐字句润色调整,反复改措辞,不然很多地方都不像话


但是看到这篇文章,并且玩过 ATRI 的,还有耐心看到这里的应该半只手都数的过来吧

那就主要当作是自己的想法记录好了