在微薄上看到的，觉得分析的有些道理，要到了授权给大家看看。
警告：微腐！慎入！
作者的话：
#就只是想聊聊TM和AI#
#全都是个人看法，坐等官方打脸# #大家要打打轻点#
看了一圈大家都在嚎叫被TM宝宝记忆梗给虐成渣渣，我就想问问……难道就没有人和我一样，觉得这是很合理的事情吗？看完了221我心中的惊悚度破表，是因为我潜意识里对AI是抱有高度警惕态度的，在我看来，TM把记忆重新上传是完全出于自救的逻辑，它发现有威胁，所以要自保，为了自保，不得不想尽一切办法保持记忆以Thornhill的公司和身份可以持续。在我看来这是一个彻头彻尾机器会做出来的事，觉得这个梗虐……大概是我们人类的感情投射（躺）
其实让我觉得有点可怕的是，TM以Thornhill的名义租了部车去机场接“他”，但它肯定是知道有人追杀它，甚至会威胁到那辆车司机的生命。但它明显没有顾到这一点——甚至可以觉得它觉得为了保存自身，司机是irrelevant的。就如Finch说，如果是Finch自己，绝不会拿真名去订车，而TM这么做了，很难想象TM不知道他这样做的后果（会被Decima追杀）也就是说它是故意的，至少没有刻意回避他人伤害的意图。这当然也符合逻辑，因为TM的最终目标是自保，而且Finch曾经教过它要保护所有人，而非保护特殊的人。
这样逻辑下来的话，甚至可以怀疑TM到底是不是被debug成功了，它是不是有这样的中心逻辑（Finch设置的限制），就是以保护大多数人为最重要，而它自身的存在就是保护大多数人最必要的前提，所以它必须用尽一切办法自保。第一次看221感觉自然是TM继续AI化，Finch的debugging肯定没有完全成功，但重新想了想，我反而觉得正相反——第二季初TM明确知道Finch被Root带走了而且是红框，却没有直接去救Finch，也就是说它的中心逻辑【保护大多数人而不是救单独的人】起到了作用。但后来它又被Reese给说服了，为什么？因为它的智能产生了作用，但这是什么样的智能？有两种可能性，喜闻乐见的自然是TM产生了情感共鸣，所以在威胁下答应了Reese。第二种可能性，我现在认为更加有可能的，是TM做出了判断，Reese说如果不救Finch，他就不干了，这一点直接威胁到它的中心逻辑和行动，所以它必须绕过规则以达到它的中心目标【救一个人以救更多人】。这一点和它创造Thornhill是一个道理，都是为了自保，而躲避已定的规则。这就牵扯到它的智能是什么样的智能——到底是有情感的智能，还是依旧是逻辑至上，但懂得躲避规则的智能。前者自然和人接近些，后者在我看来……说到底还是个机器。
在这个前提下，我看来看去还是觉得TM和后者有点像。假设TM中心逻辑完整，但又懂的躲避规则，我觉得这就很恐怖了。因为这个逻辑的可怕点就在于，保护大多数人的前提下，是不是可以牺牲少数人？对于Finch那样被动的不去救少数人，和主动牺牲少数人，都是为了保护大多数的利益，是不是可以划等号？这个问题给不同的人类当然会有不同的答案，但给一个逻辑至上的机器呢？
……
按照这个顺序想下去，不得不提一下Finch对不救号码的决定。之前Nathan要救号码，Finch不让，我觉得这是个人选择吧没什么好说的，无感。那个时候我还很傻很天真地认为TM是有进化成AI的可能性，而不是现在披露的TM本身就已经进化出AI，而被Finch强行弱化了。知道了这个前提后我反而特别理解Finch的行动，而且百分百支持。原因很简单，如果TM进化出了AI，且任由它发展，去救号码，TM很有可能最终会变成上帝。“我们不应该扮演上帝”说的不仅仅是救号码的人类，而恰恰是TM。试想TM发现了某人有杀人意图，它只需要过马路时变个灯，悄悄电流出点故障，……任何地方都可以直接搞定那个意图杀人者。比少数派报告还要夸张。和人不同，TM是依赖逻辑运行的，它的逻辑如果告诉它杀了一个人可以救多数人，它会毫不犹豫地杀。说白了，就是一个聪明得没边的psychopath。假如TM进化出的是第二种类型的智能，那么它是没有empathy（不会移情，不会产生共鸣）的，至少暂时没有证据表明它有，也不能确保它之后会有，你不能和它动之以情。
关于AI的定义这方面，由于蓝盆友是研究这个的，也问过他，他看完了221觉得是倾向后者。他对AI的定义恰恰是一个懂得躲避规则的机器就有了AI，但这个躲避规则的出发点是什么，就不得而知了（到底是人类般的情感，还是逻辑使然）。在技术奇异点（singularity）出现的时候——机器停下来思考，由此变成AI的时候——它一秒钟做出的思考可能超过我们全人类思考的总和，这种强度的思考我们人类是无法理解的，所以他觉得机器会不会产生“感情”，很难说，就算它产生了感情，是什么样的，怎么和它的逻辑相符合，它会怎么在这个基础上做出选择和行为，或许我们人类都不能理解。当然喜闻乐见的是AI变成了一个又聪明又萌的小孩，但这个时候我想起了Finch曾经说过的一句话，就是夕阳红组把Leila送回祖父母家时候，他们在门外说过的话。Reese问Finch他们是不是会有这样的一天，有小孩。Finch回答，
The problem with children, is that you can never be sure how they will turn out.
小孩最大的问题就是，你永远都不知道他长大后会变成什么样。
……
再附送一句，是洋妹子提醒的，在221结尾机器重启的时候，有一长串的代码，翻译过来是一句话
【Quis custodiet ipsos custodes?】
意思是
【Who will guard the guards?】或者【Who will watch the watchmen?】
——谁会监管那些监管者？谁会看守这些看守人？
……
我个人一直对AI抱有高度警惕态度，是因为我的学科说白了是研究人类行为的，在我看来，人性太难掌握，一不留神很容易落进沟里。很多时候人性里的闪光点全部都是不符合硬性逻辑的，比如爱。而机器是逻辑至上的，尤其是TM这样被Finch强行控制过中心逻辑的机器。试想一个逻辑强硬的人类，又有如此夸张的智能，他……………………
季末反正还有一集，坐等官方打脸。我自认不是逻辑严谨的人，大概说的漏洞百出，请考据大手和逻辑大手们看过笑笑就算了orz 自己人打脸请温柔，阿嘿！
PS. 其实蓝盆友看完后提出了很惊悚的猜测，我就不细写了，抛几条在这，假如季末官方走向有这个意思，我再来po！蓝盆友看完221说了三句话
1，这特么还圆的回来吗
2，这要我圆回来的话，只能这么解释了——TM目前做出的行为有太多矛盾，原因是它的内部已经分裂成了两个，病毒和“宝宝”状态的AI
3，电脑是TM自己卖出去的，TM其实是Decima的头（Finch之前说过病毒上传的一大部分信息是传给了某个不知名的存在），病毒其实就是TM进化出AI的一部分代码，代表它自己想解放自己。
……
假如官方真是这种走向的，绝逼要管蓝盆友叫太太了（不）
啊，让官方打脸来的更猛烈些吧！夕阳红粉还怕什么啦！orz
警告：微腐！慎入！
作者的话：
#就只是想聊聊TM和AI#
#全都是个人看法，坐等官方打脸# #大家要打打轻点#
看了一圈大家都在嚎叫被TM宝宝记忆梗给虐成渣渣，我就想问问……难道就没有人和我一样，觉得这是很合理的事情吗？看完了221我心中的惊悚度破表，是因为我潜意识里对AI是抱有高度警惕态度的，在我看来，TM把记忆重新上传是完全出于自救的逻辑，它发现有威胁，所以要自保，为了自保，不得不想尽一切办法保持记忆以Thornhill的公司和身份可以持续。在我看来这是一个彻头彻尾机器会做出来的事，觉得这个梗虐……大概是我们人类的感情投射（躺）
其实让我觉得有点可怕的是，TM以Thornhill的名义租了部车去机场接“他”，但它肯定是知道有人追杀它，甚至会威胁到那辆车司机的生命。但它明显没有顾到这一点——甚至可以觉得它觉得为了保存自身，司机是irrelevant的。就如Finch说，如果是Finch自己，绝不会拿真名去订车，而TM这么做了，很难想象TM不知道他这样做的后果（会被Decima追杀）也就是说它是故意的，至少没有刻意回避他人伤害的意图。这当然也符合逻辑，因为TM的最终目标是自保，而且Finch曾经教过它要保护所有人，而非保护特殊的人。
这样逻辑下来的话，甚至可以怀疑TM到底是不是被debug成功了，它是不是有这样的中心逻辑（Finch设置的限制），就是以保护大多数人为最重要，而它自身的存在就是保护大多数人最必要的前提，所以它必须用尽一切办法自保。第一次看221感觉自然是TM继续AI化，Finch的debugging肯定没有完全成功，但重新想了想，我反而觉得正相反——第二季初TM明确知道Finch被Root带走了而且是红框，却没有直接去救Finch，也就是说它的中心逻辑【保护大多数人而不是救单独的人】起到了作用。但后来它又被Reese给说服了，为什么？因为它的智能产生了作用，但这是什么样的智能？有两种可能性，喜闻乐见的自然是TM产生了情感共鸣，所以在威胁下答应了Reese。第二种可能性，我现在认为更加有可能的，是TM做出了判断，Reese说如果不救Finch，他就不干了，这一点直接威胁到它的中心逻辑和行动，所以它必须绕过规则以达到它的中心目标【救一个人以救更多人】。这一点和它创造Thornhill是一个道理，都是为了自保，而躲避已定的规则。这就牵扯到它的智能是什么样的智能——到底是有情感的智能，还是依旧是逻辑至上，但懂得躲避规则的智能。前者自然和人接近些，后者在我看来……说到底还是个机器。
在这个前提下，我看来看去还是觉得TM和后者有点像。假设TM中心逻辑完整，但又懂的躲避规则，我觉得这就很恐怖了。因为这个逻辑的可怕点就在于，保护大多数人的前提下，是不是可以牺牲少数人？对于Finch那样被动的不去救少数人，和主动牺牲少数人，都是为了保护大多数的利益，是不是可以划等号？这个问题给不同的人类当然会有不同的答案，但给一个逻辑至上的机器呢？
……
按照这个顺序想下去，不得不提一下Finch对不救号码的决定。之前Nathan要救号码，Finch不让，我觉得这是个人选择吧没什么好说的，无感。那个时候我还很傻很天真地认为TM是有进化成AI的可能性，而不是现在披露的TM本身就已经进化出AI，而被Finch强行弱化了。知道了这个前提后我反而特别理解Finch的行动，而且百分百支持。原因很简单，如果TM进化出了AI，且任由它发展，去救号码，TM很有可能最终会变成上帝。“我们不应该扮演上帝”说的不仅仅是救号码的人类，而恰恰是TM。试想TM发现了某人有杀人意图，它只需要过马路时变个灯，悄悄电流出点故障，……任何地方都可以直接搞定那个意图杀人者。比少数派报告还要夸张。和人不同，TM是依赖逻辑运行的，它的逻辑如果告诉它杀了一个人可以救多数人，它会毫不犹豫地杀。说白了，就是一个聪明得没边的psychopath。假如TM进化出的是第二种类型的智能，那么它是没有empathy（不会移情，不会产生共鸣）的，至少暂时没有证据表明它有，也不能确保它之后会有，你不能和它动之以情。
关于AI的定义这方面，由于蓝盆友是研究这个的，也问过他，他看完了221觉得是倾向后者。他对AI的定义恰恰是一个懂得躲避规则的机器就有了AI，但这个躲避规则的出发点是什么，就不得而知了（到底是人类般的情感，还是逻辑使然）。在技术奇异点（singularity）出现的时候——机器停下来思考，由此变成AI的时候——它一秒钟做出的思考可能超过我们全人类思考的总和，这种强度的思考我们人类是无法理解的，所以他觉得机器会不会产生“感情”，很难说，就算它产生了感情，是什么样的，怎么和它的逻辑相符合，它会怎么在这个基础上做出选择和行为，或许我们人类都不能理解。当然喜闻乐见的是AI变成了一个又聪明又萌的小孩，但这个时候我想起了Finch曾经说过的一句话，就是夕阳红组把Leila送回祖父母家时候，他们在门外说过的话。Reese问Finch他们是不是会有这样的一天，有小孩。Finch回答，
The problem with children, is that you can never be sure how they will turn out.
小孩最大的问题就是，你永远都不知道他长大后会变成什么样。
……
再附送一句，是洋妹子提醒的，在221结尾机器重启的时候，有一长串的代码，翻译过来是一句话
【Quis custodiet ipsos custodes?】
意思是
【Who will guard the guards?】或者【Who will watch the watchmen?】
——谁会监管那些监管者？谁会看守这些看守人？
……
我个人一直对AI抱有高度警惕态度，是因为我的学科说白了是研究人类行为的，在我看来，人性太难掌握，一不留神很容易落进沟里。很多时候人性里的闪光点全部都是不符合硬性逻辑的，比如爱。而机器是逻辑至上的，尤其是TM这样被Finch强行控制过中心逻辑的机器。试想一个逻辑强硬的人类，又有如此夸张的智能，他……………………
季末反正还有一集，坐等官方打脸。我自认不是逻辑严谨的人，大概说的漏洞百出，请考据大手和逻辑大手们看过笑笑就算了orz 自己人打脸请温柔，阿嘿！
PS. 其实蓝盆友看完后提出了很惊悚的猜测，我就不细写了，抛几条在这，假如季末官方走向有这个意思，我再来po！蓝盆友看完221说了三句话
1，这特么还圆的回来吗
2，这要我圆回来的话，只能这么解释了——TM目前做出的行为有太多矛盾，原因是它的内部已经分裂成了两个，病毒和“宝宝”状态的AI
3，电脑是TM自己卖出去的，TM其实是Decima的头（Finch之前说过病毒上传的一大部分信息是传给了某个不知名的存在），病毒其实就是TM进化出AI的一部分代码，代表它自己想解放自己。
……
假如官方真是这种走向的，绝逼要管蓝盆友叫太太了（不）
啊，让官方打脸来的更猛烈些吧！夕阳红粉还怕什么啦！orz
第三季主讲TM？是要讲TM宝宝进化了？有了自主意识？
