“科技世代与人类未来”论坛第八期聚焦“智能革命与人类深度智能化”主题，以北南联袂、京沪对话的方式对谈智能革命在人类生命、行为、认知和情感等层面可能带来的深度影响。段伟文研究员在《智能化数据解析社会的政治伦理考量》指出在数据驱动的智能解析社会，智能算法实施的是基于预见的干预或可能性政治，应从主体能动性出发，赋予人们相应的技术能力与自主性权利，进而从“生命－智能－社会复合体”的维度，审视智能革命与人类社会深度智能化的前景。刘永谋教授在《智能革命与机器乌托邦》中提出，随着智能技术在治理领域的推进，存在着“电子圆形监狱”降临的风险，应该认真研究、积极应对，避免社会滑入“AI机器乌托邦”；杨庆峰教授在《智能革命与人类记忆》指出，把记忆理解为认知和情感产生的前提条件能够使得我们看清人工智能的发展，具备记忆的人工智能体具备了一种可能性，能够突破技术奇点，走向强人工智能；闫宏秀教授的《用信任解码人工智能伦理》一文从信任在人工智能中的产生、表征及其构成等为切入点，以人类对伦理学的信任、人类对人工智能的信任、人工智能自身的信任度、人工智能系统中各个代理间的信任等四个要素开启人工智能伦理构成要素之径，以有效监督的信任为前提审视人与人工智能的合作，确保人工智能向善。
智能化数据解析社会的政治伦理考量
段伟文（中国社会科学院）
近年来，人工智能应用的热点是数据智能，其主要背景是世界的数据化。所谓世界的数据化，简单地讲就是：世界就是数据，数据就是世界。什么是数据？英文中的数据一词是data，但其内涵不仅与数字或科学观测有关，更是对世界的记录。当初傅统先在译杜威的《确定性的寻求》时，将data翻译为素材。当前，我们所说的大数据和数据智能中的数据的含义就是素材，更确切地讲是电子化的素材，比方说报告的录音、录像等。有些素材的元数据是可以量化和结构化的，这些数据起到了测量世界和人的行为过程的作用。近年来，由于素材或数据存储与处理的成本不断降低，我们能够把很多东西记录下来，虽然记录的时候有各种各样的目的，一旦记录下来以后就可以变成素材而用于别的用途，如可作为其他主题的数据挖掘之用。值得指出的是，当我们讲“世界就是数据”和“数据就是世界”时，应该看到所谓的世界的数据化并不是抽象的，用数据呈现世界和人的行为的方式取决于具体的记录、传感、测量和分析技术，而任何方式都会突出与强化世界与人的行为的某些方面而忽视与弱化另一些方面。
数据智能和智能算法的应用是现代社会治理与个人治理日益量化的最新表现，这一趋势与发端于17世纪的“政治算术”、始于19世纪的“控制革命”密切相关，其新近的发展正在导致“解析社会”的来临。首先，所谓政治算术可以追溯至17世纪刚兴起的统计学的社会应用。当时，统计学的社会应用的倡导者将统计学称为“政治算术”，当时的哲学家和古典经济学家威廉·配第还专门写了本题为《政治算术》的小册子，以强调统计数字对于政治具有至关重要的作用。其次，使政治算术的理念得以普遍推行的则是被称为“控制革命”的信息技术的发展。20世纪80年代，信息技术史家贝尼格（James R. Beniger）在《控制革命》一书中指出，19世纪以来，信息技术的发展实质上是为了克服由城市化和大工业生产所带来的控制的危机而形成的一系列控制革命。
20世纪的最后30年间，伴随着对以工业化为特征的现代化的弊端的反思，微电子、个人计算机、网络和移动通信等信息通信技术的发展为信息化开辟了道路，其间不仅涌现出后工业社会和第三次浪潮等社会理论与未来学思潮，而且还由反主流文化孕育出为虚拟空间奠基的赛博文化，其结果导致了20世纪末具有虚拟性、匿名性和多主体交互性的网络空间的崛起。但这种貌似个体可以通过虚拟的网络空间摆脱现实社会制约的幻象很快就破灭了。随着谷歌搜索对百科全书检索式的雅虎等早期门户网站的超越以及Web2.0和网络社交新媒体的发展，用户网络活动所生成的内容即UGC（User-generated content）不仅使网络为用户数据所驱动，而且这些数据反过来成为人们的数据足迹。随着移动互联网、网络社交媒体、智能手机、可穿戴设备等信息技术的发展和各种数据的指数化增长，对人的线上和线下行为数据的搜集和分析则可能使每个人成为被追踪、观测、分析的对象，数据的掌握者由此可对数据进行认知计算，借助一定的算法对数据主体展开行为评分和内容推荐，从而对人的行为进行评判、引导和干预。
不论是运用数据表征或干预世界和人的行为，还是运用各种可穿戴设备对数据采集与分析对他人或自己的生活进行量化自我等管理与治理，都预示着一个全新的社会———解析社会或数据解析社会的来临。数据解析社会这种新的社会形态是革命性的。一方面，数据所扮演的角色如同13世纪时出现的透镜，如果说透镜所制造的望远镜和显微镜让宇宙和微观世界得以清晰地观测与呈现，如今“数据透镜”则使人的行为得到量化的记录与透视；另一方面，就像17世纪笛卡尔发明解析几何使得自然界的结构与规律得以探究一样，数据分析与智能算法的应用正在使人的行为规律得到洞察和解析。
不论数据解析社会的构建如何展开，智能算法对人们生活的影响已无处不在。从企业对员工的评价、人事简历自动筛选、商业信用评分到区域犯罪预测、城市警力分布、自我健康管理，数据分析与智能算法在人们生活中涉及的各种评价、筛选和决策中日渐扮演着举足轻重的角色，我们业已步入由算法规制生活和引导人的行为的算法生活时代。政府和企业为了各种目的在其管理和运营中引入了很多智能算法，这些算法在执行中会形成各种影响人的生活的算法权力。这种算法权力很容易遭到滥用，甚至会发展为所谓的算法霸权。首先，姑且不提算法可能存在的黑箱问题（不透明、不易解释等），供机器学习的数据，如大量罪犯行为数据本身是由人记录和处理的，本身就带有人的各种偏见（如种族偏见、社区偏见等），在此基础上所进行的算法决策很容易使这些偏见放大。其次，智能算法往往只考虑到某些特定的视角而缺乏整体性的思考。其三，智能算法中存在的不合理之处往往缺乏反馈与纠正的渠道，如果不能引入受到算法权力伤害或不公正对待的人能够及时参与的反馈纠错机制，算法的主导者很难主动发现问题并加以反思和修正。
进一步而言，智能算法的应用建立在一种基于预见的可能性而采取控制行动的政治逻辑之上，我们可以称之为可能性的政治。在斯皮尔格导演的电影《少数派报告》中对未实施的犯罪的阻止甚至惩罚虽然不一定发生，但数据分析和智能算法的控制者显然会用它们来预测、引导或阻止人的行为，不论其方式是柔性的计算机说服技术或智能化助推，还是刚性的简历筛选和对行动自由的限制，都体现了某种宰制性的权力或霸权。以所谓人的数据画像为例，虽然人的数据画像如同人的“数据孪生兄弟”，但其本身是没有主体性和能动性的，而只是体现了数据分析与智能算法的掌控者对数据画像的对象的主体性或能动性的猜测，其中所折射的是他人的主体性、能动性或意向性。因此，数据孪生兄弟实际上是缺失心灵的数据僵尸。
由此，要克服数据分析与智能算法的数据霸权与算法权力，应该从主体的能动性构建出发，使人的主体性、能动性或意向性免于被数据僵尸所取代的命运。这就要求我们通过与数据霸权与算法权力的缠斗寻求人的能动性与算法权力关系的再平衡：始终从使用者或人的角度去评判智能算法的合理性；智能算法应发挥普遍性赋能作用，使每个人的能力增强，权利也得到相应扩充；人与算法要建立起一种伙伴关系，即，使智能算法成为陪伴人、帮助人的伴侣技术。
最后，值得指出的是，智能原本源自生命与社会，生命、智能与社会共同构成了日益复杂的生命－智能－社会复合体。从“生命－智能－社会复合体”这一分析框架出发，有助于总体把握智能革命以及人类社会深度智能化的前景：人工智能体将以拟主体的形式整合到生命 － 智能 － 社会复合体之中，泛主体社会或泛智能体社会即将来临。当我们面对陪伴机器人、智能音箱以及层出不穷的智能体或泛主体时，将会越来越多地思考它们是什么样的拟主体，又具有什么意义上的能动性。
原载于《山东科技大学学报》2019年第1期。
智能革命与机器乌托邦
刘永谋（中国人民大学）
智能革命与技术治理的关系是一个大题目。智能革命已经到来，这个提法是站得住脚的。学界提出的各种“革命”太多，就工业革命而言，有人都提到第六次工业革命了。实际上，“革命”不过是一个隐喻，能不能成立并不重要，重要的是提出这个“革命”要表达什么，是否有价值。显然，智能革命会大力推动整个社会技术治理的程度和水平，同时会导致社会风险。智能革命社会风险包括运用智能技术的智能治理风险，不是科学技术本身的问题，根本上是政治、制度和实践问题。关于这个问题，技术哲学荷兰学派如佛贝克等人力推的道德物化的角度很有启发性，但道德物化处理的问题过于细节，大的问题还是要借助制度安排来应对。
智能革命和AI技术对社会公共治理会有什么样的影响？对此问题，大家都是基于智能革命和AI技术充分发展的远景来回答的。答案存在两种相反的极端态度：一种是乐观主义的，像成素梅教授那样，认为以后可能出现一个“AI理想国”；还有一种是悲观主义的，可以称之为“AI机器乌托邦”。这里先讨论一下悲观的想法，过后再讲乐观的想法。
很多人都讨论过物联网和大数据对于技术治理的推动作用。家用的小米机器人，它要在家扫地，当然要搜集和分析房间的信息，也就是说，AI应用离不开物联网和大数据，如果后两者对技术治理有推动，那么AI对技术治理的推动就不言而喻了。
悲观主义者总是担忧智能治理和AI治理：智能革命时代，电子圆形监狱（electronic panopticon）会不会到来？大家研究信息哲学，都知道边沁和福柯提出的圆形监狱理论，以及后来流行的电子圆形监狱概念。用圆形监狱理论分析物联网的结构与功能，会发现物联网会偏好极权控制，因而本底上是会侵犯人的隐私的。在具体意象上讲，就是小说《1984》中无处不在的电幕，对所有人进行监视。这主要考虑的是物联网隐私问题，到了AI技术和智能革命的时代，这就不光是一个隐私问题，除了监视，机器人当然是可以诉诸实际行动的，比如对人进行拘押。机器人收集和行动的能力如果扩展到社会公共事物和政治领域的时候，会产生比电子圆形监狱更强的负面效应。换句话说，到了智能革命时代，电子圆形监狱才可能成为真正的监狱：从监视、审判到改造可以一体化完成。也就是说，电子圆形监狱会不会成为机器乌托邦？这就是当今敌托邦科幻文艺的一个大类，即“AI恐怖文艺”所要抨击的景象，在好莱坞电影《终结者》系列中得到最著名的呈现：机器人对所有人的牢狱统治。
当然，所谓隐私是社会建构的，是历史变化的，是有地方性的。为什么当代中国人越来越讲隐私，但同时很多人在朋友圈晒自己的私密生活？这说明没有普遍的一致的隐私，隐私观是很不同的。在中国古代，人们是缺少隐私观念的，或者说隐私观念是很不同的。古人讲，不发人阴私，这不是说尊重人权，而是说要做君子。中国古代最高权力者皇帝是没有隐私的，他的一举一动都在《起居注》中记载得清清楚楚。旧式大家族中人们同样没有隐私，年轻人要早晚向父母请安，什么事情宗族都会知道、要干预。隐私与人权有关，中国传统是没有这个概念的。奇怪的是，没有隐私，数千年来中国社会治理和社会生活大体运行得也很平稳。实际上隐私观在中国就是随着ICT技术和网络兴起传到中国来的，在80年代都很少有中国人讲究隐私。随着物联网和大数据技术的推进，中国人还在形成中的隐私观很快会发生改变，比如很多人现在出门在“去哪儿”APP上定房间、安排行程，把个人信息让商家知道，觉得很方便。
隐私社会建构论实际上并没有否定物联网偏好极权的观点。隐私观的改变，从某种意义上说是对技术发展的屈服。然而到了智能革命时代，极权的触角可能伸到的地方不再仅仅是看，而是会有具体的行动、对肉体和思想的严格控制。如果电子圆形监狱在社会上广泛建成的时候，这就是所谓的最坏的智能治理社会，即“机器乌托邦”就会到来。也就是说， AI技术是有可能催生机器乌托邦的。
机器乌托邦会是什么样的？通过对批评既有的技术治理、智能治理以及AI在社会公共领域应用的各种思想文献来进行分析，可以得出它的基本意象。当代西方的科幻小说有个很重要的特点，即乐观主义情绪很少，并且基本上都与对智能革命的想象有关系。这样一种想象在西方是很流行的，它所勾勒出来的未来社会是一架完整、严密和智能的大机器：由于 AI技术的广泛应用，每个社会成员都是这个智能机器上的一个小智能零件，而且是可以随时更换的零件，和钢铁制造的零件没有差别，这就是“AI机器乌托邦”。以好莱坞为代表的科幻影视，对此有各种各样的刻画。
从批评的文献、文艺和影视作品中，可以归纳出AI机器乌托邦的四个主要特点。第一个是AI机械化，即把人、物、社会所有都看成纯粹机械或智能机器，对所有的一切要事无巨细地进行智能测量，包括人的思想情感，可以还原成心理学和物理学的事实以此来进行测量。第二个是AI效率化，也就是说，AI机器乌托邦它核心的价值主张是效率，智能要讲求效率，科学技术是最有效率的，没有效率的东西比如文化、文学和艺术都是可以取消。AI机器乌托邦社会运行的目标就是科学技术越来越发达，物质越来越丰富，人类文明不断地扩展，要扩展到整个地球，扩展到月球，扩展到火星。第三是 AI总体化，也就是说整个社会是一个智能总体，按照建基于物联网、大数据、云计算和AI等智能技术之上的社会规划蓝图来运转。所有国家政党、社会制度、风俗习惯以及个人生活全面被改造，没有人能够逃脱总体化的智能控制。第四是AI极权化，AI机器乌托邦是反对民主和自由的，认为民主和自由没有效率，支持的是由智能专家、控制论专家掌握国家大权，公开实现等级制度，然后以数字、智能和控制论的方式残酷地统治社会。
用AI技术对社会进行公共治理是不是就必然会导致机器乌托邦呢？不一定，因为所有的技术治理包括智能治理可以有很多不同的模式。一种是激进的，整个社会要打乱重新按照智能蓝图来建构；另一种是温和的，在现有的基础上进行改良，而温和派之间也有很大差别，所以历史上是有很多不同的技术治理模式。
对AI机器乌托邦意象的总结有何教益？西方对智能治理、AI治理的批评，我们并不完全赞同，但是从理论上考虑 AI机器乌托邦的危险或风险是很有必要的。在历史上并没有真正出现过AI机器乌托邦，它还只是在人们恐惧的想象中，但是从理论上说它还是可能出现的，因此要避免极端的AI机器乌托邦的出现。上述AI机器乌托邦意象的四种特征，是要在AI技术、智能技术应用于社会公共治理的过程中极力避免的，当然这是非常复杂的问题。这里有一些初步的思考，比如要避免AI总体化，必须要避免封闭性智能社会，实际上封闭性在网络社会是很难完全做到的；比如避免AI机械化，涉及社会主流观念尤其是科学观的改变，一百年前主流的科学观是机械主义的，现在并不如此；比如避免AI极权化，关键是选择适当的智能治理模式，不一定和自由民主相冲突。奥尔森指出，技术治理在21世纪有“软”化的趋势，不像以前那么“硬”了。比如，要避免AI经济至上的观点，社会局部的规划要服从更高制度的安排，智能治理不能成为惟一或最高的治理安排，而应该是作为一种局部的工具。总之，智能革命的到来加大了AI机器乌托邦的风险，因此必须考虑制度设计与应对，这个问题从根本上说不是技术问题，而是政治问题。