人工智能法治保障：问题、路径与方法-凯时k66

  《政府法制研究》2021年第3期（总第339期）

  ●世界范围内在自动驾驶领域、数据保护领域、算法责任、国家安全、智能机器人、智慧司法、智慧金融等领域已形成一定立法经验。这些立法在涉及人工智能的范畴界定、伦理准则与规制原则、权利与义务、监管框架与自律机制、风险防控与法律责任等方面具有借鉴意义。

  ●人工智能产业的发展需通过立法来保障与助推，破解产业发展瓶颈。我国人工智能立法和上海的地方立法的目标定位是：针对人才资源缺口和产业扶持制度进行立法；以数据、算法、责任为核心构建监管体系；推进中观层面立法。此外,立法要解决的基本问题是：规范人工智能的定义；伦理准则和规制原则形成共识；塑造新型权利义务；构建风险控制机制；明确致害责任；监管和自律结合。

  ●上海人工智能立法的可行路径是:在人工智能的产业促进方面，应明确培育产业发展、推动技术创新的措施，对人工智能产业给予人、财、物的支持。在人工智能的规制方面，应从数据、算法、责任等方面建立相应的规制机制。

人工智能法治保障：问题、路径与方法

课题负责人：马长山   韩旭至

  引言

  党的十八大以来，习近平总书记高度重视人工智能发展，多次谈及人工智能重要性。2018年中共中央政治局第九次集体学习中，习近平总书记即指出，人工智能是新一轮科技革命和产业变革的重要驱动力量，加快发展新一代人工智能是事关我国能否抓住新一轮科技革命和产业变革机遇的战略问题。要深刻认识加快发展新一代人工智能的重大意义，加强领导，做好规划，明确任务，夯实基础，促进其同经济社会发展深度融合，推动我国新一代人工智能健康发展。[①]

  随着近年来我国新一代人工智能产业的不断发展，人工智能时代已经到来。2020年世界人工智能大会上，智能算法、数据中心、5g、iot（物联网）等技术亦引起了广泛的讨论。从地方特色出发，上海市委把加快发展人工智能作为优先战略，不断推进人工智能创新高地建设。中共中央政治局委员、上海市委书记李强在2020世界人工智能大会开幕式上致辞上强调，上海要成为国内大循环的中心节点、国内国际双循环的战略连接，科技合作是重要内容，人工智能是重要载体。要共建人工智能发展的创新策源高地，激活高质量发展的新动能，让城市更聪明、更智慧、更安全，同时，更加重视应对人工智能发展带来的道德伦理、隐私保护、安全风险等问题，加快研究制定相关法规制度，让人工智能更好为人所用、为人服务。[②]

  在此背景下，上海市司法局成立了由华东政法大学马长山教授领衔的“人工智能法治保障”课题组，启动了相关研究工作。在研究初期课题组即发现，人工智能地方立法面临着很多、甚至是前所未有的难题，如世界范围内尚无成熟的立法可借鉴，法律、伦理、技术、经济问题相交织，地方立法缺乏可靠的国家立法根据和参照，立法创新会遇到现有法律、法规的制约等。对此，课题组制定了科学、合理的研究计划，进行了充分的调研和研究。自2020年4月立项开题以来，课题组收集了国内外相关素材1000余项，其中国内立法约500件，域外相关资料翻译、整理近10万字。同时，通过线上与线下相结合的方式，在上海市司法局调研处的支持下，课题组开展了充分的调研活动。其中，开展了线上访谈1次，线下走访2次，对明略科技、商汤科技、汇纳科技、盛趣游戏、爱达品智、加特兰、七牛云、科大智能、保隆汽车、优异达机电、君屹工业自动化、辽远自动化、爱餐机器人等13家人工智能企业以及相关政府管理部门进行了调研。

  结合理论与实践素材，课题组以上海市人工智能地方立法为导向，对人工智能的法律属性、规制准则、数据隐私和权利保护、算法规制、监管架构、风险控制机制、法律责任等方面内容进行了深入研究。2020年7月，课题组形成了相关阶段性成果，并经上海市司法局报送市委领导批示。2020年10月，课题组在进一步收集相关资料的基础上，对所收集资料进行了类型化、结构化的梳理与分析，就此形成了最终成果。课题组认为，人工智能的积极效能与现实问题均不容忽视，应合理借鉴人工智能立法的域外经验，同时把握中国国情与特色，积极推进我国人工智能立法。

第一章  人工智能的积极效能与现实问题

  人工智能的概念始于1956年美国达特茅斯会议。麦卡锡在该会议中提出，人工智能是“关于智能计算机程序的科学”。[③]2017年美国《人工智能未来法（草案）》对人工智能的定义较为细致，其通过第三节第a款分别定义了人工智能、通用人工智能与狭义人工智能。[④]虽然该法律草案尚未通过，但该定义为2019年美国《国防授权法案》所采用。[⑤]2018年欧盟委员会在《欧洲的人工智能》中指出：“人工智能是指通过分析其环境并采取行动（具有一定程度的自主性）以实现特定目标而表现出智能行为的系统。基于人工智能的系统可以是虚拟世界中的软件（如语音助手、图像分析软件、搜索引擎、语音和人脸识别系统），也可以是内嵌与硬件设备中的人工智能（如先进的机器人、自主汽车、无人机或物联网应用）。”[⑥]2019年欧盟人工智能高级别专家组（aihleg）在发布的《人工智能的定义：主要功能与类型》认为：“作为一门科学，人工智能包括几种方法和技术，如机器学习（包括深度学习、强化学习）、机器推理（包括规划、调度、知识表示和推理、搜索和优化）和机器人技术（包括控制、感知、传感器和执行器，以及将所有其他技术整合到网络物理系统中）。”[⑦]

  虽然，我国并未直接在法律文本中对人工智能进行界定。但在规范性文件，却不乏相关定义。2018年国家人工智能标准化总体组、中国电子技术标准化研究院发布的《中国人工智能标准化白皮书》中将人工智能定义为：“利用数字计算机或者数字计算机控制的机器模拟、 延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、 方法、技术及应用系统。”[⑧]这一定义为部分地方立法所采纳。与上述定义不同的是，2020年中国信通院《人工智能治理白皮书》表示：“人工智能是指，用机器模拟、实现或延伸人类的感知、思考、行动等智力与行为能力的科学与技术。”[⑨]

  当前，人工智能的实质被认为是“一种现代的方法”，包括像人一样思考、像人一样行动、合理地思考、合理地行动四个维度。[⑩]一般认为，人工智能由算力、数据、算法三大要素组成。随着三大要素能力的提升，当前全球已经进入了网络化、数字化、智能化发展的新时代，人工智能具有引领产业升级、提升国家和地区竞争力的积极意义。同时，人工智能也将带来以数据风险与算法风险为代表的新型风险，更有可能被用于实施违法、犯罪活动。然而，源于工商业时代的现代法律体系，已难以全面回应人工智能的问题。

第一节  人工智能的时代命题

  一、人工智能时代已经到来

  众所周知，人工智能的发展并非一帆风顺。上世纪50-60年代为人工智能的第一次浪潮，80年代形成了第二次浪潮，当前实为人工智能的第三次勃兴。

  （一）第一次浪潮：上世纪50-60年代

  1956年，由麦卡锡、明斯基和香农等人在达特茅斯大学发起了一个小型研讨会。其间，麦卡锡首次提出了“人工智能”的概念并将其作为该领域的名称。自此，人工智能作为一个独立的技术领域正式诞生。[11]

  随后，人工智能迎来了人工智能的第一次浪潮，产出了一系列令人振奋的成果。西蒙和纽厄尔于1959年编写的“通用问题解决者”（general problem solver）程序率先使用了模仿人类思维的启发式搜索算法，大大扩展了应用范围，能够解决用目标、字母表、动作和运算符表达的任何问题。明斯基和他指导的学生致力于让机器在被称为“微型世界”（microworlds）的有限域中求解问题，其中最出色的是terry winograd的shrdlu程序。该程序整合了自然语言处理、规划和知识表示等一系列技术，在构筑的“积木世界中”可以用简单的英语和人交流，并做出相应的决策和操作。在这一时期，神经网络的研究也取得了突破性进展。1958年，rosenblatt在计算机上模拟了一个被称为“感知机”（perceptron）的神经网络模型，它强化了之前hebb的学习算法，并可以完成一些简单的视觉处理任务，成为之后神经网络和支持向量机的基础。

  最初的成功使研究者们对人工智能的前景充满乐观。然而，当人们试图将人工智能应用至更广的领域和解决更复杂的问题时，却无一例外地遭遇到瓶颈。原因有以下几方面：

  其一，当时的计算机硬件限制了人工智能的发展。当时计算机的计算能力和内存都十分有限，也缺少足够大的数据库支持机器学习，这使得人工智能只停留在解决简单问题的水平。

  其二，试图求解问题本身的复杂性。早期的人工智能是通过搜索和组合解决基本的推理步骤来找到问题解的，然而随着人工智能的应用从简单的定理证明和微型世界到现实世界，问题的可能解却呈指数级增长，此时计算机即便花费大量时间也难以找出答案。

  其三，某些人工智能的基本结构存在局限。例如明斯基在《感知机》中论证，感知机无法解决简单的xor异或问题，该论断直接导致了神经网络研究长达10年的停滞；符号主义进路的学者们发现，传统的单调逻辑和非模态逻辑无法对常见的自动规划和推理进行表达，需要发展新的逻辑学工具。

  （二）第二次浪潮：上世纪80年代

  人工智能的第二次浪潮缘于算法模型的重大突破。为了化简问题可能解的数量，研究者们尝试将相关领域的专家知识形式化，并使系统专用于解决该领域的问题，由此产生了强大的“专家系统”。著名的例子包括能够根据质谱仪测量信息推断分子结构的dendral系统，以及用于诊断血液感染的mycin系统。

  不同于第一次浪潮的是，专家系统开始被投入商业使用并获得巨大成功。最成功的是dec公司用于自动配置计算机零部件的xcon系统，它每年能为公司节省4000万美元。当时几乎所有美国的大公司都设立了ai研发小组，都在使用和研发专家系统，日本也开始了“第五代计算机”的智能计算机计划，ai产业从1980年的几百万美元暴涨至1988年的数十亿美元。

  然而，第二次浪潮依然遭遇了“人工智能的冬天”。原因在于，一方面，专家系统遭遇了强有力的竞争对手。apple和ibm生产的台式机性能不断提升且价格低廉，到1987年时其性能已经超过了symbolics和其他厂家生产的昂贵的lisp机，逐渐在消费市场占据优势。另一方面，xcon等最初大获成功的专家系统漏洞频出，维护费用居高不下，且难以升级和使用，于是逐渐被市场淘汰。直到1991年，日本的“第五代计算机”也并没有实现。从80年代晚期开始，各国政府大幅削减对ai的资助。

  （三）第三次浪潮：2000年-至今

  人工智能的第三次浪潮不同于以往，是硬件、数据、算法和商业应用四方面共同作用的产物。

  首先，智能芯片的进步推动计算机的算力显著提升。今天的智能芯片以gpu为代表，相比传统只拥有少量运算单元的cpu芯片，它更擅长支持深度学习的并行计算，且运算力是前者的数倍，大大提高了机器学习的效率。此外，还有专为深度学习算法设计的fpga和asic芯片，它们的能耗更小，运行也更加高效。

  其次，互联网大数据为机器学习提供充足养料。2000年以来，得益于互联网、社交媒体、移动设备和传感器的普及，全球产生和存储的数据量急剧增加。据互联网数据中心（idc）报告估计，到2025年全球的数据总量将超过163zb。海量的数据将为机器学习提供丰富资源，使训练的模型日臻完善。[12]

  再次，机器学习尤其是神经网络、深度学习算法取得突破性进展。代表性的成果包括：2009年起，微软研究院和hinton合作研究的基于深度神经网络的语音识别，使误识别率降低了25%；hinton带领的团队对imagenet数据库上图片分类的top5的错误率从26%降至15%；2014年“生成对抗网络”开始成为无监督学习模型强有力的算法框架。

  最后，资本与技术深度耦合，助推行业应用快速兴起。资本作为人工智能产业发展的加速器发挥了重要的作用。一方面，跨国科技巨头以资本为杠杆，展开投资并购活动，得以不断完善产业链布局，另一方面，各类资本对初创型企业的支持，使得优秀的技术型公司迅速脱颖而出。目前，人工智能已在智能机器人、无人机、金融、医疗、安防、驾驶、搜索、教育等领域得到了较为广泛的应用。

  与前两次无疾而终的“人工智能热”相比，当前人工智能技术的发展具有坚实的底层支撑。在算力上，与“摩尔定律”预示的一致，计算机能力呈几何倍数增长，甚至出现了量子计算机。在数据上，出现了数量大、种类和来源多、价值密度高、增长速度快、质量高的大数据集，以及基于大数据的分析应用。在算法上，机器学习算法已在计算机视觉、语音识别、自然语言处理等多方面取得突破性进展。

  其中，机器学习技术在人工智能中占主导地位，从传统的线性回归到支持向量机和决策树算法，再到各种类型的神经网络，都属于机器学习的范畴。甚至有研究者直接将机器学习与人工智能等同。[13]在机器学习中，计算机从训练数据中自主学习，使用模拟人类智能的方法，实现自动化应用。目前，已被广泛用于模式识别、图像分类和评估、文本语言翻译等场景之中。这些应用场景与人们日常生活息息相关。如通过识别分析实现的个性化智能推送，已充斥着每一台智能设备。购物网站、打车软件、外卖服务等大型互联网平台均已普遍采用了基于机器学习的人工智能技术。不可否认，人工智能已从科幻小说走进了人们的日常生活，人类已经迈进了人工智能时代。

  二、人工智能造就产业升级

  人工智能时代也被称为工业4.0时代。蒸汽机时代、电气化时代与信息化时代分别对应前三个工业时代。当下的智能化更将带来全新的产业升级。人工智能技术与产业各领域、各环节的深度融合，将推动全新的产业经济形态形成。在人工智能的新业态中，数据的地位尤其重要。2020年《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》明确指出，数据已成为土地、劳动力、资本、技术四大要素外的另一生产要素。[14]基于数据利用与智能算法，人工智能产业价值将不断提升，并在各个行业中发挥巨大作用。据预测，2025年全球智能安防产值将突破500万亿美元、智能交通产值将突破50万亿美元、智能投顾管理资产也将超过11万亿美元。[15]2030人工智能更将促使全球生产总值增长14%，为世界经济共享15.7万亿美元。此外，人工智能产业升级还能大大提高劳动生产率，预计2035年将为我国劳动生产率带来27%的提升。[16]

  值得注意的是，人工智能产业升级不仅能带来直接的经济效益，还具有社会效益。人工智能产业有利于人们生活质量的提升，智慧医疗、智慧养老、智能护理等产业已经初步形成。2020年疫情之中，人工智能产业更是扮演着关键角色，深度参与了疫情防控工作，以智能化、数字的快速响应，提高抗疫战争的整体效率。对此，有报告指出，“经过疫情，中国已经不再有纯粹的‘传统产业’，每个产业或多或少都开启了数字化进程。”[17]可以预见，人工智能将沿着超大规模且多样化的应用场景不断推动产业转型升级。

  三、人工智能提升国家和地区竞争力

  人工智能作为引领产业升级的关键战略性技术，对国家和地区的竞争力有着重要影响。2017中共中央国务院在《新一代人工智能发展规划》中明确指出，“人工智能成为国际竞争的新焦点。人工智能是引领未来的战略性技术，世界主要发达国家把发展人工智能作为提升国家竞争力、维护国家安全的重大战略，加紧出台规划和政策，围绕核心技术、顶尖人才、标准规范等强化部署，力图在新一轮国际科技竞争中掌握主导权。”[18]

  在地方层面，近年来长三角地区智能化升级指数在全国处领先地位。[19]上海市委市政府更是抓住上海区位优势，大力推动人工智能产业的发展，以提升城市核心竞争力。2017上海市政府在《关于本市推动新一代人工智能发展的实施意见》中即强调，“形成具有国际竞争力的人工智能重点产业”具有重要意义。[20]2019上海市经济和信息化委员会在《关于建设人工智能上海高地构建一流创新生态的行动方案（2019-2021年）》中进一步明确，“加快发展新一代人工智能，是上海贯彻落实国家战略部署，坚定不移的优先发展方向，是上海面向全球、面向未来，提升城市能级和核心竞争力的重要布局。”[21]近年来，上海市委市政府重视人工智能产业的培育与孵化，支持建设了张江人工智能产业园、马桥人工智能创新试验区、g60科创走廊等一批人工智能产业园区，大力扶持人工智能产业的发展。根据2020世界人工智能大会上发布的上海人工智能创新发展方案，2021年产业规模将突破1000亿元。上海已经成为全国人工智能企业主要集中地之一，具有特殊的产业发展优势。从人工智能发展环境、资金支持力度、研发能力、基础支持情况、发展成效来看，上海市人工智能发展指数已更紧随北京其后，位居全国第二。[22]

第二节  人工智能的新型风险

  我国人工智能治理相关政策与法律随着我国人工智能技术与产业的迅猛发展而同步跟进。2014年6月9日，习近平总书记在中国科学院第十七次院士大会、中国工程院第十二次院士大会开幕式上发表重要讲话强调：“由于大数据、云计算、移动互联网等新一代信息技术同机器人技术相互融合步伐加快，3d打印、人工智能迅猛发展……我们要审时度势、全盘考虑、抓紧谋划、扎实推进。”[23]党和国家对人工智能技术给出了高度评价，同时也寄予了高度的希望，号召全国大力推动人工智能技术开发与应用。由此开始，一系列旨在为人工智能发展赋能的政策陆续出台，包括国务院《中国制造2025》、国家发改委和科技部等4部门联合印发《“互联网 ”人工智能三年行动实施方案》、国务院《新一代人工智能发展规划》等。

  大力推动人工智能技术向前迈进的同时，党中央、国务院也同时关注到人工智能发展带来的社会风险挑战。为应对人工智能带来的不确定性，《新一代人工智能发展规划》特别提出：“在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。” [24]上海市在构建人工智能发展创新生态工作的同时也在持续关注人工智能。在2020年7月9日召开的2020世界人工智能大会云端峰会上，上海市委书记李强就人工智能风险问题特别强调：“更加重视应对人工智能发展带来的道德伦理、隐私保护、安全风险等问题，加快研究制定相关法规制度，让人工智能更好为人所用、为人服务。” [25]当前，人工智能的新型风险集中体现在数据主义风险、算法错误风险和人工智能损害风险三方面。

  一、数据主义风险

  数据主义表现为“数据的资源化、权力化和意识形态化”。[26]人们往往更信任自动系统采集的数据，而忽视其他信息源，从而形成“自动化偏见”。然而，即便在大数据时代，数据亦非一切问题的灵丹妙药。迷信数据“全能”的数据利用可能忽视现实存在的“数据鸿沟”与“数据孤岛”。

  （一）数据鸿沟

  由于人们获取计算机和互联网的获取差异，技能和信息素养的技能差异，利用信息满足社会提升的经济机会差异，以及利用网络提高政治参与度的民主机会差异，“数据鸿沟”客观存在。社会身份和财富不再仅靠劳动和投资来获取，而更多地是通过占有信息、数据和赢得算法来迅速变成商业巨头和富豪，数字鸿沟就转换成等差鸿沟，而且身在底层就很难翻身向上流动。它甚至还会形成数据垄断和算法歧视，导致一些商业平台存在着较为普遍的“大数据杀熟”现象。如购物网站通过智能算法，根据用户经常浏览或消费的商品的类型、价格区间、购物历史，结合你的地理位置，移动情况，常去消费地点等等，可以推测出他们的收入水平，对价格的敏感程度以及用户黏度等信息，进而对价格不敏感且用户黏度较大的顾客秘密提高价格销售商品。大数据杀熟行为侵犯了消费者的知情权和平等权，利用人工智能不正当地对特定群体实施差别定价。

  （二）数据孤岛

  众多数据未能实现互联互通，数据分散割裂，从而形成“数据孤岛”。所谓“数据孤岛”就是指数据被分割、储存在不同的主体或部门手中，成为一个个单独的数据集，无法实现互联互通、相互分享和整合利用，近似于海面上一座座相互孤立、无法沟通的小岛。数据孤岛现象与数据的天然可共享属性相悖，不仅阻碍了人工智能产业的创新和实体产业的优化升级，还会增加政府行政成本，降低政府的行政效率和公共服务质量。[27]同时，林立的数据孤岛会导致大量数据被重复录入，产生“数据垃圾”，污染整体的数据资源，降低数据的即时性、准确性，增加用户信息搜寻的时间和精力成本，还有可能导致用户最迫切需要的重要数据被漏检。而大数据的价值又依赖于“全样本”分析，单一、片面的数据价值有限。

  综合来看，当前众多领域的大数据应用均存在数据不充分、不真实、不客观、结构化不足的问题。即便是利用区块链基础采集存储的数据也只能最大程度上确保数据的存在性而非真实性，无法排除错误的数据输入，从而导致数据失真，这也被称为“垃圾输入/输出”（rubbish in/ rubbish out）问题。由此可见，人工智能所依赖的大数据不一定就是全样本，更不必然代表客观现实。

  二、算法错误风险

  在计算机科学上，算法指“基于指定计算将输入数据转换为期望输出的编码过程”。[28]以机器学习算法为代表的人工智能算法实现了自我生产，从选举预测到预知犯罪、从保险购买到产品推荐，算法在经济与社会生活的很多方面已经成为主导性的力量，亦被视为一种社会权力。然而，没有任何一个系统是100%安全的。目前的计算机软件中，一千行代码平均可能出现25个错误。[29]谷歌、斯坦福大学、伯克利大学和openai研究机构的学者根据错误产生的阶段将算法模型设计和实施中的安全问题分为三类。第一类是设计者为算法定义了错误的目标函数。例如，设计者在设计目标函数时没有充分考虑运行环境的常识性限制条件，导致算法在执行任务时对周围环境造成不良影响。第二类是设计者定义了计算成本非常高的目标函数，使得算法在训练和使用阶段无法完全按照目标函数执行，只能在运行时执行某种低计算成本的替代目标函数，从而无法达到预期的效果或对周围环境造成不良影响。第三类是选用的算法模型表达能力有限，不能完全表达实际情况，导致算法在实际使用时面对不同于训练阶段的全新情况可能产生错误的结果。

  同时，对算法的不当设计也可能导致结果出错。算法的很大一部分不当结论便源于对数据的不当理解和分析。如二战期间，盟军空军曾统计飞机上的弹孔，在弹孔最多的地方进行加固，结果发现并未能提高飞行员的存活率。后来发现，需要加固的地方恰恰是没有弹孔的位置，因为被射中这些位置的飞机均以坠毁，无法返回被统计。无独有偶，在为美国社会福利系统开发的人工智能系统中，由于算法设计者无法理解“无家可归者”与“乞讨者”在美国法律意义上的区分，从而曾出现将大批“无家可归者”标记为“乞讨者”，最终导致其无法获得社会救助的事件。此外，人工智能的相关应用亦已经出现了将普通人错误标注为犯罪嫌疑人、将旅客错误标注为恐怖分子、将黑人识别成大猩猩、将华人身份照片识别为“未睁开双眼”等严重的、甚至是带有歧视性的错误。[30]

  可怕的是，算法还可能固化已有的错误与偏见。人工智能算法已应用于个性化推荐、精准广告领域，以及需要进行风险识别和信用评估的信贷、保险、理财等金融领域和犯罪风险评估的司法审判领域，可能产生具有歧视和偏见的决策结果。例如，使用northpointe公司开发的犯罪风险评估算法compas时，黑人被错误地评估为具有高犯罪风险的概率两倍于白人。因为算法在本质上是以数学方式或者计算机代码表达的意见，所以算法的设计目的、模型选择、数据使用等是设计者和开发者的主观选择，设计者和开发者会将自身持有的偏见嵌入算法系统。

  以社交媒体中的智能算法为例，通过机器学习，算法能逐渐“读懂”用户的心理与需求，从而只向用户推荐其希望看到的内容。由此，依赖于人工智能推送，用户看到的世界越来越单一，相关错误与偏见也被不断强化，越来越难以看到多元的观点，这种现象也被称为“信息茧房”、“滤泡效应”或“回音室效应”。[31]不仅如此，由于人工智能算法具有自主学习的属性，算法设计者、运用者难以完全洞察算法运行的肌理，这种算法的“不可解释性”也被称为“算法黑箱”。同时，亦由于商业秘密与言论自由的法律要求，打开“算法黑箱”，对算法错误进行风险控制，存在一定障碍和难度。

  三、人工智能致害风险

  实际上，数据主义与算法错误直接导致了人工智能的致害风险。如在美国的一些智能应用中，黑人不仅被识别成大猩猩，还在犯罪风险评估中被预测为高犯罪风险，在检索结果中与被逮捕相关联，这直接导致了黑人群体的不利待遇。对此，有学者直接将智能算法称为“数字杀伤性武器”。[32]

  在我国，人工智能致害则突出表现为侵害个人信息权益与破坏市场竞争秩序。一方面，数据被称为“新石油”，很大程度上要依赖于个人信息的价值。随着个人信息所蕴含的财产利益日益显著，非法抓取、处理、存储、传输个人信息的行为层出不穷。此外，通过用户画像，完全自动化、智能化的信息处理将直接对个人产生影响。相关数据分析，可有效预测特定自然人的工作表现、经济状况、健康、个人喜好、兴趣、可信度、行为举止、地理位置或行踪轨迹，从而对人格尊严产生新的威胁。即便是基于匿名信息的处理，亦无法充分地保障安全。平台企业通过对用户的匿名数据进行分析，也能完整拼凑出用户的“数字人格”。研究表明，只要掌握超过300个社交网络中的“点赞”，算法对一个人的了解程度就可能超过其配偶。[33]另一方面，不加限制的数据利用更可能产生破坏市场秩序的结果。一方面，企业可能利用定价数据进行市场价格操纵，通过“算法合谋”，形成垄断行为。另一方面，“大数据杀熟”亦将有害于消费者利益保护。2018年，阿里、滴滴、携程利用数据进行差异化定价的被媒体曝光。事实上，国外众多企业也在进行“大数据杀熟”。2012年，谷歌甚至为“电子产品动态定价”申请了专利。

  人工智能的运用还可能导致“数字霸权”的产生。数据企业在掌握了海量数据的控制权同时，也掌握了前所未有的权力。“平台治理”的难点之一即对平台事实上行使的公权力进行规制。赫拉利即担忧，数据的大量汇集将导致“监控社会”与“数字独裁”的形成。[34]更有学者认为纳粹德国即运用了数据处理技术协助大屠杀的进行。[35]由此可见，人工智能的到来，使得“风险社会”又增添了新型风险。面对相关风险，数字正义已经成为了现代生活的必需品，“数字人权”的重要性亦日益显著。

  此外，人工智能致害还会引发自动驾驶、无人机等系统高度自治系统的安全风险，危及人身安全。首起自动驾驶事故发生在2016年，当时一辆特斯拉轿车在京港澳高速河北邯郸段公路上因未能及时躲避前方的道路清扫车而发生追尾事故，导致该车车主身亡。事后，行车记录仪显示当时轿车出于自动驾驶状态，而且在追尾之前汽车没有进行任何制动行为。2016年5月，美国也发生了类似的事故，开启自动驾驶功能的特斯拉汽车无法识别蓝天背景下的白货车，最后发生车祸致驾驶员死亡；2018年3月，uber自动驾驶汽车因机器视觉系统未及时识别出路上突然出现的行人，导致与行人相撞致人死亡。

第三节  人工智能的法律挑战

  一、人工智能的法律概念与法律属性问题

  （一）人工智能的法律概念

  人工智能立法的基本范畴问题，受到产业界关注，并且已引发现实问题。如对人工智能企业进行产业扶持、培育与孵化过程中，若不厘清何为人工智能，何种企业属于人工智能企业，其与普通高新技术企业、新兴互联网企业之间是何种关系，便无法进行清晰的指引。在人工智能的具体应用场景中，人工智能的概念与属性不明亦容易产生问题。如有企业提出，人工智能健康诊断app属医疗行为抑或医疗器械并不清晰，相关监管要求存在本质差别。虽然，在欧洲人工智能医生即属于医疗器械，适用“医疗器械指令”，但在中国类似问题仍存在争议。在具体行政审批、监管中便会出现问题。

  （二）人工智能的法律属性

  就人工智能的法律属性而言，世界范围内更是存在较大争议，存在人工智能法律人格“肯定说”与“否定说”两类学说。2016年欧盟法律事务委员《机器人民事法律规则》、2017年俄罗斯“格里申法案”以及2018年韩国《机器人法案》等立法建议即采取了“肯定说”，主张赋予高度自动化的“电子人”以法律主体地位。此外，亦有构建“智能代理人”“强人工智能人”的法律主体地位的建议。[36]与之相对，“否定说”则主张，人工智能不具法律人格，不是法律主体，只是一种“会说话的机器”。[37]对该理论问题的回答，将直接决定了人工智能立法的基点。

  二、人工智能时代的权利与义务问题

  （一）人工智能时代的权利问题

  人工智能时代的权利问题首属数据隐私和权利保护的问题。十九大期间，习近平总书记更是明确提出“制定数据资源确权、开放、流通、交易相关制度，完善数据产权保护制度”的要求。[38]近年来，关于数据信息行为的立法进程不断加速。《刑法》《消费者权益保护法》等法律的修订，以及《网络安全法》《电子商务法》《民法典》等法律的出台均包含相关规范。

  就个人信息保护而言，自2009年“刑法修正案（七）”增加了出售、非法提供公民个人信息罪、非法获取公民个人信息罪以来，2015年“刑法修正案（九）”、2012年《关于加强网络信息保护的决定》、2013年《消费者权益保护法》新增第29条、2016年《网络安全法》第四章、2017年《民法总则》第111条等系列规定在确立我国个人信息保护体制的同时，形成了个人信息的权利保护框架。2020年《民法典》第1034条至第1039条更是直接确定了个人信息民事权益保护的内容。其中，第1037条直接赋予了信息主体查阅、复制、更正和删除的权利：“自然人可以依法向信息处理者查阅或者复制其个人信息；发现信息有错误的，有权提出异议并请求及时采取更正等必要措施。自然人发现信息处理者违反法律、行政法规的规定或者双方的约定处理其个人信息的，有权请求信息处理者及时删除。”

  就数据权利而言，虽然在国家层面仍缺乏明确的立法，但《“十三五”国家信息化规划》即指出加快推动“数据权属、数据管理”的立法。第十三届全国人大会议期间，全国人大财经委提出完善“数据权属、权利、交易等规则”。2020年中共中央、国务院《关于构建更加完善的要素市场化配置体制机制的意见》更是明确将数据列为生产要素。就互联网消费者权利保护而言，《电子商务法》对电子商务经营者、电子商务平台经营者、平台规则等方面均作出限制。

  据此，有国外学者认为，中国已经初步构建出独特的数据信息行为治理体系。[39]此外，由全国人大立法计划与工作安排可知，《数据安全法（草案）》与《个信息保护法（草案）》亦已经形成，即将提交审议。然而，在个人信息保护、企业数据权益、数据流通规则等方面，我国仍在一定程度存在制度供给不足，急需从理论上优化数据信息行为的法律治理方案，对既有立法进行解释，并进一步助推相关立法的出台。此外，人工智能利用中至少还存在人工智能生成物的知识产权归属、算法的权利归属、智能合约的权利结构等法律问题。

  （二）人工智能时代的义务问题

  与权利规定对应，我国也构建了新型的义务规定。其中，个人信息保护义务属于典型。不仅《网络安全法》充斥着大量与网络运营者、关键信息基础设施运营者有关的义务性规定，《民法典》亦强调信息处理者的义务。如《民法典》第1035条规定：“处理个人信息的，应当遵循合法、正当、必要原则，不得过度处理，并符合下列条件：（一）征得该自然人或者其监护人同意，但是法律、行政法规另有规定的除外；（二）公开处理信息的规则；（三）明示处理信息的目的、方式和范围；（四）不违反法律、行政法规的规定和双方的约定。个人信息的处理包括个人信息的收集、存储、使用、加工、传输、提供、公开等。”《民法典》第1038条规定：“信息处理者不得泄露或者篡改其收集、存储的个人信息；未经自然人同意，不得向他人非法提供其个人信息，但是经过加工无法识别特定个人且不能复原的除外。信息处理者应当采取技术措施和其他必要措施，确保其收集、存储的个人信息安全，防止信息泄露、篡改、丢失；发生或者可能发生个人信息泄露、篡改、丢失的，应当及时采取补救措施，按照规定告知自然人并向有关主管部门报告。”

  此外，对于自动驾驶的义务而言，2018年4月工信部、公安部、交通部联合发布了《智能网联汽车道路测试管理规范（试行）》后，北京、上海、重庆、长沙、深圳、武汉、广州等众多地方均发布了各自的自动驾驶汽车道路测试办法。其中亦规定自动驾驶企业必须履行相应义务，如在通事故责任强制险外购买“每车不低于五百万元人民币的交通事故责任保险”，才能获得上路测试资格。[40]

  实际上，相关义务更多体现在算法规制层面。由于自动化的算法超越了传统上对事后致害结果进行归责的制度设计，给传统监管带来巨大冲击。如前述“算法黑箱”即突破了开发者的“全能性”假设，带来了“算法独裁”、不可监督、难以追责等难题。在算法透明、算法可解释、算法审计的义务性要求中，是否要求源代码和算法内部运算透明，如何既实现算法规制又保护数据权利且不抑制技术创新，如何规定内嵌算法之中的道德标准等问题均存在挑战。

  三、人工智能的风险防控与法律责任问题

  诚如贝克所言，风险社会中，“法律制度的价值和意义就在于规范和追寻技术上的可以管理的哪怕是可能性很小或影响范围很小的风险和灾难的每一个细节”。[41]人工智能时代，已正式走进了社会大众的日常生活。最近，滴滴平台在上海嘉定区安亭镇的部分区域上线了“自动驾驶网约车”项目。随之而来的风险源管控难、事前监控困难和事后责任确定难等问题也引发了市民的高度关注。从风险控制的角度，传统的事后归责尚不足以合理控制人工智能的风险，以算法/代码规制控制风险源显得日益重要。

  风险源管控难具体表现在：一是人工智能研发所需的物理设备较少，一些研发人员可以租用弹性计算服务来训练人工智能产品，由于不具备物理可见性，监管部门发现危险源的困难程度大大增加。二是研发主体极为分散。在当今开源编程逐渐兴起的条件下，普通大众借助个人电脑或智能手机与互联网接入就能完成具有特定功能的人工智能产品开发，这意味着潜在危险源极为分散。

  比如，有研究者认为人工智能系统的内部工作模式以及各个组件之间的互相配合，比起以往的任何科技，都更加的不透明。[42]传统汽车尽管被认为是现代社会最大的公共危险源之一，其拥有万左右的物理组件，但是汽车的设计者与生产者非常了解这些物理组件之间是如何工作的。但反观人工智能，即使人工智能跟随信息科技时代的发展大趋势，它也不太可能获得如汽车一般的透明度。复杂的人工智能系统在设计上存在的缺陷，不仅消费者们难以发现，就算是下游的生产商与销售商同样无法知晓，极易埋下安全风险隐患。

  事前的监管是极其必要的但却困难重重，具体表现为人工智能的开发与研究可能具有隐蔽性、非连续性、分散性和易伪装性等。人工智能的自动化特征造成了风险预见和管理上的困难，尤其是在人工智能系统带来灾难性风险的情况下，事后监管措施极有可能失效。

  事后责任确定难主要有以下三方面原因。首先，由于人工智能系统通常借助虚拟社区（如github开源平台）进行协同研发，开发过程中可能会用到许多其他人开发的组件，数量众多的潜在责任人给权责划分带来了困难。其次，大多数人工智能产品的内部运作并不透明，多数企业尚未公开其智能产品的源代码、训练数据及测试信息等，从而增加了监管部门确定责任归属的难度。例如，训练人工智能模型时需要招募大量的人员（通常采用众包模式）来对数据集进行标注，然而这些群体往往具有根深蒂固的偏见，从而导致人工智能产品携带了某特定群体的偏见。导致许多人工智能产品在设计之初，便包含了诸多不受控机制（如后天自学习、自适应能力），一旦出现事故，大量法律灰色地带给企业推诿责任带来了便利。

  在法律责任的问题上，人工智能监管更面临困境与挑战。早在1978年日本即发生了机器人事故致人死亡事件，当时便被称为“机器人杀人”。2016年全球首起自动驾驶致死事故更就发生在中国。人工智能致害责任已是司法实务中迫切需要回答的问题。一方面，人工智能致害的责任分配要平衡秩序与变革、守护与创新、价值与事实之间的关系。尤其是值得注意的是，人工智能在我国特殊国情下可能呈现出特殊问题。如自动驾驶致害便与我国大量机动车道与自行车道混用而导致的严重路权争夺状况密切相关。另一方面，人工智能致害责任与传统产品责任的形成机制、内在逻辑、法律肌理均存在较大差异，不同类型与等级的人工智能的致害责任亦有所区别。在上述方面，人工智能的责任问题对传统的责任体系形成了一定冲击。

  正是从人工智能的积极效能与现实问题出发，近年来我国人工智能立法逐渐深化。《新一代人工智能发展规划》提出了“2020-2025-2030”“分三步走”，最终建成“完善的人工智能法律法规、伦理规范和政策体系”。[43]2020年全国人大常委会立法工作计划明确表明，重视对人工智能、区块链、基因编辑等新技术新领域相关法律问题的研究。然而，我国现有立法均为具体制度层面上相对零散的规范，尚无针对人工智能的整体规定。因此，在人工智能走进寻常百姓家的今天，面对其产生的独特法律问题，现行法律制度存在一定局限。就上海地方立法而言，近年上海逐步通过了部分人工智能相关的规范性文件，如《上海市智能网联汽车产业创新工程实施方案》《上海市智能网联汽车道路测试和示范应用管理办法（试行）》《关于进一步加快智慧城市建设的若干意见》等。但是仍然缺乏总体性、保护性、指引性的人工智能立法，同时无法涵盖人工智能所涉及的诸多方面，如算法规制、数据保护、风险控制等。因此，有必要对域外相关经验展开考察与借鉴。

第二章  域外人工智能规制的典型路径

  西方主要国家一方面加速提升人工智能的竞争优势，另一方面开始对人工智能进行立法规制，以推进科技创新和产业变革。近年来，不少国家更是将人工智能上升到国家战略和国家安全的层面进行立法规划。域外直接以人工智能为主题的立法虽多以原则性规定为主，但亦已形成其基本的人工智能规制架构。就具体的人工智能领域而言，西方发达国家已经形成了一定的立法经验。在自动驾驶领域、数据保护领域、算法责任、国家安全、智能机器人、智慧司法、智慧金融等具体领域，世界范围内亦已形成一定立法。这些立法至少涉及人工智能的范畴界定、伦理准则与规制原则、权利与义务、监管框架与自律机制、风险防控与法律责任等重要方面。

第一节  人工智能立法的战略视野

  一、立足全球竞争制定的宏观战略

  西方国家和地区多将人工智能的发展视为全球竞争中的重要议题，较早对人工智能立法进行了探索。在欧盟，2015年欧盟议会法律事务委员会便成立专门了研究机器人和人工智能发展相关法律问题的工作小组，明确指出，欧盟人工智能立法的目标即，“获得人工智能话语权，成为数据经济和应用的全球规则主导者。”2018年欧盟便通过了《人工智能战略》，将人工智能上升到国家战略层面，以明晰面向未来的数字化变革理念与行动。[44]2020年2月欧盟出台《人工智能白皮书——通往卓越和信任的欧洲路径》，该白皮书从强化内部合作、研发创新、教育培训、公私合作等多个方面推动人工智能具体政策措施。[45]

  在美国，2017年美国《人工智能未来法（草案）》亦明确提出“提升投资和创新环境，确保美国在人工智能领域的全球竞争力”，[46]同时“提升竞争力”、在国际竞争与合作中优化“人工智能产业的国际竞争格局”也是设立相关监管机构的重要目的之一。2019年2月美国政府出台了作为宏观规划的《维持美国在人工智能领域的领导地位》，其后便以之为指导，在投资基础研发、开放政府资源、清除创新障碍、提升政府服务、塑造国际环境、探索治理原则等多个方面通过具体的政策文件取得了进展。[47]同年美国国会成立了人工智能国家安全委员会。该委员会指出美国人工智能的工作重点在于研发投资、国家安全应用、培养和招募人才、保护和建设美国的技术优势、促进全球合作。同时，特朗普签署了《美国人工智能计划行政令》，将人工智能列为美国政府的研发重点。

  此外，日本、法国、德国、丹麦、新西兰等多个发达国家均先后成立了相关人工智能战略委员会，并发布了人工智能技术战略。

  二、促进创新与权利保护并重

  一方面，人工智能产业技术创新与产业发展是人工智能战略关注的重点。2018年欧盟《人工智能合作宣言》即明确指出，应提升欧洲在人工智能方面的技术和产业能力及其应用能力。[48]2020年《欧盟人工智能白皮书》进一步指出，“发展一个人工智能生态系统，为整个欧洲社会和经济带来技术效益”；“着手于研究和创新，通过建立适当的激励机制加速包含中心企业在内的人工智能凯时k66的解决方案的应用”。[49]以自动驾驶为例，为了促进相关产业的健康发展，西方国家已经通过了一系列立法。2011年至2016年期间，美国内华达州、弗罗里达州、哥伦比亚特区、密歇根州、加利福尼亚州等地区已分别通过了自动驾驶的相关规定。[50]英国交通部与美国国家公路交通安全管理局亦分别发布了相关指引。[51]2016年以后，自动驾驶立法更是走上了快车道，各国相继通过了一系列法案，如2016年3月通过的《维也纳公约》修正案、2017年5月通过的德国《道理交通法》修正案、2017年7月通过的美国《自动驾驶法案》等。正是这些立法，解决了自动驾驶技术创新与产业发展所面临的制度障碍。

  另一方面，人工智能的发展战略并不只强调人工智能产业的发展，同时更注重个人权利的保护。2020年《欧盟人工智能白皮书》指出，人工智能使用的最主要风险是，包括个人数据、隐私以及非歧视在内的基本权利保护问题，以及安全性和责任问题。针对个人权利所面临的威胁，各国分别提出了捍卫个人权利的制度目标。[52]例如，2016年美国《人工智能发展规划》提出，“改进公平性、透明度和设计责任机制”；“建立符合伦理的人工智能”。[53]2020年美国《人工智能未来法（草案）》亦指出，“应促进人工智能技术以更加公正的方式发展，保护个人隐私”。[54]以数据保护为例，2018年生效的欧盟《一般数据保护条例》即产生了巨大影响。其中，“域外效力”、用户画像的拒绝权、“被遗忘权”“数据可携权”“自设计保护隐私”“隐私保护的默认设置”等规定赋予了个人强有力的数据权利。随着人工智能技术的发展，人脸识别对数据保护产生新的威胁。2020年美国华盛顿州更是通过《面部识别法》，成为了美国首个通过人脸识别法案的州。此外，针对算法致害与算法责任问题，2019年美国通过了《算法问责法案》，强调的算法的可问责、可审计、可解释。[55]这些规定均致力建立适当的人工智能伦理和法律框架，尊重个人权利、回应社会关切、塑造数字正义。

第二节  人工智能规制的基本架构

  一、由算法与数据出发的类型化、场景化定义

  在域外相关制度中，2017年美国《人工智能未来法（草案）》对人工智能的定义较为细致，其通过第三节第a款分别定义了人工智能、通用人工智能与狭义人工智能。虽然该法律草案尚未通过，但该定义为2019年美国《国防授权法案》所采用。根据该定义：

  “（1）‘人工智能’——‘人工智能’包含如下定义：

  （a）任何无需人类特别监督即能在多变和不可预知的环境下执行任务的智能系统，并能够通过学习不断优化其表现。该系统可在计算机软件、物理硬件或尚未拟定的其他环境下开发。该智能系统可以像人类一样思考、认知、规划、学习、交流或采取行动。一般而言，智能系统越能够以接近人类的方式执行任务，其人工智能化的程度就越高。

  （b）可以像人类一样思考的智能系统，如具备认知结构和类神经网络。

  （c）可以像人类一样采取行动的智能系统，如能够通过自然语言、知识表达、自动推理和学习来完成图灵测试或者其他类似测试的智能系统。

  （d）尝试达成认知任务的一系列技术，包括机器学习等。

  （e）理性行动的智能系统，如能够通过感知、规划、推理、学习、沟通、决策和行为实现目标的智能软件代理和类人化机器人。

  （2）通用人工智能——‘通用人工智能’是指抽象的未来人工智能系统，能够通过认知、感知和社会化行为像人类智能那样做出恰当的智能行为。

  （3）狭义人工智能——‘狭义人工智能’是指在特定应用领域能够任务的智能系统，如策略游戏、智能翻译、自动驾驶汽车和图像识别等。” [56]

  2018年欧洲会员会在《欧洲的人工智能》中指出：“人工智能是指通过分析其环境并采取行动（具有一定程度的自主性）以实现特定目标而表现出智能行为的系统。基于人工智能的系统可以是虚拟世界中的软件（如语音助手、图像分析软件、搜索引擎、语音和人脸识别系统），也可以是内嵌与硬件设备中的人工智能（如先进的机器人、自主汽车、无人机或物联网应用）。”[57]

  2019年欧盟人工智能高级别专家组在发布的《人工智能的定义：主要功能与类型》通过人工智能系统、人工智能科学、其他人工智能概念与议题三个方面对上述人工智能概念进行深入分析，进一步指出：“人工智能系统是由人类设计的软件（也可能是硬件）系统， 它给定一个复杂的目标，通过在物理或数字维度上感知其环境，包括通过数据采集、对采集到的结构化或非结构化数据进行解释、知识推理或者信息处理，基于这些数据，并决定最好的行动以实现的特定的目标。人工智能系统既可以使用符号规则，也可以学习数字模型，它们还可以通过分析他们以前 的行动如何影响环境来调整自己的行为。作为一门科学，人工智能包括几种方法和技术，如机器学习（包括深度学习、强化学习）、机器推理（包括规划、调度、知识表示和推理、搜索和优化）和机器人技术（包括控制、感知、传感器和执行器，以及将所有其他技术整合到网络物理系统中）。” [58]

  由此可见，域外相关文件中，人工智能的定义由算法与数据出发的，是规范定义与类型化、场景化定义的结合，确保了人工智能的概念保持一定的灵活性与开放性。正如2020年欧洲委员会发布的《人工智能白皮书》所言：“在任何新的法律工具中，人工智能的定义必须足够灵活以适应技术进步，同时又必须足够精确以提供必要的法律确定性。”[59]

  二、伦理准则与规制原则的基本共识

  人工智能立法应坚持特定的伦理。对于这一问题，世界范围内已经提出一系列的伦理准则。

  2016年联合国《机器人伦理的初步报告》提出了9项道德准则：“（1）人类尊严：基于算法和自动系统对人类进行抉择和分类需要受到限制，尤其是受影响的人没有被通知的时候；（2）自主权：人们要制定自己的标准和规范，并能够按照自己的意愿生活；（3）责任：责任原则必须是人工智能研究和应用的基础；（4）正义、公正和团结……（5）民主……（6）法治与可归责性……（7）可靠、安全、身体和精神的完整性……（8）数据保护和隐私……（9）可持续性……”[60]

  同年，电气和电子工程师学会（ieee）发布了《合伦理设计：利用人工智能和自主系统（ai/as）最大化人类福祉的愿景（草案）》，2019年发布了正式版的文本，该准则在世界范围内影响巨大。其中，一般原则包括：

  “（1）人类利益原则，要求考虑如何确保ai/as不侵犯人权。为了实现ai/as尊重人权、自由，人类尊严及文化多样性，在使用年限内是安全、可靠的，一旦造成损害必须能够找出根本原因（可追溯性）等目的，应当构建治理框架，包括标准化机构和监管机构，增进公众对ai/as的信任；探索将法律义务“翻译为”充分理解的政策和技术考虑事项的方法论。

  （2）责任原则，涉及如何确保ai/as是可以被问责的。为了解决过错问题，避免公众困惑，ai系统必须在程序层面具有可责性，证明其为什么以特定方式运作。第一，立法机构/法院应当阐明ai 系统开发和部署过程中的职责、过错、责任、可责性等问题，以便于制造商和使用者可以知晓其权利和义务分别是什么；第二，ai设计者和开发者在必要时考虑使用群体的文化规范的多样性；第三，当ai及其影响游离于既有规范之外时，利益相关方应当一起制定新的规范；第四，自主系统的生产商/使用者应当创建记录系统，记录核心参数。

  （3）透明性原则，意味着自主系统的运作必须是透明的。ai/as是透明的意味着人们能够发现其如何以及为何做出特定决定。ai的不透明性，加上ai开发的去中心化模式，加重了责任确定和责任分配的难度。透明性对每个利益相关方都意味重大。第一，对使用者，透明性可以增进信任，让其知道ai系统可以做什么及其这样做的原因；第二，对ai/as批准和认证机构，透明性则确保ai系统可以接受审查；第三，如果发生事故，透明性有助于事故调查人员查明事故原因；第四，事故发生之后，参与审判的法官、陪审团、律师、专家证人需要借助透明性来提交证据，做出决定；第五，对于自动驾驶汽车等颠覆性技术，一定程度的透明性有助于增强公众对技术的信心。因此，需要制定透明性标准，阐明可测量的、可测试的透明性程度。但对于不同的利益相关方，透明性的具体要求是不同的。

  （4）教育和意识原则，涉及如何扩大ai/as技术的好处，最小化其被滥用的风险。在ai/as越来越普及的时代，需要推进伦理教育和安全意识教育，让人们警惕ai/as被滥用的潜在风险。这些风险可能包括黑客攻击、赌博、操纵、剥削等。” [61]

  2017年，产业界代表在美国加州阿西洛马市举行会议，通过了《阿西洛马人工智能原则》，分为科研问题、伦理和价值、长期议题三个方面，共计23条。就伦理和价值而言，该原则包括：

  “（1）安全性：人工智能系统在它们整个运行过程中应该是安全和可靠的，而且其可应用性的和可行性应当接受验证。

  （2）故障透明性：如果一个人工智能系统造成了损害，那么造成损害的原因要能被确定。

  （3）司法透明性：任何自动系统参与的司法判决都应提供令人满意的司法解释以被相关领域的专家接受。

  （4）责任：高级人工智能系统的设计者和建造者，是人工智能使用、误用和行为所产生的道德影响的参与者，有责任和机会去塑造那些道德影响。

  （5）价值归属：高度自主的人工智能系统的设计，应该确保它们的目标和行为在整个运行中与人类的价值观相一致。

  （6）人类价值观：人工智能系统应该被设计和操作，以使其和人类尊严、权力、自由和文化多样性的理想相一致。

  （7）个人隐私：在给予人工智能系统以分析和使用数据的能力时，人们应该拥有权力去访问、管理和控制他们产生的数据。

  （8）自由和隐私：人工智能在个人数据上的应用不能允许无理由地剥夺人们真实的或人们能感受到的自由。

  （9）分享利益：人工智能科技应该惠及和服务尽可能多的人。

  （10）共同繁荣：由人工智能创造的经济繁荣应该被广泛地分享，惠及全人类。

  （11）人类控制：人类应该来选择如何和决定是否让人工智能系统去完成人类选择的目标。

  （12）非颠覆：高级人工智能被授予的权力应该尊重和改进健康的社会所依赖的社会和公民秩序，而不是颠覆。

  （13）人工智能军备竞赛：致命的自动化武器的装备竞赛应该被避免。” [62]

  同时，部分国家率先发布了相关人工智能道德准则。2017年末法国国家信息与自由委员会在《算法和人工智能的道德利害关系报告》中提出两项一般原则和六项具体建议。这两项原则是忠诚和警觉性/灵活性：“第一个原则指的是算法不能违反其使用者的利益——使用者不只有消费者，还包括范围更广的公民、社会成员或其他利益可能受算法影响的群体。第二个原则指的是人工智能的不断发展和不可预知性，需要所有利益相关者有条不紊地、深思熟虑地、定期地重新审视。”六项具体建议如下：

  “（1）对所有参与开发和使用人工智能的人进行道德教育。

  （2）进一步努力让算法被使用者所理解。

  （3）设计算法为人类自由服务，抵消“黑箱效应”。

  （4）建立一个国家机关，负责审计算法。

  （5）鼓励对人工智能的伦理研究，并启动面向大众利益的国家研究项目。

  （6）加强公司内部的道德合规机构。”[63]

  2019年欧盟人工智能高级别专家组（aihleg）正式通过《可信赖人工智能伦理准则》（ethics guidelines for trustworthy ai）指出：可信赖人工智能必须“尊重基本权利、相关规则、核心原则和价值，这样保证其意图是‘符合道德的’，而且可信赖人工智能必须是‘技术成熟和可靠的’，因为即使其意图是好的，但技术不成熟也会造成难以预计的后果。”其明确提出可信赖人工智能的四项原则为“尊重人的自主、防止损害、公平、可解释性”，在此基础上提出可信赖人工智能系统的具体要求：

  “（1）人类作用和监督：人工智能不应该践踏人类的自主性。人们不应该被ai系统操纵或胁迫，而且，人类应该能够干预或监督软件做出的每一个决定。

  （2）技术的稳健性和安全性：人工智能应该是安全的、准确的。它不应该易于受到外部攻击（例如对抗性实例）的影响，而且，应该是相当可靠的。

  （3）隐私和数据管理：人工智能系统收集的个人数据应该是安全的、私有的。它不应该让任何人接触，也不应该轻易被盗。

  （3）透明性：用于创建人工智能系统的数据和算法应该是可访问的，软件所做的决定应“由人类理解和跟踪”。换句话说，操作员应该能够解释ai系统所做的决定。

  （4）多样性、非歧视和公平性：人工智能提供的服务应面向所有人，无论年龄、性别、种族或其他特征。同样地，系统不应该在这些方面存在偏见。

  （5）环境和社会福祉：人工智能系统应该是可持续的（即它们应该对生态负责）并“促进积极的社会变革”。

  （6）问责制：人工智能系统应该是可审计的，并被纳入企业可举报范畴，以便受到现有规则的保护。应事先告知和报告系统可能产生的负面影响。” [64]

  2019年经济合作与发展组织《人工智能原则》即包括：（1）包容性增长；（2）可持续发展和福祉；（3）以人为本的价值和公平；（4）透明和可解释性；（5）稳健性、安全和可靠；（6）可问责。[65]

  此外，人工智能的伦理准则亦在具体的人工智能领域中适用。2017年德国《自动驾驶伦理准则》（the german ethics code for automated and connected driving）指出：

  “（1）自动驾驶系统要永远保证比人类驾驶员造成的事故少，这是该准则的第一必要条件。

  （2）人类的安全必须始终优先于动物或其他财产。

  （3）当自动驾驶车辆发生不可避免的事故时，任何基于年龄，性别，种族，身体属性或任何其他区别因素的歧视判断都是不允许的。

  （4）在任何驾驶情况下，责任方，无论驾驶者是人类还是自动驾驶系统，都必须遵守已经明确的道路法规。

  （5）为了辨明事故承担责任方，自动驾驶车辆必须配置始终记录和存储行车数据的“黑匣子”。

  （6）自动驾驶汽车将对车辆所记录的数据保留唯一所有权，其可决定是否由第三方保管或转发。

  （7）虽然车辆在紧急情况下可能会自动作出反应，但人类应该在更多道德模棱两可的事件中重新获得车辆的控制权。”[66]

  上述伦理准则属于法律规制原则的基础，可在此基础上可进一步构建人工智能的法律规制原则。在上述伦理准则的要求中，部分内容也属于人工智能规制原则的范畴，如正义、公正、法治、数据保护和隐私、透明性、非歧视和公平等。

  2019年美国国防部发布了《人工智能原则：国防部人工智能应用伦理的若干建议》采取了“负责、公平、可追踪、可靠、可控”五大原则。[67]

  2019年经济合作与发展组织在《关于贸易和数字经济的g20部长声明》中即提出了五项法律原则建议，包括（1）包容性增长、可持续发展及人类福祉；（2）以人为本的价值观和公平；（3）透明度和可解释性；（4）稳健性、信息安全性和物理安全性；（5）问责制。其中，以人为本是最近根本的原则，主要指“人工智能各参与方应在整个人工智能系统生命周期中，尊重法治、人权和民主价值的原则。这一原则包括自由与尊严；自治与隐私；数据保护与不歧视；平等、多样性、公平与社会正义；国际公认的劳工权利。为此，人工智能各参与方应基于当前的技术水平与现实情况，采取恰当的机制与保障措施，如保留人类自主决定的能力。”[68]

  此外，在具体的人工智能领域中，亦遵循人工智能立法的价值原则。2018年，欧盟《关于在司法系统及其环境中使用人工智能的欧洲伦理宪章》规定的原则包括，（1）在设计和实施过程中尊重基本权利；（2）在处理司法判决和数据公开的质量和安全；（3）在用户控制下的公正和公平等。[69]2018年墨西哥政府规定，使用人工智能系统应遵循透明度、隐私保护、非歧视等原则。2020年美国华盛顿州《面部识别法》更以保障公平公正为价值诉求。

  三、基于数据要素利用的新型权利义务

  在域外法中，数据权利的典型代表首属2018年生效的欧盟《一般数据保护条例》。该法在第三章“数据主体权利”中确立了数据主体的知情权、访问权、更正权、删除权（“被遗忘权”）、限制处理权、数据携带权、反对权等权利。其中，第21条与第22条“反对的权利和自动化的个人决策”与人工智能应用密切相关。数据主体有权根据该条款，反对用户画像。数据处理者除非有法定的正当事由，否则必须尊重数据主体的这一新型权利。[70]

  欧盟《一般数据保护条例》第21条第1款明确规定，“对于根据第6（1）条（e）或（f）点而进行的关乎数据主体的数据处理，包括根据这些条款而进行的用户画像，数据主体应当有权随时反对。控制者应当不再处理个人数据，除非控制者证明，相比数据主体的利益、权利和自由，具有压倒性的正当理由需要进行处理，或者处理是为了提起、行使或辩护法律性主张。”第22条“自动化的个人决策，包括用户画像”进一步明确规定：

  “（1）数据主体应当有权不被仅仅靠自动化处理——包括用户画像——来对其做出对数据主体产生法律影响或类似严重影响的决策。

  （2）当决策存在如下情形时，第1段不适用：

  (a) 当决策对于数据主体与数据控制者的合同签订或合同履行是必要的；

  (b) 当决策是欧盟或成员国的法律所授权的，控制者是决策的主体，并且已经制定了恰当的措施保证数据主体的权利、自由与正当利益；或者

  (c) 当决策建立在数据主体的明确同意基础之上。

  （3）在第2段所规定的（a）和（c）点的情形中，数据控制者应当采取适当措施保障数据主体的权利、自由、正当利益，以及数据主体对控制者进行人工干涉，以便表达其观点和对决策进行异议的基本权利。

  （4）第2段所规定的决策的基础不适用于第9（1）条所规定的特定类型的个人数据，除非符合第9（2）条（a）点或（g）点的规定，并且已经采取了保护数据主体权利、自由与正当利益的措施。” [71]

  此外，从该条规定以及《一般数据保护条例》的序言条款出发，“算法解释权”作为一种新型权利亦被提出。2018年欧盟第29条工作小组通过《监管目的的自动化个人决策和分析指南》指出，用户可依算法解释权要求数据制造者对相关自动决策进行解释。数据制造者无须对算法内部机制进行解释，只需要根据“若非a则无b”的反事实，以一个“没有受过教育的门外汉”能理解的标准，通过简洁、透明、易懂和容易取得的形式进行解释。[72]与欧盟类似，2020年生效的美国《加州消费者隐私法》，也是采取了强监管模式进行个人信息保护。值得注意的是，为了促进数据自由流动，2018年欧盟通过了《非个人数据自由流动框架条例》。

  与上述自动化决策的拒绝权相对应，欧盟《一般数据保护条例》明确要求数据控制者在收集数据时向数据主体告知以下信息“人工智能自动化决策的存在、有关自动化决策内部逻辑的有意义信息、对数据主体的重要意义和设想的后果”，并且鼓励数据控制者向数据主体解释某项人工智能自动化决策的具体原因（与前述算法解释权相对应）。[73]与之类似，在算法透明义务上，2016年法国《数字共和法》规定了使用自动化决策的行政机关和数字平台运营者的透明度义务。[74]

  此外，部分国家和地区在人工智能权利议题上走得更远，试图赋予人工智能法律主体地位。2016年欧盟法律事务委员《就机器人民事法律规则向欧盟委员会提出立法建议的报告草案》。2017年欧洲议会通过《机器人民事法律规则》立法倡议决议，向欧盟委员会推荐了机器人和人工智能领域的一系列立法和非立法倡议。建议委员会考虑“从长远角度为机器人赋予明确的法律地位，这样至少可以确定最先进的自主机器人拥有电子人的地位，可以对其可能造成的任何损害负责，也可能将电子人格适用于涉及到机器人自主做决定或独立与第三方交互的案件。”[75]与之类似，部分国家涌现了一些主张赋予高度自动化的“电子人”以法律主体地位的法律议案，如2017年爱沙尼亚《人工智能法案》、2017年俄罗斯《格里申法案》以及2018年韩国《机器人法案》。

  四、新型的监管框架与完善的自律机制

  （一）人工智能的监管框架

  近年来，各国政府先后设立了相关人工智能监管机构，形成了各具特色的新型监控框架。通过创设相关专门监管机构，监督人工智能技术应用，规范人工智能的健康发展。[76]

  此外，国际标准化组织（iso）、国际电工委员会（iec）、电器和电子工程师协会（ieee）亦发布的系列标准，对人工智能监管框架的形成亦具重要意义。如《iso/iec 20005》（2013）关于传感器网络的标准、《iso/iec 30122》（2016）关于人机交互的标准、《ieee p7000》（2016）关于系统设计期间解决伦理问题的模型标准、《ieee p7001》（2016）关于自主系统的透明度标准、《ieee p7002》（2016）关于数据隐私处理的标准、《ieee p7003》（2017）关于算法偏差主义事项的标准、《ieee p7006》（2017）关于个人数据的人工智能代理标准、《iso/iec 19944》（2017年）关于云计算的标准等等。

  （二）人工智能的自律机制

  上述标准对人工智能自律机制的塑造具有积极意义。目前，发达国家已经形成了一套相对完善的企业自主规制模式。2017年美国计算机协会即发布《算法透明和可责性声明》，在充分认识算法歧视、明确数据来源、提高可解释性与可审查性、建立严格的验证测试机制等方面发布了自律守则：

  “（1）认识：分析系统的拥有者、设计者、建设者、使用者和其他利益攸关方应认识到分析系统的设计、实施和使用中可能存在的偏见，以及偏见对个人和社会可能造成的危害。

  （2）获取和补救：监管机构应鼓励采用能够对受到算法知情决策不利影响的个人和群体进行质疑和补救的机制。

  （3）问责制：即使无法详细解释算法如何产生结果，各机构也应对其使用的算法做出的决定负责。

  （4）解释：鼓励使用算法决策的系统和机构就算法所遵循的程序和所做出的具体决定做出解释。这在公共政策背景下尤为重要。

  （5）数据证明：算法的构建者应保留对训练数据收集方式的描述，同时探讨人为或算法数据收集过程所引起的潜在偏差。对数据的公开审查为修正提供了最大的机会。然而，对隐私、保护商业机密的担忧，或可能让恶意行为者对系统进行游戏的分析结果的披露，可以证明限制对合格和授权的个人的访问是合理的。

  （6）可审计性：模型，算法，数据和决策应该被记录下来，以便在怀疑有危害的情况下可以进行审计。

  （7）验证和测试：机构应使用严格的方法来验证其模型，并记录这些方法和结果。特别是，它们应该定期进行测试，以评估和确定该模型是否产生歧视性伤害。鼓励各机构公布此类测试的结果。” [77]

  此外，电器和电子工程师协会（ieee），亦发布了一系列标准指引，如2016年《ieee p7000》系统设计期间解决伦理问的模型标准、《ieee p7001》自主系统的透明度标准、《ieee p7002》数据隐私处理的标准，2017年《ieee p7003》算法偏差主义事项、《ieee p7006》个人数据人工智能代理标准，以及前述2019年《合伦理设计》等等。在相关标准与自律守则的指引下，ibm、索尼、谷歌、微软、deepmind等企业亦发布了人工智能准则。

第三节  人工智能风险防控与责任承担机制

  一、基于风险的分析路径

  （一）数据保护中的风险控制机制

  基于风险的分析路径（risk-based approach）常见于数据保护制度之中。实际上，欧盟《一般数据保护条例》即采取了基于风险的路径（risk-based approach），将风险识别贯穿于控制者责任、数据处理安全的规定之中。强调评估“不同概率和程度的风险”的重要性（第24条第1款），要求数据处理保证“风险相称的安全水平”（第32条第1款）。同时，对隐私影响评估制度进行了详尽的规定。该法强调了风险评估考虑的因素、应对措施、安全性等方面，并指出风险评估应该贯穿于数据处理活动始终，当处理操作所带来的风险存在变化时，应重新评估（第35条）。第24条（控制者的责任）第1款明确规定“在考虑了处理的性质、范围、语境与目的，以及考虑了处理对自然人权利与自由所带来的不同概率和程度的风险后，控制者应当采取恰当的技术与组织措施，保证处理符合本条例规定的，并且能够证明处理符合本条例规定。必要时，这些措施应当被审查。”第32条（数据处理安全）第1款亦是明确规定了风险评估考虑的因素：“在考虑了最新水平、实施成本、处理的性质、处理的范围、处理的语境与目的之后，以及处理给自然人权利与自由带来的伤害可能性与严重性之后，控制者和处理者应当采取包括但不限于如下的适当技术与组织措施，以便保证和风险相称的安全水平：(a)个人数据的匿名化和加密；(b)保持处理系统与服务的保密性、公正性、有效性性以及重新恢复的能力；(c)在遭受物理性或技术性事件的情形中，有能力恢复对个人数据的获取与访问；(d)具有为保证处理安全而常规性地测试、评估与评价技术性与组织性手段有效性的流程。”第35条“数据保护影响评估”在风险评估层面，进行了详尽的规定：

  “（1）当某种类型的处理——特别是适用新技术进行的处理——很可能会对自然人的权利与自由带来高风险时，在考虑了处理的性质、范围、语境与目的后，控制者应当在处理之前评估计划的处理进程对个人数据保护的影响。评估可以对带来高风险的一系列类似的处理进程进行评估。

  （2）如果控制者已经委任数据保护官，当其进行数据保护影响评估时，控制者应当向数据保护官进行咨询。

  （3）在如下情形中，第1段所规定的数据保护影响评估是尤其必须的：

  (a) 对与自然人相关的个人因素进行系统性与全面性的评价，此类评价建立在自动化处理——包括用户画像——基础上的，并且其决策对自然人产生法律影响或类似重大影响；

  (b) 以大规模处理的方式处理第9（1）条所规定的特定类型的数据，或者和第10条规定的定罪与违法相关的个人数据；或者

  (c) 以大规模的方式系统性地监控某个公众可以访问的空间。

  （4）监管机构应当建立并公开一个列表，列明符合第1段所要求的数据保护影响评估的处理操作的类型。监管机构应当将此类列表告知第68条所提到欧盟数据保护委员会。

  （5）监管机构还可以建立一个公开性的列表，列明符合不需要进行数据保护影响评估的处理操作的类型。监管机构应当将此类列表告知欧盟数据保护委员会。

  （6）在设置第4段与第5段所规定的列表之前，当此类列表涉及到为数据主体提供商品或服务，或者涉及到对多个成员国行为的监管，或者可能实质性地影响欧盟内部个人数据的自由流动，有职权的监管机构应当首先适用第63条所规定的一致性机制。

  （7）评估应当至少包括：

  (a)对计划的处理操作和处理目的的系统性描述，以及——如果适用的话——对控制者所追求的正当利益的描述；

  (b)对和目的相关的处理操作的必要性与相称性进行分析；

  (c)对第1段所规定的给数据主体的权利与自由带来的风险的评估；

  (d)结合数据主体和其他相关个人的权利与正当利益，采取的计划性风险应对措施，包括保障个人数据保护和证明遵循本条例的安全保障、安全措施和机制。

  （8）评估相关控制者或处理者的处理操作的影响时，特别是评估数据保护影响时，应当合理考虑其对第40条所规定的已生效的行为准则的遵守。

  （9）在合适的情形下，如果其不影响保护商业或公共利益或处理操作的安全性，控制者应当咨询数据主体或数据主体代表对于其预期处理的观点。

  （10）当基于第6（1）条（c）或（e）点而进行的处理符合欧盟或成员国为控制者制定涉及到处理操作的法律，并且在制定其法律基准时已经进行了作为一般性影响评估一部分的数据保护影响评估时，第1至7段不应当适用，除非成员国认为，有必要在处理活动前进行此类评估。

  （11）必要时，控制者应当进行核查，评估处理是否是符合数据保护影响评估，至少当处理操作所带来的风险存在变化时，应进行核查。” [78]

  实际上，在事先预防机制中，“自设计保护隐私”（又译“个人信息保护的设计路径”，privacy by design）是当下较为流行的路径。自1995年荷兰数据保护局的报告《隐私增强技术：通往匿名之路》以来，“自设计保护隐私”的概念日益流行，这一概念指的是应自信息系统设计时即应从开端设计隐私保护机制以避免日后昂贵的更正成本。[79]

  2017年欧盟《大数据时代个人信息处理指引》亦指出，数据制造者应针对数据处理的不同阶段采用相应的凯时k66的解决方案，仔细考虑算法设计，尽量减少冗余数据存在，避免潜在的数据偏见或歧视。[80]《一般数据保护条例》第25条更是规定了“通过设计的数据保护和默认的数据保护”：

  “（1）在考虑了最新水平、实施成本、处理的性质、处理的范围、处理的语境与目的，以及处理给自然人权利与自由带来的伤害可能性与严重性之后，控制者应当在决定处理方式时和决定处理时应当采取合适的技术与组织措施，并且在处理中整合必要的保障措施，以便符合本条例的要求和保护数据主体的权利。例如，控制者可以采取匿名化，一种设计用来实施数据保护原则——比如数据最小化原则——的措施。

  （2）控制者有责任采取适当的技术与组织措施，以保障在默认情况下，只有某个特定处理目的所必要的个人数据被处理。这种责任适用于收集的个人数据的数量、处理的限度，储存的期限以及可访问性。尤其需要注意的是，此类措施必须确保，在默认情况下，如果没有个体介入，个人数据不能为不特定数量的自然人所访问。

  （3）根据第42条的某种已生效的认证机制，可以被用来证明本条第1段和第2段所规定的合规要求。” [81]

  （二）算法规制下的风险控制机制

  实际上，在人工智能第三次浪潮兴起之前，部分行业法规已经引入算法规制下的风险控制机制。如2014年欧盟《金融供给市场指令2》第17条即明确要求建立有效的系统和风险控制，并要求向监管部门披露相关算法交易系统的信息。[82]随着人工智能技术的深化和推广，基于算法规制的风险控制机制日益增多。2018年欧盟《人工智能与数据保护：调整与回应》的报告指出，风险最小化的算法设计应被广泛适用到所有与用户权利有关的风险评估中，而不应限于个人信息保护领域。也就是说，必须在算法设计中贯彻用户权利保障优先的理念，将监管与责任延伸至算法设计之中，并对算法进行相应的风险评估。2019年欧洲议会未来与科学和技术小组发布《算法责任与透明治理框架》，该报告指出：对于政府和公共部门使用的算法系统，可考虑建立“算法影响评估”机制；但不宜针对商业领域的所有算法系统应用都建立算法影响评估机制。[83]具体而言，对于何为高风险，2019年美国《算法问责法案》通过第二节第7条与第8条分别界定了“高风险自动化决策系统”与“高风险信息系统”。[84]2020年欧盟《人工智能白皮书》对高风险的人工智能进行界定，其认为“应同时根据其所属行业部门及预期用途，衡量人工智能应用是否存在高风险，特别是危及安全保障、消费者权利保护和基本权利的风险。” [85]2020年新西兰政府发布《算法宪章》更是通过量化意外不良后果的可能性（相对于其相对影响程度）来得出整体风险水平，构建风险矩阵对其算法决策进行评估。[86]

  具体而言，对于何为高风险，2019年美国《算法问责法案》通过第二节第7条与第8条分别界定了“高风险自动化决策系统”与“高风险信息系统”：

  “第7条 高风险自动决策系统

  ‘高风险自动决策系统’是指一种自动决策系统，它：

  （1）考虑到所使用的技术的新颖性以及自动决策系统的性质、范围、背景和目的，在下列方面将构成重大风险：

  1.对消费者的个人信息隐私或安全构成影响；或

  2.导致或促成影响消费者的不准确、不公平、有偏见或歧视性的决定。

  （2）根据对消费者的系统和广泛的评估，包括试图分析或预测其生活的敏感方面，如其工作表现、经济状况、健康、个人偏好、兴趣、行为、位置或动向，做出决定或协助人类做出决定，而这些决定：

  1.改变消费者的合法权利；或

  2.以其他方式对消费者产生重大影响。

  （3）涉及大量消费者的种族、肤色、国籍、政治观点、宗教、工会成员、基因数据、生物识别数据、健康、性别、性别认同、性行为、性取向、犯罪记录或逮捕等个人信息。

  （4）系统地监测一个大型的、可供公众访问的物理场所；或

  （5）符合委员会根据第3(b)(1)条发布的任何其他标准。

  第8条 高风险信息系统

  ‘高风险信息系统’指符合以下条件的信息系统：

  （1）考虑到所使用的技术的新颖性，以及信息系统的性质、范围、背景和目的，对消费者个人信息的隐私或安全构成重大风险的；

  （2）涉及大量消费者的种族、肤色、国籍、政治观点、宗教、工会成员、基因数据、生物识别数据、健康、性别、性别认同、性行为、性取向、刑事定罪或逮捕等个人信息。

  （3）系统地监测一个大型的、可供公众访问的物理场所；或

  （4）符合委员会根据第3(b)(1)条发布的任何其他标准。”

  与之类似，2020年欧盟《人工智能白皮书》对高风险的人工智能进行界定，其认为“应同时根据其所属行业部门及预期用途，衡量人工智能应用是否存在高风险，特别是危及安全保障、消费者权利保护和基本权利的风险。”在同时满足以下两个标准的情况下，人工智能应用应视为高风险：

  “（1）考虑到通常进行的活动的特征，人工智能应用所属的行业一般预期会发生重大风险。第一个标准确保监管干预针对的是一般而言被认为最有可能发生风险的领域或行业。因而所涵盖的部门应在新的监管框架中明确而详尽地列出。例如，医疗保健、运输、能源和部分公共部门。行业清单应定期进行审查，并根据实际情况在必要时加以修订。

  （2）因人工智能在相关领域的应用的预期使用方式可能会产生重大风险。第二个标准反映了这样一种认识，即并非在选定行业中每次使用人工智能都必然涉及重大风险。例如，虽然医疗保健通常可能是一个高危行业，但医院预约排期系统的 缺陷通常不会造成重大意义的风险，因而没有理由进行立法干预。对特定使用的风险水平的评估可以基于对关系人的影响。例如，使用人工智能应用对个人或公司的权利会产生法律或类似重大影响的；会造成受伤，死亡或重大财产或精神损害的风险的；会产生个人或法人无法合理避免的效果的等等。” [87]

  同时，该白皮书还指出：“鉴于对个人的重要性以及欧盟关于就业平等的规定，在招聘过程中以及在影响雇员权利的情况下使用人工智能应用将无例外地被视为‘高风险’……远程生物特征识别和其他侵犯私领域的监视技术的人工智能应用将始终被认定为‘高风险’”。[88]

  2020年新西兰政府发布《算法宪章》，旨在为政府机构使用算法提供提供指导。宪章签署方将使用下面的风险矩阵对其算法决策进行评估。这通过量化意外不良后果的可能性（相对于其相对影响程度）来得出整体风险水平，从而支持他们的评估。风险评级决定了宪章的适用范围。[89]《算法宪章》中的风险矩阵如下图：

  可能性：

  风险水平

  二、可问责性与责任的分配

  算法的可问责性是责任机制的前提。2017年美国计算机协会《算法透明和可责性声明》指出“即使无法详细解释算法如何产生结果，各机构也应对其使用的算法做出的决定负责。” [90]美国权威科技创新智库数据创新中心2018年发布的《政策制定者如何推动算法问责》报告中，亦提出了算法问责框架，旨在不牺牲数字经济发展的前提下控制算法风险的凯时k66的解决方案。报告指出，在大多数情况下，市场力量有能力阻止大部分有缺陷的人工智能算法产生，监管机构无需对算法进行干预；只有当算法应用带来的潜在危害较大，并足以动用监管审查时，才会触发算法问责。2019年欧洲议会未来与科学和技术小组在《算法责任与透明治理框架》中提出引入公共部门使用算法决策的责任制，为公权力领域算法透明和问责制定了政策框架。[91]

  在可问责性下，人工智能责任框架被进一步提出。2020年欧盟委员会《人工智能、物联网和机器人技术对安全和责任框架的影响》报告即指出了“新兴技术降低责任框架有效性、产品、服务和价值链的复杂性增加索赔难度、连接性和开放性对网络安全义务提出挑战、自主性和不透明性造成索赔困难”四个方面的责任难题。[92]2019年电气和电子工程师学会《合伦理设计》给出了人工智能法律责任的建议：（1）设计人员采用身份标签；（2）确保ai系统不被滥用；（3）较低的必要举证标准；（4）ai公司制定政策；（5）不自动将责任划归给启动ai的人。[93]具体而言，在人工智能应用的各类场景中，责任的要求亦日益显著。例如，2018英国《自动化与电动化汽车法》明确自动驾驶汽车发生事故后，可根据车辆的投保情况由保险公司以及车主来承担事故损失带来的赔偿责任。2018年日本政府亦提出自动驾驶事故损失应继续使用《机动车损害赔偿保障法》中对民事责任的要求。2019年瑞典数据保沪机构因一所中学违规利用人工智能技术收集学生生物识别信息，违反了《一般数据保护条例》第5条数据最小化原则以及第6条数据处理合法性原则，而判处2万欧元罚款。此外，包括但不限于欧盟《医疗器械法》《网络和信息系统安全指令》《金融供给市场指令2》《不公平商业行为指令》等系列欧盟立法亦适用于判断不同应用场景中的人工智能责任。

第三章  我国人工智能立法的方法思路

  当今，人工智能的技术发展已经走在了前面，而相关产业政策的落地运用，亟需立法保障与助推。唯有通过立法破解产业发展瓶颈，才能促进人工智能产业的转型升级。具体而言，课题组认为，必须在借鉴域外先进经验的基础上，把握中国特色，逐步推进我国人工智能立法和上海的地方立法。

第一节  把握中国特色，明确目标定位

  一、促进创新特色：针对人才资源缺口、产业扶持制度瓶颈进行立法

  当前，人工智能产业技术创新与产业发展是人工智能法律与政策关注的重点。2020年《欧盟人工智能白皮书》即强调，建立适当的激励机制培育人工智能产业发展，为整个欧洲社会和经济带来技术效益。[94]以自动驾驶为例，为了促进相关产业的健康发展，西方国家已经通过了一系列立法，解决了自动驾驶技术创新与产业发展所面临的制度障碍。

  党的十八大以来，习近平总书记高度重视人工智能发展，多次谈及人工智能重要性。在新一代人工智能技术的运用发展中，相关法律问题逐渐涌现。人工智能产业面临着数据合规、产权归属、责任承担困境，地方政府亦面临着算法监管和产业政策的风险与问题。这些问题在本质上均是源于立法的缺失，是制约人工智能产业创新发展的一个主要瓶颈。

  一方面，就人才问题来看，我国人工智能产业所面临的显著问题即人才流失严重。与互联网企业相比，人工智能制造业缺乏竞争优势，人才流失严重，急需政策倾斜。因此，在人工智能立法，尤其是人工智能的地方制度建设中，应针对人才培育、人才落户、人才计划等方面形成激励措施，构建人工智能产业的人才保障体系。另一方面，就产业扶持制度来看，碍于基层政府的权限范围，当前大量支持政策仍高度集中在特定产业基地的具体应用场景之中。如2020年洞泾镇为建设g60科创走廊颁布的《g60科创走廊洞泾人工智能产业基地（核心区）高质量发展扶持奖励实施办法》，即集中关注招商引资问题。[95]通过这些层级较低的政策或规范性文件，实际上仍无法解决产业界所关注的许多问题。因此，应针对我国人工智能产业应用的特殊场景，通过更高层次的立法，解决人工智能产业发展中最为关注的人、财、物保障问题。

  二、权利保护特色：以数据、算法、责任为核心，构建人工智能的监管体系

  针对人工智能所带来的个人数据、隐私、非歧视、安全性和责任等问题，各国分别提出了捍卫个人权利的制度目标，致力建立适当的人工智能伦理和法律框架，尊重个人权利、回应社会关切、塑造数字正义。

  当前，我国企业对数据、算法的保护需求均植根于劳动赋权的论证基础上。多数企业认为，其对数据、算法付出了劳动，因此需要受到保护。对于企业数据产权与个人信息保护之间存在的张力，我国企业亦初步建立了自律机制以确保数据安全。然而，人工智能的保护体系部门、责任体系不清、监管主体多元，仍使得产业界无所适从。对此，我国人工智能立法应从数据、算法、责任等方面建立相应的规制机制。明确要求企业遵循个人信息保护规范，落实重要数据保护、公共数据开放、数据资源交易制度，引入算法解释与算法审计要求，确立相应的行政责任，利用“监管沙盒”或“安全港”推动先行先试，并成立人工智能监管委员会实现综合监管。

  三、立法定位特色：推进中观层面的人工智能立法

  人工智能立法可分为宏观、中观与微观三个层面。宏观层面主要是原则框架性的制度安排，微观层面则是体系性的、细致的具体规范设定。人工智能地方立法应定位在处于二者之间的中观层面。目前我国已经在宏观与微观两个层面不断推进人工智能相关立法，中观层面的立法尚未被提出。至少，在地方立法层面，适宜采取中观的立法定位，既有宏观的原则性框架，亦能涵摄人工智能的各个方面，与既有的人工智能微观立法形成良性互动。以上海为例，当前上海已经形成关于自动驾驶、智慧城市、智慧政务、智慧医疗、创新试验区等系列规范性文件。同时，亦建成了张江高科技园区、g60创新走廊、马桥人工智能创新试验区等创新基地，并给予了大量的政策支持。这些为上海人工智能立法奠定了良好规范基础，是人工智能立法的微观层面支撑。

第二节  把握时代脉搏，回应基本问题

  一、厘清人工智能的规范定义

  虽然，我国并未直接在法律文本中对人工智能进行界定。但在规范性文件，却不乏相关定义。早在2012年，国家粮食局在《粮油仓储信息化建设指南（试行）》（现已失效）中即明确表明：“人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以与人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。”[96]随后，该定义被2013年《加快推进传感器及智能化仪器仪表产业发展行动计划》所沿用。[97]然而，该定义较为模糊，其仅仅在计算机科学分支的基础上描述人工智能的表面特征，将易于混淆人工智能与自动化的关系。

  借鉴域外的经验，人工智能的定义应是由算法与数据出发的类型化、场景化定义。对此，可结合2018年国家人工智能标准化总体组、中国电子技术标准化研究院发布的《中国人工智能标准化白皮书》中人工智能的定义与2017年国务院《新一代人工智能发展规划》在列举的人工智能应用类型，分别对人工智能与人工智能产业进行界定。人工智能采取《中国人工智能标准化白皮书》的定义，即“利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。”[98]人工智能产业即，《新一代人工智能发展规划》所概括的“智能软硬件、智能机器人、智能运载工具、虚拟现实与增强现实、智能终端、物联网基础器件”等产业。[99]同时，在地方立法中，可借鉴《广州南沙新区(自贸片区)促进人工智能产业发展扶持办法》的规定，将人工智能产业进一步限缩为，经地方政府认定的相关产业。[100]

  二、凝聚人工智能的伦理准则与规制原则共识

  人工智能立法应坚持特定的价值目标，世界范围内已经形成一定共识，可资借鉴。结合域外相关经验，人工智能立法需要坚持的伦理准则至少还包括人类利益、责任、透明性、教育原则。必须从保障人类利益、尊重人的尊严出发，研究人工智能的相关制度。

  2019年上海市法学会、上海市计算机学会发布了《人工智能创新治理上海宣言》在伦理责任、安全责任、法律责任、社会责任司法方面勾勒了人工智能创新治理的价值原则，包括明确用户权属，加强隐私保护、安全、稳健、可审计、可追溯、数字福祉等方面。其中，伦理责任即包括：（1）隐私保护；（2）多样公平；（3）道德规范。[101]

  2019年中国国家新一代人工智能治理专业委员发布《新一代人工智能治理原则—发展负责人的人工智能》即从“确保人工智能安全可靠可控，推动经济、社会及生态可持续发展，共建人类命运共同体”的高度，确立人工智能的发展原则：（1）和谐友好；（2）公平公正；（3）包容共享；（4）尊重隐私；（5）安全可控；（6）共担责任；（7）开放协作；（8）敏捷治理。[102]

  参照上述原则，我国人工智能立法至少应明确个人权利保护原则与责任原则。个人权利保护原则指，人工智能发展应以人为本，尊重和保护个人权利，尤其注重个人信息和隐私保护。以个人信息保护为例，即充分保障个人的知情权和选择权；在个人信息的收集、存储、处理、使用等各环节应设置边界，建立规范；完善个人信息授权撤销机制，反对任何窃取、篡改、泄露和其他非法收集利用个人信息的行为。责任原则指，建立人工智能问责机制，明确研发者、使用者和受用者等的责任。人工智能应用过程中应确保人类知情权，告知可能产生的风险和影响。防范利用人工智能进行非法活动。

  三、塑造新型权利义务：以个人信息保护为例

  （一）个人信息权利

  人工智能时代生成了大量新型权利，其中在个人信息保护、数据权利、互联网消费者权利等方面我国已有一定的法律回应。

  1.个人信息保护。就个人信息保护而言，自2009年“刑法修正案（七）”增加了出售、非法提供公民个人信息罪、非法获取公民个人信息罪以来，2015年“刑法修正案（九）”、2012年《关于加强网络信息保护的决定》、2013年《消费者权益保护法》新增第29条、2016年《网络安全法》第四章、2017年《民法总则》第111条等系列规定在确立我国个人信息保护体制的同时，形成了个人信息的权利保护框架。《民法典》立法过程中，围绕个人信息究竟是否一项民事权利的问题，引发了较大的争议与讨论。最终《民法典》并没有在相关条文中明确表示个人信息属于权利。对此，有学者认为，民法典最终采取了个人信息权益保护的方案。实际上，从《民法典》第1034到1039条的具体条文来看，虽然没有加入“权利”的字样，但仍采取了绝对权保护模式，构建民法上的个人信息保护制度。其中，第1037条直接赋予了信息主体查阅、复制、更正和删除的权利：“自然人可以依法向信息处理者查阅或者复制其个人信息；发现信息有错误的，有权提出异议并请求及时采取更正等必要措施。自然人发现信息处理者违反法律、行政法规的规定或者双方的约定处理其个人信息的，有权请求信息处理者及时删除。”然而，《民法典》的相关规定存在个人信息与隐私混淆、保护原则粗放、合法处理与免责条件不周延、过分强调知情同意、未明确个人信息保护模式与保护机构等问题，在一定程度上掣肘《个人信息保护法》的制订，影响其科学性、合理性。有学者指出，个人信息保护是独立的制度，不宜作为民事权利进行规定。实际上，一个制度是不是独立的制度，是不是公法权利，并不影响其成为一项民事权利。个人信息的公法与私法属性，需在权利理论下作进一步研究。在此基础上，可进一步扩展数据主体的具体权利，如删除权（被遗忘权）、数据可携带权、算法解释权等。

  近日，第十三届全国人大常委会第二十二次会议对《中华人民共和国个人信息保护法（草案）》进行了审议，该立法草案进一步明确列举了“知情权、决定权、查询权、更正权、删除权等”信息主体权利。《个人信息保护法》所塑造的新型权利义务体系，系我国人工智能立法体系的核心环节之一。随着信息革命到来，《个人信息保护法》的制定更是大势所趋。在信息社会中，这部法律将处于基础性地位，系数据领域的基本法。该法融合兼顾了私法和公法的保护路径，从体系性的角度对于重要的权利提供多维度的保护。当前，《中华人民共和国个人信息保护法（草案）》已较为成熟，至少有以下几个亮点：一定的域外效力、促进个人信息依法自由流动的立法目的、较为符合国际潮流的立法基本原则、自动化决策的拒绝权等。然而，在个人信息保护法对信息权利义务关系的塑造中，必须把握以下内容：（1）妥善处理《个人信息保护法》与《民法典》的关系，构建个人信息权利体系；（2）进一步厘清基本范畴，对个人信息、匿名信息、信息处理者等基本概念进行科学界定；（3）突破告知同意的处理规则的局限，实现类型化、场景化的个人信息保护；（4）完善自动决策条款与算法义务；（5）关注个人信息保护的设计路径；（6）明确监管框架与法律责任。对于相关问题，应进一步加强研究，助益于推进个人信息保护立法。

  （二）个人信息保护义务

  与权利规定对应，我国也构建了新型的义务规定。其中，个人信息保护义务属于典型。不仅《网络安全法》充斥着大量与网络运营者、关键信息基础设施运营者有关的义务性规定，《民法典》亦强调信息处理者的义务。如《民法典》第1035条规定：

  “处理个人信息的，应当遵循合法、正当、必要原则，不得过度处理，并符合下列条件：

  （一）征得该自然人或者其监护人同意，但是法律、行政法规另有规定的除外；

  （二）公开处理信息的规则；

  （三）明示处理信息的目的、方式和范围；

  （四）不违反法律、行政法规的规定和双方的约定。

  个人信息的处理包括个人信息的收集、存储、使用、加工、传输、提供、公开等。”

  《民法典》第1038条规定：

  “信息处理者不得泄露或者篡改其收集、存储的个人信息；未经自然人同意，不得向他人非法提供其个人信息，但是经过加工无法识别特定个人且不能复原的除外。

  信息处理者应当采取技术措施和其他必要措施，确保其收集、存储的个人信息安全，防止信息泄露、篡改、丢失；发生或者可能发生个人信息泄露、篡改、丢失的，应当及时采取补救措施，按照规定告知自然人并向有关主管部门报告。”

  四、构建风险控制机制：以算法规制为例

  2019年国家人工智能标准化总体组《人工智能伦理风险分析报告》注意到算法安全、算法可解释性、算法决策困境、算法歧视、算法滥用等风险。该报告建议，从个人敏感信息处理的审慎性与隐私保护的充分性两个方面评估数据风险，通过风险管理框架、风险管理流程、人员培训与定期风险评估四个方面实现风险控制。[103]其中，人工智能企业风险管理流程图为：

  事实上，算法规制是一项系统而复杂的长期工程。一个简单的算法应用场景中就至少涉及算法开发者、部署者、使用者等多个主体和多项法益。不同的算法运行场景也意味着不尽一致的算法规制要求。因此，还需建立一种具有动态性、精准性、场景性的算法规制机制，打破单一治理框架和多元应用场景之间、技术复杂性和动态性与治理规范的稳定性和普遍性之间的紧张内核。

  算法破除了个人与社会互动的传统联结，构筑新型互动纽带，作为社会底层架构逐渐涌现。算法对社会不断重建的过程中，个性化、效率性的增加还伴随着多元风险性，降低了透明度和可控性，导致“黑箱社会”的形成。当出现不良影响时大多通过事后逆向工程的方法予以评估，不仅准确性难以保证，还侵蚀了决策的合法性和正当性。算法影响评估制度采用全周期视角，以中立、专业、可信的评估主体为保证，对算法设计、部署、运行的全部流程予以动态评估，要求算法系统在用于商业以及政府实体前就进行独立的社会技术分析。其犹如一把利剑，精准刺破黑箱社会的神秘面纱，创制合理的算法透明度并构筑算法信任。在算法规制领域，算法影响评估制度还是场景化、精准化算法治理框架构建的核心实现路径，可以帮助开发者、设计者、部署者以及公众等多方利益相关主体清晰理解算法设计与应用程序所应配备的治理和监管要求，构建具有针对性、精准化和场景化的算法规制框架。因此，应结合我国人工智能产业发展和规制现状、算法技术运行逻辑和制度设计内在机理，从应用领域、协调机制、评估标准和评估工具等视角构造算法的风险控制机制。

  具体而言，随着算法在各个场景中的应用，算法的风险防控机制可进一步具体化。参照欧盟《大数据时代个人信息处理指引》，数据制造者应针对数据处理的不同阶段采用相应的凯时k66的解决方案，仔细考虑算法设计，尽量减少冗余数据存在，避免潜在的数据偏见或歧视。且在算法使用之前对其采取充分的风险评估，尽量减轻潜在的负面影响。[104]同时，风险最小化的算法设计应被进一步广泛适用到所有与用户权利有关的风险评估中，而不应限于个人信息保护领域。也就是说，必须在算法设计中贯彻用户权利保障优先的理念，将监管与责任延伸至算法设计之中，并对算法进行相应的风险评估。未来必须进一步研究加强算法保密性、构建安全防护措施、设立应急系统等具体技术方法减少算法安全风险。

  五、明确致害责任：以自动驾驶为例

  除个人信息保护、网络管理的相关规定外，我国尚未确立针对人工智能致害的法律责任体系。然而，人工智能的法律责任，尤其是人工智能产品致害的责任对现有法律框架构成了不容忽视的挑战。自动驾驶事故责任是典型的人工智能致害责任。人工智能的法律地位判断是回应此问题的出发点。

  虽然，域外出现了一些赋予人工智能主体地位的建议，但这些建议均未被立法所正式采纳。沙特赋予“索菲亚”机器人以公民身份、日本给“帕罗”机器人登记户籍本质上都属于宣传目的，并不具有法律意义。在法律人格理论层面上，“法律人格扩展论”的主张不合法理。在人工智能技术层面上，“人工智能发展论”的幻想不切实际。在人工智能法律人格制度设想层面上，“有限人格论”的设想无法操作。唯非主体式的代码规制路径，方可正确应对人工智能时代的法律挑战。[105]即以自动驾驶为代表的人工智能本身，并非责任承担主体，人工智能责任须落于人工智能的生产者、控制者、设计者之中。

  就刑事责任而言，自动驾驶事故主要涉及过失犯罪问题，本质是违反注意义务。应根据结果预见义务和结果回避义务的判断，明确自动驾驶汽车的驾驶人未尽到合理注意义务的过失责任、制造单位生产的对缺陷产品所承担产品质量相关的刑事责任、使用人所担监管过失责任。自动驾驶刑事责任问题实际上属于法律适用问题，不涉及人工智能立法。

  就民事责任而言，则有参照代理规则、参照动物侵权责任、参照雇主责任、监护人责任、电梯侵权规则、核事故侵权规则、专项基金赔付等多种学说。本质上来说，这些理论均属于类推适用。对于填补漏洞是否采取类推适用的解释方法，主要取决于法律漏洞的性质。对于开放的漏洞，由于无法可依一般采取类推适用。但对于隐藏的漏洞而言实际上是相关条款适用的不恰当问题，应采取目的论解释的方法。自动驾驶事故完全可依产品责任与机动车交通事故责任解决。结合现有的责任框架，自动驾驶侵权责任应在立法上进一步完善。首先，在产品责任上，对汽车改造以实现自动驾驶的改造者属生产者应承担严格责任；同时应借鉴消费者合理预期标准判断产品缺陷，且适用因果关系推定与举证责任倒置，不适用发展风险抗辩。其次，在交通事故责任上，需根据自动驾驶类型进行区分。高度自动驾驶汽车事故由生产者与使用人承担连带责任；无人驾驶汽车事故由生产者承担责任。此外，侵权法的命运与保险息息相关。当前，我国各地的路测规定亦对保险作出要求。自动驾驶汽车保险应在现行交强险制度基础上进行升级改造，同时发展汽车商业险与产品责任险，依“交强险-商业险-产品责任险”进行三层构造。

  六、监管框架和自律机制

  实际上，无论是风险防控还是法律责任均有赖于构建一定的监管体制。人工智能的监管体制和模式主要有传统的法律规制、行业自律规制、代码规制三类。借用“法律-社群规范-市场-架构”的经典网络规制框架，以及“代码即法律”的理念，[106]应结合传统法律规制与新型代码规制，以覆盖事前规范与事后强制，充分发挥法律代码与技术代码之间的协同效应。前文所述的“自设计保护隐私”亦属于这一范畴。法律代码与技术代码的互动，目前主要通过国家标准实现良性互动。当前，我国大量的“信息安全技术”系列标准均与人工智能监管密不可分。例如，《数据交易服务安全要求》（gb/t 37932—2019）《大数据安全管理指南》（gb/t 37988—2019）《个人信息安全规范》（gb/t 35273—2020）《个人信息去标识化指南》（gb/t 37964—2019）《云计算服务运行监管框架》（gb/t 37972—2019）等等。这些标准多为推荐性国标，不具强制力，在人工智能自律机制下发挥重要作用。对此，应加快推荐《人工智能安全标准》《人工智能应用安全指南》等相关标准的研制。

  就监管机构而言，2017年我国国家科技体制改革和创新体系建设领导小组设立新一代人工智能发展推进办公室，该办公室主要负责研究人工智能相关法律、伦理、标准、社会问题以及治理议题。《个人信息保护法（草案）》提出由国家网信部门综合协调实现个人信息监管。可见，我国目前尚未形成统一的人工智能监管架构，仍在条块分割的原则下，多部门综合监管。为破解“九龙治水”的状况，应适时成立人工智能独立监管机构，监督相关产业的有序发展。

  就企业的自主规制来看，阿里、腾讯、百度等企业均发布了人工智能准则。如2017年腾讯发布《人工智能发展六大原则》涵盖了（1）自由原则；（2）正义原则；（3）福祉原则；（4）伦理原则；（5）安全原则与责任原则。

  2019年深圳市人工智能行业协会发起，旷视、科大讯飞、testin云测等企业共同签署了《新一代人工智能行业自律公约》规定了以下内容：

  “（1）确保人类自治。人工智能的发展其决策和行为一定要符合人类的价值观及其规范，确保人工智能按照人类预想并服务于人类福祉的目标发展。

  （2）促进正义公平。从算法理论、编码设计以及商业应用等不同阶段中，提升人工智能算法决策的透明度，确保算法设定公平、合理、无歧视。

  （3）确保安全可控。推动建立人工智能技术安全相关的标准的制定工作，明确相关安全评估指标、方法和要求，建立安 全测评流程和管理规范，确保人工智能技术安全、可靠、可控发展。

  （4）注重隐私保护。人工智能的发展应加强隐私保护，加强个人对数据的控制，防止数据滥用。

  （5）促进包容共享。充分发挥人工智能技术优势，加强资源整合与开发，努力消除数字鸿沟，促进人工智能可持续发展和包容性发展，实现更好的共享发展，增进人类的共同福祉。

  （6）确保权责明晰。人工智能发展应当建立完善的责任体系，加强法律法规和伦理规范的建设，明确人工智能主体责任，划清权责范围。

  （7）加强协同合作。促进人工智能领域的国际合作，积极推进构建人工智能在国际范围发展的标准和规范。”[107]

  人工智能立法应继续鼓励行业自律，进一步推进人工智能自律机制。

第三节  把握历史机遇，推进地方立法

  一、协调地方立法与国家法律的关系

  与欧美不同，在我国“统一、分层次”的立法体制下，地方立法必须在《立法法》等法律规定的权限范围内行使有限的立法权。对人工智能法律主体、数据权属等涉及民事基本制度的问题，或人工智能犯罪等涉及犯罪和刑罚的问题，均不应通过地方立法规定。对此，人工智能地方立法必须以合法为原则，不与上位法相冲突。具体而言，上海市人工智能立法应结合上海产业发展的需求，积极推动制定相地方性法规、地方政府规章。一方面在维护国家法制统一的基础上，凸显地方特色，妥善处理国家立法与地方立法的关系，关注国家现有和五年立法规划中涉及人工智能产业的相关立法，推动地方立法；另一方面，在国家立法空白领域上、在地方立法权限内，针对人工智能产业发展中的基础性、普遍性问题率先突破，为上海人工智能产业发展提供有力的法治保障。

  二、上海人工智能立法的可行路径

  在人工智能的产业促进方面，上海市人工智能立法应明确培育产业发展、推动技术创新的措施，对人工智能产业给予人、财、物的支持。虽然，受到《立法法》第8条的限制，地方立法无法直接给予人工智能产业税收优惠，但地方仍能在人才落户、融资贷款优惠、政企合作等方面着力，以培育人工智能企业。此外，地方立法还可进一步赋能人工智能企业，加强对人工智能产业的保护。以数据权利保护为例，虽然我国并未正式确立数据权利，但2020年《中共中央国务院关于构建更加完善的数据要素市场化配置体制机制的意见》已明确将数据作为生产要素。对此，上海地方立法可明确规定，“衍生数据的合法权益依法受到保护”。相关规定必将大力助推人工智能产业的长远发展。

  在人工智能的规制方面，上海市人工智能立法应从数据、算法、责任等方面建立相应的规制机制。就数据流通与隐私保护而言，应明确要求企业遵循个人信息保护的法律规范，并借鉴“自设计保护隐私”，鼓励系统设计时从开端设计隐私保护机制。同时，进一步落实重要数据保护、政务数据开放、数据资源交易的制度规范。就算法规制与风险防控而言，应将法律规范深入到算法之中，破解数据主义风险与算法致害风险。这就需要对算法解释与算法审计进行规范，将监管与责任延伸至算法之中，并对算法进行相应的风险评估。就法律责任与监管规范而言，应在地方立法权利内明确违法的行政责任。鼓励人工智能产业购买保险，以应对民事责任风险。利用“监管沙盒”或“安全港”机制进行一定的责任豁免，推动先行先试，给予人工智能产业适度宽松的发展空间。最后，建议成立人工智能监管委员会，破解多头监管的困局，实现综合监管。

  附：上海市人工智能产业促进条例

  （核心条款专家建议稿）

  华东政法大学“人工智能法治保障”课题组

  第一条【立法目的】 为进一步促进本市人工智能产业发展，推进数字经济体系建设，根据有关法律、行政法规，结合本市实际，制定本条例。

  第二条【适用范围】 本市行政区域内的人工智能产业发展，以及相关的智慧政务、智慧经济、智慧社会建设，适用本条例。

  本条例所称人工智能产业,是指用机器模拟、实现或延伸人类的感知、思考、行动等智力与行为能力的科学与技术产业。

  第三条【发展目标】 发展人工智能产业是本市经济社会发展的重要战略，应当发挥上海数据资源丰富、应用领域广泛、产业门类齐全的优势，立足国际视野、加强系统布局，全面实施“智能上海（ai@sh）”行动，形成应用驱动、科技引领、产业协同、生态培育、人才集聚的新一代人工智能发展体系，推动人工智能成为上海建设“五个中心”和具有全球影响力的科技创新中心的新引擎，为上海建设卓越的全球城市注入新动能。

  第四条【基本原则】 发展人工智能产业应当坚持以人为本、科技引领、统筹规划、市场驱动、开放创新、保障安全的原则，立足国际视野、“一带一路”与长三角一体化发展战略，实施系统化、体系化、规模化布局，促进创新链与产业链深度融合。

  第五条【政府职责】 各区人民政府应当将人工智能产业发展纳入本市国民经济和社会发展规划，加强对人工智能产业发展工作的领导，加大支持力度，建立健全相应的工作协调和目标考核机制，督促有关部门履行促进人工智能产业发展的工作职责。

  第六条【协同促进】 市经济和信息化主管部门负责推进、协调、督促全市人工智能产业发展工作。市发展和改革、财政、网信、科技、教育、人力资源和社会保障、金融监督管理、市场监督管理、公安司法、统计、商务、卫生健康、交通运输、文化和旅游、自然资源、农业农村、住房和城乡建设等主管部门，应当按照各自职责，做好人工智能产业的促进发展工作。

  各区人民政府经济和信息化主管部门负责推进、协调、督促本行政区域内的人工智能产业发展工作，各区（县）其他相应部门按照各自职责，做好人工智能产业的促进发展工作。

  第七条【规划编制】 市经济和信息化主管部门会同有关部门编制全市人工智能产业发展规划，报市人民政府批准后组织实施。

  各区人工智能产业主管部门会同同级有关部门，根据市人工智能产业发展规划的要求，结合实际编制本辖区人工智能产业发展规划，报本级人民政府批准后组织实施。

  第八条【标准建设】 市市场监督管理主管部门应当会同市经济和信息化等有关部门推进本市人工智能产业标准体系建设，建立和完善基础通用标准、关键技术标准、融合应用标准和安全评估标准等各类人工智能标准，指导和支持有关单位采用先进的人工智能标准。

  鼓励、支持和组织行业协会、产业联盟、龙头企业等有关单位，积极参与制定人工智能国际标准、国家标准、行业标准和地方标准，自主制定人工智能产业团体标准或者企业标准。

  第九条【大数据利用】 市大数据管理机构负责研究编制全市大数据战略、规划和政策措施并组织实施，组织推动全社会的信息数据共享和开放，协调推动全市大数据应用发展和信息安全保障体系建设，推动人工智能产业协同发展。

  第十条【基础设施建设】 各区人民政府应当大力推动智能化信息基础设施建设，提升传统基础设施的智能化水平，形成适应智能经济、智能社会和国防建设需要的基础设施体系，完善人工智能产业发展基础服务支撑体系，推动新型基础设施建设与人工智能产业发展深度融合。

  第十一条【产业名录】 市经济和信息化主管部门应会同各区经济和信息化主管部门制定本市人工智能产业分类目录和人工智能重点项目名录，支持打造具有国家战略级、具有国际影响力、具有关键核心技术的人工智能开放创新平台，加快引进人工智能各行业领军企业。

  第十二条【区域集聚】 积极打造产业集聚、定位鲜明、配套完善、功能完备的人工智能主导性产业园区，支持人工智能项目根据本市产业地图进行集聚布局，鼓励人工智能企业按照产业链环节与资源价值区段相匹配原则跨区域布局。

  第十三条【资金扶持】 市经济和信息化主管部门设立人工智能产业专项扶持资金，用于人工智能核心技术发展应用研究和标准制定、产业链构建、重大应用示范工程建设、创业孵化等。

  鼓励金融机构创新金融产品，完善金融服务，支持人工智能发展应用；鼓励社会资金采取风险投资、创业投资、股权投资等方式，参与人工智能发展应用；鼓励、支持符合条件的人工智能企业依法进入资本市场融资。

  第十四条【用地保障】 各区人民政府应当根据土地利用总体规划和人工智能及大数据发展应用总体规划、专项规划，保障人工智能产业重点项目建设用地；对新增人工智能项目建设用地，优先列入近期城乡规划、土地利用年度计划。

  第十五条【数据利用】 市经济和信息化主管部门按照统一标准、依法管理、便捷高效、安全可靠、促进发展的原则，统筹利用大数据基础设施，强化数据安全与隐私保护，实现“算法、算力、数据”三大要素利用，为人工智能研发应用提供对应支撑，实现支持公共数据资源优先向人工智能产业开放，支持人工智能产业在大数据云计算、机器学习等方面研究应用。

  第十六条【优化审批】 各级政务行政服务中心应当设立人工智能产业相关行政审批一站式服务机制通道，提升政府服务效能，进一步优化营商环境。

  第十七条【交流合作】 各区人民政府应当积极参与“一带一路”建设，加强同有关国家（地区）在人工智能领域的交流合作，加强长三角区域一体化发展框架下的人工智能区域合作，推动重大人工智能基础设施共建共享、拓展人工智能融合应用场景，加强人工智能科研前瞻布局，完善基础服务支撑体系，推动人工智能产业集聚发展。

  第十八条【招才引智】 市人力资源和社会保障主管部门应当将人工智能领域引进高层次、高学历、高技能及紧缺性人才纳入人才扶持政策体系，鼓励各区用好特殊人才区域自主审批政策，对本区人工智能重点项目发展的产业人才，加大引进和保障力度。

  第十九条【研究促进】 市人民政府应当推动国家和省实验室、重点实验室、制造业创新中心、企业技术中心等科技创新平台和大型科技基础设施建设，支持科研机构、高等院校、企业参与建设有关平台和设施。

  鼓励高等院校、科研机构、职业学校与企业合作，开展人工智能产业发展应用技术研究，建立人工智能教育实践、创新创业和培训基地。鼓励高等院校、教学科研机构和企事业单位以设立研发中心、技术持股、期权激励、学术交流、服务外包、产业合作等方式，积极利用国内外人工智能研究人才资源。

  第二十条【安全保障】 任何单位和个人从事人工智能产业发展研究相关活动均应遵守国家网络安全、数据安全、个人信息保护、产品质量等有关法律、法规和规章规定，不得损害国家利益、社会公共利益和他人合法权益。

  个人信息安全、数据安全等领域已有国家、行业相关标准和规范的，依照标准化管理有关法律、法规的规定执行。鼓励企业制定严于国家标准或者地方标准的企业标准并遵照执行。

  第二十一条【产权保护】 市、区人民政府应当加强人工智能产业知识产权保护，培育和发展人工智能技术交易市场，促进技术转让、创新成果转化和产业化。

  第二十二条【公平竞争】 市市场监督管理部门应当会同市经济和信息化等有关部门制定人工智能产业领域公平竞争规则，加强前瞻预防与约束引导，最大限度降低人工智能涉及行业垄断、不正当竞争风险。

  第二十三条【项目布局】 根据国家“1 n”人工智能项目群设立要求，坚持集中力量办大事、重点突破的原则，充分发挥市场机制作用，创新新一代人工智能重大科技项目组织实施模式，调动部门、地方、企业和社会各方面力量共同推进实施。明确管理责任，定期开展评估，加强动态调整，提高管理效率。

  第二十四条【智慧城市】 市、区人民政府及其有关部门应当推进人工智能在智慧政府、智慧司法、智慧安全等领域有效运用，支持重点项目研发应用迭代，加强大数据、区块链、人工智能、5g等新技术在“互联网 政务”中的应用，进一步实现本市治理能力与治理体系现代化；推进城市交通设施、能源设施、水利设施、物流设施等传统基础设施融合升级智能化改造，实现新旧动能转换；鼓励人工智能产业与生产性生活性服务业、移动通信支付、工农业物联网、电子商务、数字文创等深度融合，提升服务业智能化、网络化、专业化水平，丰富本市智能产品供给，促进生产生活消费方式提质转型。

  编后语：人工智能是新一轮科技革命和产业变革的重要驱动力量，应重视人工智能发展带来的道德伦理、隐私保护、安全风险等问题，加快研究制定相关法规制度。“人工智能法治保障”课题组收集了国内外相关素材、通过线上与线下相结合的方式开展了充分的调研活动，以上海市人工智能地方立法为导向，对人工智能的法律属性、规制准则、数据隐私和权利保护、算法规制、监管架构、风险控制机制、法律责任等方面内容进行了深入研究，并最终形成了上海市人工智能产业促进条例核心条款专家建议稿。课题成果论证充分、观点明确，既合理借鉴了人工智能立法的域外经验，同时也结合了中国国情与特色，为推进本市人工智能立法提供了参考。

  课题负责人简介：

  马长山，男，华东政法大学，教授。

  韩旭至，男，华东政法大学，副研究员。

  （责任编辑:刘潇   核稿:邓海娟）

  [①] 参见《习近平主持中共中央政治局第九次集体学习并讲话》2018年。

  [②] 参见《2020世界人工智能大会开幕式致辞》2020年。

  [③] see john mccarthy, “what is artificial intelligence？”, http://www-formal.stanford.edu/jmc/whatisai/, december 12, 2018.

  [④] 该法案2020年再次被提交审议，相关条款不变，see h.r.4625 - future of artificial intelligence act, https://www.congress.gov/bill/115th-congress/house-bill/4625.

  [⑤] see 10 u.s.c. § 2358, https://www.law.cornell.edu/uscode/text/10/2358.

  [⑥] see 25.4.2018 com(2018) 237 final, https://ec.europa.eu/transparency/regdoc/rep/1/2018/en/com-2018-237-f1-en-main-part-1.pdf.

  [⑦] see a definition of ai: main capabilities and disciplines, https://digital-strategy.ec.europa.eu/en/library/definition-artificial-intelligence-main-capabilities-and-scientific-disciplines.

  [⑧] 参见中国电子技术标准化研究院：《中国人工智能标准化白皮书》2019年。

  [⑨] 参见中国信通院：《人工智能治理白皮书》2020年。

  [⑩] 参见[美]罗素、[美]诺维格：《人工智能：一种现代的方法》，殷建平等译，清华大学出版社2013年版，第3页。

  [11] see john mccarthy, what is artificial intelligence？, http://www-formal.stanford.edu/jmc/whatisai/.

  [12] see idc, data age 2025,https://www.import.io/wp-content/uploads/2017/04/seagate-wp-dataage2025-march-2017.pdf.

  [13] 参见[德]蒂莫·拉德马赫、[德]托马斯·威施迈耶：《人工智能与法律的对话2》，韩旭至等译，上海人民出版社2020年版，第3页。

  [14] 参见《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》2020年。

  [15] 参见中国电子学会、中国数字经济万人会、商汤智能产业研究院：《新一代人工智能白皮书》2020年。

  [16] 参见中信息通讯研究院、中国人工智能产业发展联盟：《人工智能治理白皮书》2020年。

  [17] 腾讯：《腾讯人工智能白皮书》2020年。

  [18] 《新一代人工智能发展规划》2017年。

  [19] 参见中国电子学会、中国数字经济万人会、商汤智能产业研究院：《新一代人工智能白皮书》2020年。

  [20] 上海市政府：《关于本市推动新一代人工智能发展的实施意见》2017年。

  [21] 上海市经济和信息化委员会：《关于建设人工智能上海高地构建一流创新生态的行动方案（2019-2021年）》2019年。

  [22] 参见36氪研究院：《中国城市人工智能发展指数报告》2020年。

  [23] 《在中国科学院第十七次院士大会、中国工程院第十二次院士大会上的讲话》2014年。

  [24] 《新一代人工智能发展规划》2017年。

  [25] 参见《2020世界人工智能大会开幕式致辞》2020年。

  [26] 参见李伦、黄关：《数据主语与人本主义数据伦理》，《伦理学研究》2019年第2期。

  [27] 参见[美]安德雷斯·韦思岸：《大数据和我们》，胡小锐、李凯平译，中信出版社2016年版，第233页。

  [28] tarleton gillespie , the relevance of algorithms, https://www.microsoft.com/en-us/research/wp-content/uploads/2014/01/gillespie_2014_the-relevance-of-algorithms.pdf.

  [29] see kelvin f. k. low, eliza mik, pause the blockchain legal revolution, cambridge, cambridge university press for the british institute of international and comparative law, 2019, pp.1-41.

  [30] 参见[美]多梅尔：《算法时代》，胡小锐、钟毅译，中信出版社2016年版，第136~140页。

  [31] 参见[德]蒂莫·拉德马赫、[德]托马斯·威施迈耶：《人工智能与法律的对话2》，韩旭至等译，上海人民出版社2020年版，第164页。

  [32][美]凯西·奥尼尔：《算法霸权：数字杀伤性武器的威胁》，马青玲译，中信出版社，2018年版，第1页。

  [33] 参见涂子沛：《数文明：大数据如何重塑人类文明、商业形态和个人世界》，中信出版社2018年版，第8页。

  [34] see yuval noah harari, why technology favors tyranny, the atlantic 10, 2018, p.64.

  [35] 参见[英]维克托·迈尔-舍恩伯格、[英]肯尼思·库克耶：《大数据时代》盛杨燕、周涛译，浙江人民出版社2013年版，第196页。

  [36] 参见刘宪权、胡荷佳：《论人工智能时代智能机器人的刑事责任能力》，《法学》2018年第1期；see ugo pagallo, the laws of robots: crimes, contracts, and torts, dordrecht, springer, 2013, p.166.

  [37] see paulius čerka et al., liability for damages caused by artificial intelligence, computer law & security review 31, 2015, p.376.

  [38] 《实施国家大数据战略 加快建设数字中国》2017年。

  [39] see viktoriya guseyva, data protection laws in china, https://incountry.com/blog/data-protection-laws-in-china-ways-to-stay-compliant-with-cloud-data/.

  [40] 参见《智能网联汽车道路测试管理规范（试行）》2018年。

  [41] ［德］乌尔里希·贝克：《从工业社会到风险社会——关于人类生存、社会结构和生态启蒙等问题的思考（上篇）》，王武龙编译，《马克思主义与现实》2003年第3期。

  [42] 参见[德]蒂莫·拉德马赫、[德]托马斯·威施迈耶：《人工智能与法律的对话2》，韩旭至等译，上海人民出版社2020年版，第82页。

  [43] 参见《新一代人工智能发展规划》2017年。

  [44] see the age ofartificial intelligence: towards a european strategy for human-centric machines, https://ec.europa.eu/jrc/communities/sites/jrccties/files/epsc_strategicnote_ai.pdf.

  [45] see on artificial intelligence - a european approach to excellence and trust, https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en.

  [46] h.r.4625 - future of artificial intelligence act, https://www.congress.gov/bill/115th-congress/house-bill/4625.

  [47] see the american ai initiative, https://trumpwhitehouse.archives.gov/wp-content/uploads/2020/02/american-ai-initiative-one-year-annual-report.pdf.

  [48] see eu declaration on cooperation on artificial intelligence, https://ec.europa.eu/jrc/communities/en/node/1286/document/eu-declaration-cooperation-artificial-intelligence/.

  [49] on artificial intelligence - a european approach to excellence and trust, https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en.

  [50] see william j. kohler; alex colbert-taylor, current law and potential legal issues pertaining to automated, autonomous and connected vehicles, santa clara high technology law journal 31, 2014, p.99.

  [51] see department for transport, the pathway to driverless cars：ancode of practice testing, july 2015; nhtsa, federal automated vehicles policy: accelerating the next revolution in roadway safety,12507-091216-v9, september 2016.

  [52] see on artificial intelligence - a european approach to excellence and trust, https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en.

  [53] 参见《国家人工智能研究和发展战略计划》,中国信息通信研究院政策与经济研究所编译,http://www.caict.ac.cn/kxyj/qwfb/ztbg/201804/p020161102381492504518.pdf.

  [54] h.r.4625 - future of artificial intelligence act, https://www.congress.gov/bill/115th-congress/house-bill/4625.

  [55] see algorithmic accountability act, https://www.congress.gov/bill/116th-congress/house-bill/2231#:~:text=introduced in house (04/10/2019) algorithmic accountability act of,systems that use artificial intelligence or machine learning.

  [56] h.r.4625 - future of artificial intelligence act, https://www.congress.gov/bill/115th-congress/house-bill/4625.

  [57] 25.4.2018 com(2018) 237 final, https://ec.europa.eu/transparency/regdoc/rep/1/2018/en/com-2018-237-f1-en-main-part-1.pdf.

  [58] a definition of ai: main capabilities and disciplines, https://digital-strategy.ec.europa.eu/en/library/definition-artificial-intelligence-main-capabilities-and-scientific-disciplines.

  [59] on artificial intelligence - a european approach to excellence and trust, https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en.

  [60] preliminary draft report of comest on robotics ethics, http://unescoblob.blob.core.windows.net/pdf/uploadckeditor/report of comest on robotics ethics 14.09.17.pdf.

  [61] artificial intelligence and ethics in design, https://innovationatwork.ieee.org/courses/artificial-intelligence-and-ethics-in-design/.

  [62] see asilomar ai principles, https://futureoflife.org/ai-principles/.

  [63] algorithms and artificial intelligence: cnil’s report on the ethical issues, https://www.cnil.fr/en/algorithms-and-artificial-intelligence-cnils-report-ethical-issues.

  [64] ethics guidelines for trustworthy ai, https://ec.europa.eu/futurium/en/ai-alliance-consultation/.

  [65] oecd principles on artificial intelligence, https://www.oecd.org/going-digital/ai/principles/.

  [66] the german ethics code for automated and connected driving, https://slideheaven.com/the-german-ethics-code-for-automated-and-connected-driving.html#:~:text=the german ethics code for automated and connected,systems is ethically justifiable or possibly even imperative.

  [67] ethical development of artificial intelligence capabilities, https://www.defense.gov/explore/news/article/article/2094085/dod-adopts-5-principles-of-artificial-intelligence-ethics/.

  [68] g20 ministerial statement on trade and digital economy, https://www.meti.go.jp/press/2019/06/20190610010/20190610010-1.pdf.

  [69] see european ethical charter on the use of artificial intelligence (ai) in judicial systems and their environment, https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c.

  [70] see general data protection regulation, https://www.epsu.org/sites/default/files/article/files/gdpr_final_epsu.pdf.

  [71] see general data protection regulation, https://www.epsu.org/sites/default/files/article/files/gdpr_final_epsu.pdf.

  [72] see wp29, guidelines on automated individual decision-making and profiling for the purposes of regulation 2016/679 29 (2018), https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=612053.

  [73] see general data protection regulation, https://www.epsu.org/sites/default/files/article/files/gdpr_final_epsu.pdf.

  [74] 参见[德]蒂莫·拉德马赫、[德]托马斯·威施迈耶：《人工智能与法律的对话2》，韩旭至等译，上海人民出版社2020年版，第88页。

  [75] see draft report with recommendations to the commission on civil law rules on robotics, https://www.europarl.europa.eu/doceo/document/a-8-2017-0005_en.html.

  [76] 参见中国信通院：《人工智能治理白皮书》2020年。

  [77] see statement on algorithmic transparency and accountability, https://www.acm.org/binaries/content/assets/public-policy/2017_usacm_statement_algorithms.pdf.

  [78] see general data protection regulation, https://www.epsu.org/sites/default/files/article/files/gdpr_final_epsu.pdf.

  [79] privacy-enhancing technologies: the path to anonymity, https://www.researchgate.net/publication/243777645_privacy-enhancing_technologies_the_path_to_anonymity.

  [80] see t-pd(2017)01, https://rm.coe.int/16806ebe7a.

  [81] see general data protection regulation, https://www.epsu.org/sites/default/files/article/files/gdpr_final_epsu.pdf.

  [82] see mifid ii, https://www.esma.europa.eu/policy-rules/mifid-ii-and-mifir/.

  [83] see a governance framework for algorithmic accountability and transparency, https://eptanetwork.org/database/policy-briefs-reports/1805-a-governance-framework-for-algorithmic-accountability-and-transparency-stoa#:~:text=a governance framework for algorithmic accountability and transparency,,for individuals, organisations and societies as a whole.

  [84] see algorithmic accountability act, https://www.congress.gov/bill/116th-congress/house-bill/2231#:~:text=introduced in house (04/10/2019) algorithmic accountability act of,systems that use artificial intelligence or machine learning.

  [85] on artificial intelligence - a european approach to excellence and trust, https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en.

  [86] see algorithm charter, https://data.govt.nz/manage-data/data-ethics/government-algorithm-transparency-and-accountability/algorithm-charter/.

  [87] on artificial intelligence - a european approach to excellence and trust, https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en.

  [88] on artificial intelligence - a european approach to excellence and trust, https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en.

  [89] see algorithm charter, https://data.govt.nz/manage-data/data-ethics/government-algorithm-transparency-and-accountability/algorithm-charter/.

  [90] see statement on algorithmic transparency and accountability, https://www.acm.org/binaries/content/assets/public-policy/2017_usacm_statement_algorithms.pdf.

  [91] see a governance framework for algorithmic accountability and transparency, https://eptanetwork.org/database/policy-briefs-reports/1805-a-governance-framework-for-algorithmic-accountability-and-transparency-stoa#:~:text=a governance framework for algorithmic accountability and transparency,,for individuals, organisations and societies as a whole.

  [92] see report on the safety and liability implications of artificial intelligence, the internet of things and robotics, https://ec.europa.eu/info/sites/info/files/report-safety-liability-artificial-intelligence-feb2020_en_1.pdf.

  [93] artificial intelligence and ethics in design, https://innovationatwork.ieee.org/courses/artificial-intelligence-and-ethics-in-design/.

  [94] on artificial intelligence - a european approach to excellence and trust, https://ec.europa.eu/info/publications/white-paper-artificial-intelligence-european-approach-excellence-and-trust_en.

  [95] 参见《g60科创走廊洞泾人工智能产业基地（核心区）高质量发展扶持奖励实施办法》2020年。

  [96] 国家粮食局在《粮油仓储信息化建设指南（试行）》2012年。

  [97] 《加快推进传感器及智能化仪器仪表产业发展行动计划》2013年。

  [98] 《中国人工智能标准化白皮书》2017年。

  [99] 《中国人工智能标准化白皮书》2017年。

  [100] 《广州南沙新区(自贸片区)促进人工智能产业发展扶持办法》2019年。

  [101] 《人工智能创新治理上海宣言》2019年。

  [102] 《新一代人工智能治理原则》2019年。

  [103] 参见《人工智能伦理风险分析报告》2019年。

  [104] see t-pd(2017)01, https://rm.coe.int/16806ebe7a.

  [105] 韩旭至：《人工智能法律主体批判》，《安徽大学学报（哲学社会科学版）》2019年第4期。

  [106] 参见[美]劳伦斯·莱斯格：《代码2.0：网络空间中的法律》，李旭、沈伟伟译，清华大学出版社，2018年，第135~136页。

  [107] 《新一代人工智能行业自律公约》2019年。