在地方充分自主的前提下,客观存在着的多元利益才能得到积极表达,也才能形成有效解决问题的具体方案。
2.他律性规制 各国政府早期出于保护市场自由竞争的考虑,较少对算法行为进行干预。这主要涉及算法设计、训练数据和算法目标等信息。
强调平衡数字鸿沟,抑制算法权力,并在此基础上,确保国家权力的运用能够促进科学技术的发展与进步,是大数据时代算法歧视的法律规制与司法审查的基本共识。因此,算法治理的一个重要手段就是提高算法决策的透明度,让政府和社会公众对算法决策行为进行有效监督。(53) 在实践中,法院会将这种算法歧视的审查过程分解为以下三个步骤:第一步,原告(算法决策对象)提出反对歧视的诉讼请求,并提出算法存在差异性影响的事实和证据。在具体的规制过程中,政府或法院主要通过平等权保护来禁止算法决策中出现歧视性影响。因此,算法应当经过审查和评估以后,才能在特定数据存储库中的给定数据集上运行。
(4)解释的方式包括自然语言解释或可视化表示模型。(16)例如,美国政府规定,使用大数据和算法来进行决策时,应当符合《公平信用报告法》和《民权法案》的要求。第二步,被告(算法决策者)对原告提出的差异性影响及其证据进行反驳。
该原则强调算法的设计者与使用者应当按照法律和政策的要求来设计算法,并对算法产生的结果负责(37)。从规制的时间维度来看,包括事后性规制和预防性规制。因此,用户有权决定选择是否抹除其过往数据。根据该法的规定,市场监督管理部门对于违反推荐算法规制条款的电子商务经营者可以没收违法所得,并处五万元以上二十万元以下的罚款。
但是,民主化数据收集机制中也存在一些重大缺陷。因此,无论是政府的行政规制还是法院的司法审查,都极力倡导与强调算法透明度的重要性。
这种事前行为控制,主要包括算法审查与评估和民主化数据收集与退出机制两个方面。在Facebook泄密门事件中,Cambridge Analytica仅靠趣味小测试就拿到了32万名用户的授权,据此推断出5000万用户喜好,有针对性地设下桃色陷阱、推送诱导新闻、操纵总统选举等。(16)例如,美国政府规定,使用大数据和算法来进行决策时,应当符合《公平信用报告法》和《民权法案》的要求。实践中,算法歧视主要表现为偏见代理的算法歧视、特征选择的算法歧视和大数据杀熟三种基本形态。
法官路易斯布兰迪斯指出,阳光被认为是最好的消毒剂,电灯是效率最高的警察。为了做到国家权力的自我克制,当算法技术出现问题时,国家应当充分发挥技术治理和行业自律手段的作用,并在此基础上,强调内生型治理、技术标准、伦理道德规范等对于算法治理的重要意义。因此,在算法歧视的治理过程中,国家权力应当保持适度的克制态度,把握好权利保护与科技创新之间的平衡。这些目标变量主要包括种族、肤色、信仰、宗教、性别、国籍、残疾和年龄等。
①这种算法决策在招聘、警务、教育、信贷、刑事司法、股票交易等领域得到广泛运用。(41)美国计算机协会规定的这七项基本原则为算法决策的规范运行提供了很好的标准。
它们愈来愈意识到仅靠行为自律难以确保算法自动化决策的规范运行,还需要建立他律性规制措施。人们在线上交易过程中往往会形成浏览、收藏、下单、评价等记录。
二是允许平台保留数据,但仅限于该次服务目的,禁止将其用于其他领域。在传统的物理社会,歧视比较容易被辨识,而在大数据时代,算法歧视具有较强的隐蔽性,有时甚至是无意识的。这种算法,往往会针对不同客户采取不同的对待模式,即看人下菜碟。(53) 在实践中,法院会将这种算法歧视的审查过程分解为以下三个步骤:第一步,原告(算法决策对象)提出反对歧视的诉讼请求,并提出算法存在差异性影响的事实和证据。算法的设计者需要对基础数据的来源及可靠性进行说明,并不得使用来源违法的基础数据、敏感性数据和产生歧视性后果的数据。该原则允许第三方对算法代码和决策标准进行审查。
它是指受算法决策影响的人认为算法决策机制存在歧视性影响时,向法院提起诉讼,要求算法作出者改变决策,并承担损失的机制。因此,算法治理的一个重要手段就是提高算法决策的透明度,让政府和社会公众对算法决策行为进行有效监督。
美国平等就业机会委员会就一直非常积极地对劳工招聘中使用了算法的案件进行审查。在阿尔伯马尔纸业公司诉穆迪(Albemarle Paper Co.V.Moody)案中,美国联邦最高法院就认为,雇主虽然证明了就业能力测试算法与工作有关,但是还存在并不会导致种族歧视的其他测试程序。
(4)责任豁免理由不同,在差异性影响审查模式中,算法使用者可以诉诸商业必要性来证明算法产生差异性影响具有合理性,从而不用承担法律责任。美国在《怀孕歧视法》和《就业年龄歧视法》中就从平等权的角度出发,认为这种做法违法了平等权的要求,应当禁止,(32)并规定用与互联网日常使用率相关的数据来判断工作绩效的算法是违法的。
(23)美国学者考尔德等人(Calders、Zliobaite)认为,为了使计算机系统以规范的方式运作,算法审查必须从一开始就成为系统设计的一部分。(27)因此,算法的公正性既取决于数据,也取决于算法自身,加强基础数据端的规制对于消除算法歧视具有重要意义。不同待遇模式往往对某个个体进行区分对待,而不涉及特定受保护群体不利影响的认定问题。这些规定主要包括:(1)详细说明算法决策。
美国国会议员2019年4月10日提出了一项算法审查法案。二是对个体带来严重不利后果的算法。
(31)欧盟《通用数据保护条例》规定了数据控制者的被遗忘权,即数据所有者或控制者有权要求数据使用者在基于特定目的使用完数据之后消除、抹除数据。在实践中,法院认为算法决策的故意歧视主要包括以下两种表现形态:第一种形态是算法使用者将受保护群体的成员资格作为变量纳入算法决策中,并故意操纵算法的各个环节或部分,从而获得一种歧视性结果。
(33)在实践中,美国还利用《遗传信息非歧视法案》的规定来对算法决策中存在的歧视性行为进行法律规制,对算法过程中出现的遗传歧视行为进行严肃打击。(25)例如,为了防止决策过程中出现种族歧视或性别歧视,我们就会检验决策中是否隐含了种族或性别等这些属性信息。
强调平衡数字鸿沟,抑制算法权力,并在此基础上,确保国家权力的运用能够促进科学技术的发展与进步,是大数据时代算法歧视的法律规制与司法审查的基本共识。第三步,原告对被告反驳意见进行再反驳。这些基本原则主要包括以下内容:一是算法透明原则。(二)特征选择的算法歧视 特征选择的歧视,是传统歧视模式在网络社会中的一种反映,是固有的刻板印象在数据挖掘中的再现。
(2)动态方法,观察运行程序并评估特定输入的输出或程序运行时的状态。我国国家网信办制定的《App违法违规收集使用个人信息行为认定方法(征求意见稿)》,明确了App强制授权、过度索权、超范围收集个人信息等行为的认定标准,这也有助于推动数据收集的民主化。
(62)这种给算法决策使用者苛以算法解释义务的方式,能够有效地防止算法使用者滥用其技术优势和信息优势,从而抑制算法权力。巴罗卡斯(Solon Barocas)和塞布斯特(Andrew D.Selbst)就认为,算法自动化决策可能给某些群体带来歧视性的不利结果。
但是,它们并没有归纳总结算法歧视的基本类型,也没有对算法歧视的法律规制方式和司法审查问题进行系统的梳理和研究。在大数据挖掘和运用过程中,数据的挖掘方或算法的决策者往往会出现以下三种典型的隐蔽歧视。