根据人权观察组织(Human Rights Watch)日前公布的一项调查,世界银行资助的一种用于确定哪些家庭应该在约旦获得经济援助的算法,可能将符合条件的人排除在外。
这个名为 Takaful 的算法系统使用一种保密的计算方法,对 57 个社会经济指标进行加权,将申请援助的家庭按照贫困程度排名。然而,申请人表示,这种计算方法并不能反映现实情况,而且过于简单化了人们的经济状况,有时是不准确或不公平的。Takaful 已经花费了 10 多亿美元,世界银行正在为中东和非洲的其他八个国家的类似项目提供资金。
(来源:HUMAN RIGHTS WATCH)
人权观察发现了算法系统的几个根本问题,这些问题导致了偏见和不准确。例如,申请人被问及他们消耗了多少水和电,这是进入排名系统的两个指标。
该报告的作者得出结论,这些不一定是可靠的贫困指标。一些接受采访的家庭认为,他们拥有一辆车的情况影响了他们的排名,即使这辆车很旧、是上班交通所必需的。
报告写道,“这种统计客观性的外表掩盖了一个更复杂的现实:人们所承受的经济压力和他们所处的困境往往是算法看不到的。”
报告援引阿卜杜勒哈马德(Abdelhamad)的话说:“所问的问题并没有反映出我们所处的现实。”他是两个孩子的父亲,每月收入仅有 250 第纳尔(353 美元),生活入不敷出。
Takaful 还用带有性别歧视的法律法规强化了已有的性别歧视状况。现金援助只提供给约旦公民,同时算法考虑的一个指标是家庭规模,而与非公民结婚的约旦男子可以将公民身份传给配偶,但反过来约旦女性不能。对于这些女性来说,这导致可报告的家庭规模较小,使她们不太可能获得援助。
该报告基于人权观察在过去两年中进行的 70 次采访,而不是定量评估,因为世界银行和约旦政府没有公开披露 57 项指标的清单、指标的加权明细,也没有公开有关算法决策的全面数据。
人权观察的人工智能和人权研究员、该报告的作者阿莫斯·托(Amos Toh)表示,这些发现表明对于使用算法决策的政府项目来说,有必要提高它的透明度。许多受访家庭对排名方法表示不信任和困惑。他说:“约旦政府有责任让其更加透明。”
人工智能伦理和公平的研究人员呼吁对福利系统中越来越多的算法进行更多的审查。美国纽约大学教授梅雷迪思·布鲁萨德(Meredith Broussard)说:“当你开始为这个特定的目的构建算法,以决定谁有权获得时,总是会发生需要帮助的人被排除在外的情况。”
她说:“这似乎是又一个糟糕设计的例子,它最终限制了最需要援助的人获得援助。”
世界银行资助了该项目,该项目由约旦国家援助基金管理,该基金是政府的一个社会保护机构。针对该报告,世界银行表示,计划于 2023 年 7 月发布有关 Takaful 计划的更多信息,并重申其“致力于推进普遍社会保障的实施,并努力确保所有人都能获得社会保障。”
该组织鼓励在 Takaful 等涉及资金的项目中使用数据技术,称其提高了成本效益,提高了分配的公平性。
支持:Ren