NFT:审计可以消除算法中的偏见吗？_PUN

十多年来，记者和研究人员一直在撰写有关依靠算法做出重大决策的危险的文章：谁被关押，谁得到工作，谁得到贷款，甚至谁优先使用COVID-19疫苗。

而不是消除偏差，一个接一个的算法已经将其编成代码并永久存在，因为公司同时继续或多或少地保护其算法不受公众审查。

此后的一个大问题：我们如何解决这个问题？立法者和研究人员提倡进行算法审计，该算法将对算法进行剖析和压力测试，以查看算法如何工作以及它们是否在执行既定目标或产生有偏见的结果。越来越多的私人审计公司声称这样做。公司越来越多地求助于这些公司来审查其算法，尤其是当他们面对因偏向结果而受到批评的时候，但是目前尚不清楚此类审计是否实际上使算法的偏向性降低了，或者它们是否仅仅是良好的公关手段。

最近，当沃尔玛和高盛等公司使用的受欢迎的招聘软件公司HireVue面临批评时，算法审计引起了广泛关注，该公司通过视频采访评估候选人的算法存在偏见。

HireVue要求审计公司提供帮助，并在一月份在新闻稿中大肆宣传了审计结果。

审计发现，该软件的预测“在公平性和偏见问题方面做得很出色”，HireVue在一份新闻稿中说，引用了该公司聘请的审计公司O'Neil风险咨询和算法审计。

但是，尽管对其流程进行了更改，但HireVue被广泛指责为使用PR特技进行审计。

文章在快速公司，VentureBeat的，和麻省理工学院技术评论叫响公司mischaracterizing审计。

HireVue表示，通过公开发布该报告可以使审计透明，并补充说新闻稿规定该审计仅针对特定情况。

“尽管HireVue可以接受任何类型的审计，包括涉及对我们整个流程的审计，但ORCAA要求只关注一个用例，以便就该系统进行具体讨论，”HireVue首席数据科学家LindseyZuloaga在接受采访时说。一封电邮。“我们与ORCAA合作，选择了一个具有代表性的用例，该用例与大多数HireVue候选人所进行的评估有很大的重叠。”

但是算法审计师也对HireVue关于审计的公开声明不满意。

人工智能解释和偏差监控初创企业Arthur的联合创始人利兹·奥沙利文表示：“在对营销抵押品进行非常周到的分析时，它们破坏了整个领域的合法性。”

这就是算法审计作为消除偏差的工具的问题：公司可能会使用它们进行真正的改进，但可能不会。而且没有任何行业标准或法规要求审计师或使用它们进行会计的公司。

什么是算法审计-它如何工作？

好问题-这是一个非常不确定的字段。通常，审计以几种不同的方式进行：通过查看算法的代码和来自其结果的数据，或通过与员工的访谈和研讨会来查看算法的潜在影响。

可以访问算法代码的审核程序使审阅者可以评估算法的训练数据是否有偏见，并创建假设性场景来测试对不同人群的影响。

Twitter的机器学习道德总监兼算法审计公司Parity的创始人RummanChowdhury说，只有大约10到20家提供算法评论的知名公司。公司还可能拥有自己的内部审核团队，负责在将算法发布给公众之前研究其算法。

2016年，奥巴马政府一份关于算法系统和公民权利的报告鼓励了算法审计行业的发展。不过，聘请审计师仍然不是一种普遍的做法，因为公司没有义务这样做，而且根据多名审计师的说法，公司不希望受到审查或可能引起审查的潜在法律问题，特别是针对他们所销售的产品。

“律师告诉我，'如果我们雇用您，发现有一个我们无法解决的问题，那么我们就失去了合理的可否认性，我们不想成为下一个卷烟公司，'”ORCAA的创始人CathyO'尼尔说。“这是我找不到工作的最常见原因。”

对于那些聘请审计师的人，“审计”应包含什么没有标准。即使是拟议的纽约市法律也要求对聘用算法进行年度审核，也无法说明应如何进行审核。一位审核员的批准印章比另一位审核员的审核意味深远。

而且由于审计报告也几乎总是受保密协议约束，因此两家公司无法相互比较自己的工作。

乔杜里说：“最大的问题是，随着这一领域的利润越来越丰厚，我们将发现，我们确实需要什么是审计标准。”“外面有很多人愿意对某事进行审计，建立一个外观漂亮的网站并每天称其为日，然后无条件获取现金。”

一些审计师说，即使聘用了审计师，科技公司也并不总是能如愿以偿。

Arthur的O'Sullivan说：“在这种情况下，商业秘密已足够使这些算法能够在晦暗黑暗的环境中运行，而我们不能拥有这种秘密。”

算法正义联盟的审计师和研究合作者伊尼奥卢瓦·德博拉·拉吉表示，审计师处于无法访问该软件代码并因此存在违反计算机访问法律的风险。乔杜里说，当公司要求她允许他们在公开发布之前对其进行审查时，她拒绝了审计。

Zuloaga说，对于HireVue的审计，ORCAA采访了利益相关者，包括HireVue员工，客户，应聘者和算法公平专家，并确定了公司需要解决的问题。

ORCAA的评估并未考虑HireVue算法的技术细节，例如算法所训练的数据或其代码，尽管Zuloaga表示，该公司不以任何方式限制审计师的访问权限。

Zuloaga说：“ORCAA要求提供有关这些分析的详细信息，但他们的方法着眼于解决利益相关者如何受算法影响的问题。”

奥尼尔说，她无法对HireVue审核发表评论。

许多审核是在产品发布之前进行的，但这并不是说它们不会出现问题，因为算法不是凭空存在的。例如，当微软建立一个聊天机器人时，一旦暴露给Twitter用户，该聊天机器人便迅速变成种族主义者。

奥沙利文说：“一旦将其投入现实世界，即使有最好的意图，也有可能出错一百万人。”“我们希望采用的框架还不够完善。总有办法使事情更加公平。”

因此，尽管并不常见，但一些预发行审核也将提供连续监视。奥沙利文说，这种做法在银行和医疗保健公司中越来越流行。

奥沙利文的监视公司安装了一个仪表板，该仪表板可实时查找算法中的异常情况。例如，如果公司的算法拒绝更多的女性贷款申请，它将在启动后几个月提醒公司。

最后，越来越多的对抗性审核机构，主要是由研究人员和一些记者进行的，他们未经公司的同意就对算法进行审查。例如，算法正义联盟的创始人Raji和JoyBuolamwini，他们在亚马逊Rekognition工具上的工作突显了该软件如何在没有公司参与的情况下具有种族和性别偏见。

公司在审核后会修复其算法吗？

无法保证公司将解决审计中提出的问题。

Raji说：“您可以进行质量审核，但仍然无法从公司那里获得问责制。”“这需要大量精力来弥合获取审计结果与将其转化为责任之间的差距。”

公众的压力有时会迫使公司解决技术上的算法偏差-或未按技术公司的要求进行的审计，并由保密协议进行了审计。

拉吉说，性别阴影研究的研究发现了商业面部识别工具中的性别和种族偏见，并任命了IBM和Microsoft等公司来引发围绕它的公开对话。

她说，但是围绕算法的责任感很难引起关注。

尽管面部识别的偏见是可以解决的，但人们可以看到照片和错误率，并且可以理解种族歧视和性别偏见在技术中的后果，但与诸如利率算法偏见之类的东西联系起来可能会更加困难。

拉吉说：“我们如此依赖公众的呼声，实在令人难过。”“如果公众不理解，那就没有罚款，也没有法律上的影响。这让它非常沮丧。”

那么如何改善算法审核呢？

在2019年，一群民主立法者提出了联邦算法责任法案，该法案将要求公司对其算法进行审计，并解决审计在使用之前发现的任何偏见问题。

AIForthePeople的创始人MutaleNkonde是技术专家团队的成员，该团队帮助起草了该法案，并表示将为公司创建政府授权以进行审计并遵循这些审计。

她说：“就像药物测试一样，必须有某种类型的机构，例如食品和药物管理局来研究算法。”“如果我们看到了不同的影响，那么该算法将不会投放市场。”

该法案从未付诸表决。

来自俄勒冈州的民主党参议员罗恩·怀登表示，他计划与参议员科里·布克和众议员伊维特·克拉克重新引入该法案，并更新2019年版本。目前尚不清楚该法案是否将为审计制定标准，但这将要求公司根据其结果采取行动。

Wyden在一份声明中说：“我同意研究人员，行业和政府需要努力建立公认的审计AI基准，以确保审计尽可能具有影响力。”“但是，在国会开始采取行动防止偏见污染自动化系统之前，要等到学术界达成完全共识的风险太大了。我认为我们需要在两个方面都努力。”

标签：NFTPUNKPUNREVUBBNFTPunk Vault (NFTX)punk币上线交易所REVU币

UNI热门资讯