公平衡量:MIT研究人员称机器学习的可解释性充满偏见
作者头像
  • 丁舒熳
  • 2022-07-20 14:20:19 10

近期,麻省理工学院(MIT)的研究团队发布了一篇新论文,探讨了机器学习模型在预测方面的可靠性问题,特别是对于弱势群体而言,这种可靠性可能大打折扣。由于现有的解释方法可能存在长期偏见,弱势群体可能会面临更加不利的结果。

在实际应用中,机器学习算法有时会产生较高的风险,例如在预测哪些候选人更有可能通过法律考试,并据此决定录取哪些学生。尽管目标是公平和准确,但这些复杂的模型通常包含数百万个参数,使得AI研究人员难以完全理解其内部机制。

为了简化解释,科学家们有时会创建预测的简单近似模型。然而,这些近似值是否能够公平地适用于所有人却值得商榷。例如,如果某种解释方法对男性比女性更有利,或者对白人比有色人种更有利,那么不同群体之间就可能出现显著的差异。

这种现象意味着,如果女性申请者的近似质量较低,那么解释与模型之间的预测可能会不一致,从而导致招生官员错误地拒绝更多的女性候选人。为了了解这些不公平现象的普遍程度,MIT的研究人员尝试了多种技术来平衡竞争环境,但这些措施只能部分缩小差距,无法完全消除。

研究显示,在所有数据集和解释模型中,保真度差距普遍存在。在某些情况下,这一差距甚至可以达到21%。这意味着在10000名申请者中,可能有一大部分因为这些误差而被错误地拒绝。

为了应对这一挑战,研究人员尝试训练解释模型,以识别数据集中可能出现低保真度的区域,并给予这些样本更多的关注。此外,他们还尝试了使用平衡数据集,这些策略虽然减少了部分保真度差距,但未能彻底解决这个问题。

分析表明,解释模型可能会间接地使用受保护的群体信息,如性别或种族标签。因此,研究人员希望在未来的工作中深入探索这一难题,并进一步研究真实世界决策背景下保真度差距的影响。

    本文来源:图灵汇
责任编辑: : 丁舒熳
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
解释性研究人员偏见衡量公平充满机器学习MIT
    下一篇