机器学习模型的黑盒公平性测试
作者头像
  • 真是奇怪le
  • 2020-06-21 07:07:03 2

在本文中,我们探讨了如何识别机器学习模型中的个体歧视问题。个体歧视是指在机器学习模型中,即使输入的非保护属性相同,但由于受保护属性的不同,导致模型输出不同的决策结果。为了确保人工智能系统的公平性和可靠性,识别和消除这种歧视至关重要。

当前,评估个体歧视的方法主要依赖于详尽的测试,这对于大多数系统而言并不现实。为此,我们提出了一种新的方法,利用符号执行和部分可解释性技术来自动生成测试用例,以便高效地检测个体歧视。我们的方法通过系统化地探索程序的不同执行路径,生成有效的测试用例,从而有效地检测个体歧视现象。与现有技术相比,我们的方法更为高效,能够在更短的时间内生成更多具有判别性的测试用例。

我们的方法结合了两种成熟的技术:符号执行和部分可解释性。符号执行可以从一个随机输入出发,通过分析路径生成一系列路径约束条件,并通过迭代切换路径中的约束条件生成新的路径约束条件。部分可解释性则允许我们利用现成的部分解释器生成路径的线性近似,这有助于生成新的测试输入。这种方法不仅提高了测试用例的生成效率,而且在检测个体歧视方面表现出色。

我们还在几个开源模型上进行了实验,展示了我们的方法的有效性。实验结果表明,我们的方法在生成判别性测试用例方面比现有的基准方法更有效,特别是在途径覆盖率和个体歧视检测方面。我们的技术不仅可以提高测试效率,还可以帮助开发者更全面地理解和改进模型的公平性。

总之,本文介绍了一种创新的方法,用于识别和检测机器学习模型中的个体歧视。这种方法不仅在理论上可行,而且在实际应用中也展现出显著的优势。未来,我们计划继续优化该方法,以应对更多复杂的模型和场景,进一步推动人工智能系统的公平性和可靠性。

    本文来源:图灵汇
责任编辑: : 真是奇怪le
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
公平性模型机器测试学习
    下一篇