机器学习公平性研究是否走在正确的道路上？

随着人工智能的迅猛发展，机器学习技术被广泛应用于社会的各个领域，以辅助人们的决策。这种技术的影响力日益增大，尤其是在刑事判决、福利评估和资源分配等关键领域。

因此，评估机器学习系统在做决策时是否会对弱势群体产生不利影响显得尤为重要。这不仅关系到个体权益，也影响到整个社会的公平性。

如何评价机器学习系统的公平性？

目前，常见的评价方法是在静态数据集上运行系统，然后通过误差指标来判断公平性。然而，现实世界中的许多情况都是动态的、有反馈的。机器学习算法的决策往往受到背景因素的长期影响。因此，研究从静态公平过渡到动态公平，从短期公平过渡到长期公平是非常重要的。

最近，谷歌的研究人员针对这一问题，在ACM FAT 2020会议上发表了一篇论文，并基于这篇论文开发了一个名为ML-fairness-gym的模拟工具，用以探究机器学习系统决策对社会潜在的动态长期影响。

借贷案例

借贷是一个经典的机器学习公平性案例，由加州大学伯克利分校的Lydia T. Liu等人提出。他们简化了借贷过程，以便更好地聚焦于反馈机制及其影响。

在这个案例中，每个申请者属于不同的组，每个组有不同的信用评分分布。银行需要设定一个信用评分阈值，以决定是否发放贷款。如果申请者的信用评分高于阈值，他们就会获得贷款；反之，则会被拒绝。当模拟系统选择一个申请者时，他们是否会偿还贷款取决于他们所属组的偿还概率。

随着时间的推移，偿还贷款的申请者可以提高他们的信用评分，而不偿还贷款的申请者则会降低其所在组的平均信用评分。因此，银行的目标会影响其设置的信用评分阈值。追求最大利润的银行可能会根据申请者偿还贷款的可能性来设置阈值，而追求公平的银行则会考虑机会均等的目标。

静态数据集分析的局限性

静态数据集分析是机器学习领域常用的评估方法。然而，在有反馈的系统中，这种方法存在显著的问题。首先，测试集可能不完整，只包含已经发放贷款的申请者的信息。其次，机器学习系统的输出会影响其未来的输入，例如，银行设定的信用评分阈值会影响申请者的未来信用评分，进而影响后续决策。

这些问题突显了静态数据集分析的局限性，促使研究者需要在实际部署的动态系统中分析算法的公平性。

ML-fairness-gym：长期分析的模拟工具

为了解决上述问题，谷歌的研究人员开发了ML-fairness-gym框架。这个框架基于OpenAI的Gym框架，用于模拟序列决策过程。在这个框架中，智能体与环境交互，环境模拟系统和问题的动态性，智能体则作为机器学习系统。

在借贷案例中，银行扮演智能体的角色，接收申请者的信用评分和组信息，并根据这些信息做出贷款与否的决策。环境则模拟申请者是否成功偿还贷款，并据此调整其信用评分。ML-fairness-gym可以模拟这些结果，评估银行政策对所有申请人的长期公平性影响。

公平性并非静态：长期影响分析

Liu等人提出的原始公式主要考虑了短期影响，包括最大化奖励智能体和机会均等智能体的策略。而ML-fairness-gym则可以模拟长期影响。

通过长期分析，研究人员发现，机会均等智能体有时会对弱势群体设置较低的信用评分阈值，导致这些群体的信用评分下降更多，从而加剧了两组之间的信用评分差距。尽管如此，机会均等智能体确实为弱势群体提供了更多的贷款，但从长期来看，这反而降低了他们的信用评分。

此外，机会均等约束并不能确保总体上的真阳性率（TPR）均等，这反映了辛普森悖论的现象。这表明，当人群不断演化时，机会均等目标的实现会变得更加复杂。

总结

ML-fairness-gym框架为机器学习公平性的研究提供了一种新的工具，有助于更全面地评估机器学习系统的长期影响。通过这个框架，研究人员可以更好地理解算法决策对不同群体的长期影响，从而制定更公平、更有效的政策。

参考文献：

1. https://ai.googleblog.com/2020/02/ml-fairness-gym-tool-for-exploring-long.html
2. https://github.com/google/ml-fairness-gym
3. https://bair.berkeley.edu/blog/2018/05/17/delayed-impact/
4. http://proceedings.mlr.press/v80/liu18c/liu18c.pdf