搞机器学习的朋友经常需要在各种数据集上为AI模型进行评估。最近，Papers with Code团队推出了一款名为sotabench的自动化评分服务，旨在对所有开源模型进行全面评估。

sotabench允许用户无需上传代码，只需连接GitHub项目，即可借助云端GPU进行评分。每次提交新的commit时，系统会自动更新评分。此外，该平台还提供了全球排行榜，让用户能够了解各个项目的表现情况。

除了支持主流数据集外，sotabench还允许用户上传自己的数据集。用户可以查看其他论文中的结果是否可靠。例如，用户可以fork Facebook的FixRes项目，配置评价文件，然后一键关联，让sotabench的GPU运行ImageNet图像分类测试，从而获得详细的评分结果，包括Top-1准确率、Top-5准确率、运行速度和全球排名等信息。

值得注意的是，sotabench是一个收费服务。尽管如此，它发布后迅速获得了用户的热烈反响，得到了大量点赞和关注。许多用户认为这一工具对开发者社区非常有用。

sotabench的功能与用法

sotabench被视作Papers with Code的姊妹工具，后者主要关注论文报告中的评分情况。相比之下，sotabench关注的是开源项目代码的实际运行结果。用户可以使用sotabench测试自己的模型，也可以验证其他项目的模型性能。

使用步骤

1. 本地评估：在GitHub项目的根目录下创建一个sotabench.py文件，编写必要的逻辑代码，以便加载、处理数据集并得出预测结果。使用开源基准测试库（如sotabench-eval或torchbench）来运行模型。这个库支持多种数据集，包括ImageNet等。

2. 连接GitHub项目：点击按钮，连接到GitHub账号，选择要测试的项目。系统会自动在云端GPU上运行测试，并根据requirement.txt文件设置测试环境，确保捕捉到所有的依赖项。每次提交commit时，系统都会自动重新评分，确保分数始终是最新的。

用户反馈

sotabench一经推出，便受到了广泛的好评。许多用户表示，这一工具极大地简化了模型评估的过程，尤其是对于初学者来说，能够实现数据集获取、预处理和评估的自动化和标准化。一些用户还提出了宝贵的建议，比如希望能够在每次提交时报告模型的超参数，开发团队也积极响应，计划在未来版本中增加这些功能。

获取更多资源

想要了解更多关于sotabench的信息，可以访问其官方网站：https://sotabench.com/。此外，还有两个基准测试库可供选择：通用版sotabench-eval（https://github.com/paperswithcode/sotabench-eval）和PyTorch版torchbench（https://github.com/paperswithcode/torchbench）。

— 完 —

希望以上内容符合您的需求，如果有任何修改意见，请随时告知。