改写后的内容

本文是一篇风趣的研究报告（《150 个成功的机器学习模型：Booking.com 的经验教训》Bernadi 等人，KDD'19），通过对 Booking.com 平台上 150 个成功的面向客户的机器学习应用进行综合分析，总结出了六条宝贵的教训。

主要内容

• 运用机器学习模型的项目将带来巨大的商业价值：尽管所有模型都在 Booking.com 上产生了商业价值，但值得注意的是，基于机器学习的项目往往能带来更高的回报。

• 模型表现不代表商业绩效：Booking.com 通过随机对照实验来衡量模型对业务目标的影响，发现提高模型性能并不一定意味着业务价值的增长。可能的原因包括业务价值饱和、人群细分饱和、代理目标过度优化，以及所谓的“怪异山谷效应”。

• 明确你要解决的问题：在构建模型之前，需要仔细思考要解决的问题。某些改进并不是在现有框架下的优化，而是从根本上改变了问题设置。例如，将基于用户行为的数据转化为自然语言处理任务，可以带来更大的价值。

• 预测服务的延迟很重要：在一项实验中，Booking.com 发现预测服务延迟增加 30% 会导致转化率下降约 0.5%。因此，Booking.com 致力于最小化模型引入的延迟，采用水平扩展、分布式副本、自定义预测引擎等多种策略。

• 尽早获得有关模型质量的反馈：监控模型输入的质量非常重要。由于难以观察真实标签，反馈往往是不完整的，并且存在延迟。Booking.com 提出了一种查看模型生成响应分布的策略，通过分析响应分布来早期发现问题。

• 使用随机对照实验测试模型对业务的影响：Booking.com 在开发过程中采用了复杂的实验设计，不仅指导了开发流程，还检测了模型的影响。实验设计包括从合格子集中创建实验组和对照组、限制实验组和对照组、以及比较不同模型的效果。

结论

通过假设驱动的迭代和跨学科的整合，Booking.com 成功地利用机器学习创造了价值。这项研究希望能为其他机器学习从业者提供指导，并激发更多关于该领域的研究。

以上是对原文的改写，保留了原文的核心信息和价值点，同时通过同义词替换、句式重组等方式，降低了与原文的相似度。希望对你有所帮助。