Rama Ramakrishnan 是麻省理工学院斯隆管理学院的实践教授。他专注于永利皇宫app官网科学和机器学习。他担任永利皇宫app官网科学企业家和技术高管已有 20 多年，最近担任 Salesforce 高级副总裁和 Salesforce Commerce Cloud 首席永利皇宫app官网科学家。
随着高管和经理认识到永利皇宫app官网科学和人工智能在提升绩效方面的潜力，越来越多的组织开始聘请永利皇宫app官网科学家。但聘请有才华的永利皇宫app官网科学家是一回事，另一回事是另一回事。利用他们的能力为组织谋取利益是另一回事。
支持永利皇宫app官网科学团队并使其发挥最佳作用需要一套特定的实践，包括明确识别问题、设置评估成功的指标以及仔细查看结果。这些步骤不需要技术知识，而是重视清晰的业务思维，包括了解业务以及如何对组织产生影响。
永利皇宫app官网科学团队可以成为企业的巨大价值来源，但未能为他们提供适当的指导并不是成功的秘诀。遵循这些步骤将帮助永利皇宫app官网科学团队充分发挥潜力，为您的组织带来好处。
1。为永利皇宫app官网科学团队指明正确的问题。
企业领导者在定义他们希望永利皇宫app官网科学团队解决的问题时应格外小心。永利皇宫app官网科学家，尤其是新永利皇宫app官网科学家，通常希望开始准备永利皇宫app官网和构建模型。至少一开始，他们可能没有信心质疑高级业务主管，特别是如果该人是项目发起人。
领导者有责任确保团队专注于正确的问题。例如，建立一个模型来决定在营销活动中定位哪些客户的公司必须决定该模型是否应该识别具有高交易倾向的客户，或者是否应该识别可能进行交易的客户如果宣传但没有其他目的.
根据答案的不同，永利皇宫app官网科学团队采取的路径（包括训练永利皇宫app官网、建模方法和工作量）可能会大不相同，对业务的影响也将大不相同。
更一般而言，为了最大限度地提高发现正确问题的机会，请了解您所在行业的其他公司正在做什么，尤其是永利皇宫app官网科学的早期采用者。少关注如何他们正在解决这个问题，因为通常有很多不同的方法可以解决任何永利皇宫app官网科学问题，并且需要更多关注什么 他们正在解决。
2。预先确定一个明确的评估指标。
为了解决问题，永利皇宫app官网科学团队通常会构建大量模型，然后选择看起来最好的模型。为了做出这种选择，他们需要一个指标。给定多个模型，他们可以使用此指标对它们进行排名并选择最好的一个。
领导者需要运用商业判断来确定该指标应该是什么，这比听起来更棘手。在任何复杂的业务情况下，都不存在单一的完美指标。通常有许多相关指标，并且它们经常相互冲突。
例如，永利皇宫app官网科学团队可能会被要求使用历史联系人永利皇宫app官网来构建模型，以帮助销售团队优先考虑要联系的客户。在团队将构建的众多模型中，什么指标可以表明最好的模型？
其中一个选项是错误率，即模型预测不正确的永利皇宫app官网点的百分比。这是一个合理的指标，但它是两件事的平均值：误报率 - 预测为损失（不值得联系）的潜在客户实际上会获胜 - 以及误报率，或预测为胜利的潜在客户结果是损失。
错误率最低的模型可能同时存在误报和漏报，这可能不适合您的业务，因为这两种类型的错误可能会产生截然不同的影响。模型略更高如果以对您的业务更有利的方式平衡误报和漏报，那么总体错误率甚至可能会更好。平衡这些错误的最佳方法应该是模型选择过程的一部分，并且需要业务团队的预先指导。
如果您不确定使用什么指标，请让您的永利皇宫app官网科学团队向您介绍业界通常用于评估类似问题的模型的指标。您可以选择一个反映对业务重要的指标，如果没有一个很好匹配，您可以与永利皇宫app官网科学团队合作创建自定义指标。
3。首先创建一个常识性基线。
确定一个相关的重要问题并定义反映业务优先级的清晰评估指标后，您需要创建一个常识性基线，这就是您的团队在不懂任何永利皇宫app官网科学的情况下解决问题的方法。例如，如果您的永利皇宫app官网科学团队正在为您的电子商务网站构建个性化推荐算法，那么一个简单的基线就是跟踪访问者查看的产品类别，并推荐这些类别中的最畅销产品。
建立常识性基线将迫使团队让端到端永利皇宫app官网和评估流程正常运行，并发现任何问题，例如永利皇宫app官网访问、清洁度和及时性。它还将通过实际计算评估指标来解决任何战术障碍。
了解基准在评估指标上的表现如何，可以快速了解项目的预期收益有多少。经验丰富的从业者非常清楚，常识性的基线往往很难被超越。即使永利皇宫app官网科学模型超越了这些基线，它们也可能以微弱的优势实现这一目标。
最后，这也导致永利皇宫app官网科学团队花一些时间从基本原理出发思考永利皇宫app官网和问题，而不是仅仅深入研究并使用强大的机器学习模型来解决问题。他们将对如何使提议的解决方案在评估指标上表现良好产生宝贵的直觉，并思考应该避免什么。这也自然会导致他们与可能一直手动解决问题的业务最终用户交谈。也许最重要的是，他们将开始与了解业务的非技术同事建立关系，从长远来看，这将为您的组织带来回报。
4。管理永利皇宫app官网科学项目更像是研究而不是工程。
善意的高管自然会要求永利皇宫app官网科学团队遵守明确的时间表并追究他们的责任。毕竟，这是项目管理中的常规工作。但在这种情况下，这是一个错误。
大多数永利皇宫app官网科学工作都包含很强的研究成分，这意味着大量时间花在死胡同上，而没有任何成果。这种反复试验使得很难预测何时 将会出现突破。
例如，永利皇宫app官网科学家也许能够快速制定出性能提高 6% 的解决方案。但他们无法预测需要多长时间才能从 6% 提高到 10%。它可能明天发生，可能下个月发生，也可能永远不会发生。
2006 年，Netflix 邀请了来自世界各地的永利皇宫app官网科学家来击败他们的内部电影推荐系统。第一个表现出 10% 进步的团队将获得 100 万美元的大奖，来自 186 个国家的 41,305 支团队加入了竞争。即便如此，10% 的门槛还是花了三年时间才被突破。
如果永利皇宫app官网科学家总是错过最后期限，请不要认为他们无能。他们正在解决的问题可能很困难，没有人可以预测何时能得到令您满意的解决。
领导者可以做的是定期与永利皇宫app官网科学团队会面，了解永利皇宫app官网科学工作的起起落落，这本身就是一件值得发展的事情。如果领导者在某个时候意识到团队的努力陷入停滞并且改进正在缓慢推进，那么暂停并重新考虑改进是否足够好可能是一个好主意，并且可能是时候考虑停止该项目了。这不是一个容易的决定，但另一种选择可能是漫长而不确定的等待，并且不能保证成功。
5。检查“真相和后果”。
重要的是要对结果进行严格审查，以确保好处是真实的，并且不会产生意外的负面后果。最基本的检查是确保结果是根据未用于构建模型的永利皇宫app官网计算的。
假设结果是真实的，还要检查是否有不良副作用。当模型提高选定指标的性能时，它可能会牺牲其他重要指标。例如，电子商务企业可能会专注于通过改进的推荐算法来提高每个访问者的收入。每个访问者的收入是转化率和每次转化收入的乘积。
如果算法通过增加每次转化收入来实现其目标，但却降低了转化率，则可能会损害组织让更多访问者成为客户的战略目标。可以说，仅仅让现有客户增加支出，最终可能会耗尽他们的预算，并导致未来的增长放缓。
总是需要做出判断一个指标与另一个指标之间的权衡，企业领导者应该参与这些决策的制定。
6。记录一切，并定期重新训练。
发布前进行再多的测试都无法完全防止模型使用某些类型的输入永利皇宫app官网产生意外或错误的预测。但是，如果尽可能详细地记录每个输入和输出，那么调查和解决问题将变得更加容易和更快。这对于面向消费者的应用程序尤其重要。
随着时间的推移，输入模型的永利皇宫app官网的性质将开始偏离用于构建模型的永利皇宫app官网。如果不采取行动，这将降低模型的效率，因此确保永利皇宫app官网科学团队实现自动化非常重要 可跟踪的流程 随着时间的推移和重新训练模型的性能 必要时。
永利皇宫app官网科学模型与一般软件一样，由于需要维护和升级，往往需要大量的未来工作。由于对永利皇宫app官网的极大依赖以及由此产生的重新培训的需要，他们需要付出额外的努力和复杂性。此外，缺乏关于模型如何工作的知识可能会使识别和解决问题变得具有挑战性。记录所有内容并定期重新训练模型是解决这些挑战的行之有效的方法。
