Demandbase将AWS EMR成本降低了70%
使用EC2现货实例

亚马逊网络服务自动定量工作负载aws大数据弹性映射缩减emr机器学习现货实例

所面临的挑战

运行大数据工作负载在基于客户的营销行业中很常见,需要大量的计算资源。雷竞技rabet官网Demandbase利用数百个资源密集型实例来处理数百tb的数据。随着Demandbase变得更加成功,他们的用户基础大幅增长,他们的基础设施也必须相应扩展。在这一点上,成本成为一个主要的问题。Demandbase试图通过使用托管机器学习服务来解决成本上升的问题,但经历了大量的停机时间,并且缺乏定制的调优功能。

雷电竞官网进入像AWS EMR这样的解决方案可以很容易地开始使用运行大数据框架(如Apache Spark和Hadoop)的托管集群。Demandbase最终切换到在现场实例上运行的AWS EMR,并能够完全访问Spark集群,并根据需要定制它。虽然使用现货实例可以立即节省成本,但缺点是云提供商可以在几乎没有通知的情况下终止它们。这种类型的行为可能危及集群的可靠性和数据一致性。

Demandbase正在寻找一种解决方案,可以为现场实例管理大型EMR基础设施提供DevOps自动化。他们主要关心的是稳定性,因为现货实例市场经常变化,他们会定期丢失节点,无法了解市场、投标过程以及如何替换中断的实例。最终找到了需求基础弹性组由点并且很想知道它如何帮助他们实现基础设施自动化并降低成本。

为什么现货

只需在Spot web控制台点击几下,Demandbase就可以将其现有的AWS EMR部署导入到Elastigroup.导入完成后,Demandbase能够利用EMR集成来自动化他们的基础设施并降低成本。

Demandbase发现,Elastigroup的EMR集成明智而可靠地使用了他们的现场实例,因为它内置的自动扩展功能,可以通过学习需求、持续时间、工作负载模式以及哪些计算资源最适合它们来扩展或缩小任务节点。雷竞技rabet官网Elastigroup找到工作负载可用性和价格的最佳组合,并将选择最具成本效益且可用于该作业的实例。

除了能够采取不干涉的方法来扩展EMR基础设施之外,Demandbase还能够进一步自动化他们的管理任务,因为Elastigroup如何处理现货实例市场中的故障。Elastigroup在现货实例市场中利用Spot的预测算法,确保容量不会从用户自定义的容量设置中下降。

现货实例市场得分热图向您显示相关现货实例市场的健康状况。

Elastigroup使用机器学习分析现货市场,并可以提前15分钟预测中断。当Spot实例面临终止风险时,Elastigroup将开始优雅地替换它们。Elastigroup为Demandbase提供了开始在AWS EMR上有效使用现货实例所需的精确DevOps自动化。此外,他们不再需要担心试图自己找出现货市场,以竞标最佳价格,确定最佳可用性,并手动替换中断的实例。

结果

使用Elastigroup后,Demandbase能够将云计算账单减少70%以上,拥有一个更稳定的环境,自动化任务和基础设施扩展,根据需要定制和调优EMR环境,并自动化管理他们的现货实例,以实现价格和可用性的最佳组合。

Demandbase热情地致力于帮助B2B营销人员实现更大的业务影响。他们专注于帮助营销人员识别和定位他们最重要的客户,为创建基于账户的营销类别铺平了道路。从那时起,他们继续引领市场,帮助营销人员利用创新技术解决最大的挑战并推动结果。

https://www.demandbase.com/
Baidu
map