2017年初,SimilarWeb面临着将一个庞大的预置系统迁移到云端的任务。迁移从来都不是一件容易的事情,但是由于需要考虑大量数据负载和各种产品需求,这项任务的复杂性令人难以承受。它还一开始会很贵吗即使从长远来看能降低成本。
SimilarWeb团队的目标很明确;在不增加IT成本的情况下迁移到云端。Oz卡茨SimilarWeb的生产工程主管,领导了这一行动,从一些工作负载开始测试他们的假设。很快,他们就发现了他们迁移的三个基本最佳实践:
Katz说"降低成本是迁移到AWS的最大障碍之一。Spot是帮助他们降低成本的关键角色——他们使用Spot在Spot实例上运行任何工作负载。
“最终,”Katz说,“我们可能已经能够利用自己的解决方案在Spot上运行一些工作负载,但是Spot的专注和专业知识使其成为一个交钥匙解决方案“由于整个迁移的重担都压在他们的肩上,即使对他们经验丰富的团队来说,自己使用工具和运行现场解决方案也不是一个选择。
如果在Spot上运行不是一个理想的解决方案,或者需要一些额外的工具,Katz就会利用RIs。通过购买1年期RIsKatz和他的团队都能够立即降低成本,并在发现他们选择了错误的实例类型时保持灵活性,或者最终可以当场运行该工作负载以进一步节省成本。
由于SimilarWeb的生产工程团队与每个产品团队密切合作,降低成本并不是一直以来的主要关注点。“有时我们在特定产品中有其他优先事项,但最终,当保持产品成本成为优先事项时,Spot将永远是解决方案。”
Katz发现一些平台对于保持平稳迁移和管理工作负载至关重要:
特别是在迁移到云端时,为所有工作负载找到一个强大的编排工具对于节省时间和精力至关重要。此外,通过利用基础设施即代码,他们的团队可以创建可重复的组件,并在几天内在新的AWS区域上启动整个堆栈。
Kubernetes很棒,但太复杂了,无法直接管理。游牧是他们的首选解决方案,因为他们已经在使用HashiCorp的全系列产品,包括Consul和Vault。用于编排大规模工作负载。
虽然Nomad和Terraform是很棒的编曲工具,点的自动定量使得大规模管理更加容易,让SimilarWeb的团队有时间专注于他们的主要任务。
卡茨说:“大规模地可视化日志是非常非常昂贵的。”最终,当你有大量的日志需要查看内部的能力时,捕获所有这些数据并存储它们的成本很高,“在我们的规模下,大多数SaaS提供商都太贵了”Katz补充道。
Katz很快意识到,他可以通过spot现场运行这些工作负载。不到一周,它就开始运行了。
在第一年的迁移非常成功之后,SimilarWeb在2018年的主要重点是完成迁移,并继续实施他们在AWS上第一年建立的最佳实践。
SimilarWeb是全球领先的数据情报平台之一,为数千家公司提供数字见解。为了提供他们的见解,他们分析了3M移动应用程序和8000万个网站的数据,然后综合所有这些数据,每月向超过600万的访问者提供这些数据。
https://www.similarweb.com/