作品简介:
大数据分析及其影响对几乎每一个业务产生巨大影响,从SMB和财富500强企业公司。在过去的几年中,分析大量的数据,并将其转变为商业和科学见解已经成为常规公司几乎在每一个领域。
大数据平台已经彻底改变了公司的信息方式在他们的日常操作,和谢谢,企业能够实现有价值的和可靠的结论几乎是无法过去。
为了简化大数据分析过程,提高敏捷性和可伸缩性,大数据集群的过渡到公共云是自然的和连贯的。
在这篇文章中,我们将演示如何在运行复述,集群的奴隶Spotinst Elastigroup平台协助减少利用AWS云计算集群的成本现货实例。因为复述,集群状态需要的应用程序数据的连续性,我们将从服务器部署使用Spotinst Elastigroup是有状态的功能。
复述是什么?
复述是一个开源的数据的形式保存在内存中的键值数据库高速缓存方法和高度分布式系统。
数据缓存是什么?
缓存保存数据的过程是快速和容易记忆。复述是一种缓存方法有一个DB,缓存的请求提供快速导入结果。
为什么我们需要复述,?
复述,使开发人员能够轻松缓存复杂对象以获取更快的结果。
例如,卡桑德拉查询可以花一段时间来处理,因为卡桑德拉的数据是通过节点分裂。为了更快地获得结果,复述,将缓存的数据处理,并提供结果给客户端。
复述,集群架构
复述,有2个主要的集群模式,哨兵集群模式。
在我们的用例中,我们要关注集群模式(最常见),集群模式分裂复述,DB成碎片。每一个碎片通过使用散列槽持有钥匙的一部分。
在复述中,有16384个哈希插槽,和为了分发密钥碎片,每一个关键是分配给一个散列槽由哈希函数。
每个碎片(主)可以有一个奴隶复制品可以故障转移从主以防它失败了。为了故障转移集群投票,主并不是健康的,然后从将晋升为大师。
Spotinst降低集群成本如何?
Elastigroup Spotinst的旗舰产品,旨在优化性能和成本通过可靠地利用云计算供应商的产能过剩,反过来,降低云计算成本90%。
Elastigroup有状态的特点:
自从现货实例介绍了云计算市场,利用它们适用的专为无状态应用程序中,由于两分钟中断通知通过AWS造成干扰应用程序的操作。
为了扩大的现货实例附加用例,我们开发了有状态的功能,可以运行有状态现场应用实例,同时保留高可用性和数据的连续性。
Spotinst Elastigroup为用户提供了持久化根的选项,和数据量,以及私有IP的EC2实例。
根卷持久性——当Spotinst持续EC2实例的根卷,后端流程生成一个AMI (Amazon Machine Image)每5分钟从旧实例,并预计中断,将从最新的AMI启动新实例。
数据量持续——当Spotinst持续EC2实例的数据量,后端流程使用2可能的方法:生成一个AMI再植卷或快照备份。
私有IP持久性——当Spotinst将自旋向上的新实例将de-attach当前埃尼旧实例并重新新实例。
你可以有一个扩展阅读Spotinst状态的功能在这里
Spotinst的预测算法可以检测到中断15分钟之前发生,允许足够的时间自旋向上新的EC2实例和迁移私有IP,根和数据量从旧的实例。
一步一步的教程:
在接下来的教程中,我们将展示如何创建一个有状态Elastigroup与复述,奴隶从Spotinst控制台。
先决条件:
- 复述,掌握知识产权
- 网络连接到复述,大师集群在端口6379,16379
- 从Elastigroup仪表板,点击右上角“创建Elastigroup”
- 从用例菜单中,选择“集群状态”。
- 选择“创建一个新的Elastigroup”,然后单击“下一步”。
- 填写所需的细节有状态的集群,然后点击“下一步”
- 选择“按需”实例类型,AZ,应该推出现货实例类型,然后单击“下一步”
- “持久性”选项卡上,选择“保存根卷”和“维护私有IP”,然后单击“下一步”。
- 填写“用户和数据”,确保替换<主IP >脚本中,然后单击“下一步”
用户和数据的脚本:# !bin / bash sudo使用yum - y更新sudo使用yum - y安装gcc gcc-c + +使jemalloc tcl sudo mkdir /etc/redis /var/lib/redis cd /usr/local/src sudo wget“http://download.redis.io/redis-stable.tar。广州redis-stable.tar“sudo焦油vxzf”。广州redis-stable.tar“sudo rm - f”。广州“cd”redis-stable“sudo distclean sudo sudo make install sudo sed - e”s / ^绑定127.0.0.1 /绑定美元美元(主机名我| xargs) /“e”s / ^ #开发支持集群是的美元/开发支持集群是的/“e”s / ^ # - 6379 cluster-config-file节点。conf / cluster-config-file节点- 6379美元。conf /“e”s / ^ # cluster-node-timeout 15000美元/ cluster-node-timeout 15000 / - e " s / ^ daemonize没有美元/ daemonize是的/ s / ^ dir \“e”。\ \ / / dir \ \ / var / lib \ /复述\ / /“e”s / ^ loglevel冗长的$ / loglevel通知/“e”s / ^日志文件\“\”美元/日志文件\ / var \ /日志\ /复述。日志/”复述。conf | sudo三通。/ redisNew。conf redis-server。/ redisNew。conf redis-cli——集群中添加节点$ $(主机名我| xargs): 6379 <主IP >: 6379——cluster-slave - 点击“检查”,然后在“创造”
- 完成部署后,我们将看到网上的实例Elastigroup仪表板。
简介:
在这篇文章中,我们介绍Spotinst Elastigroup的有状态的功能和如何利用它的数据持久性支持额外的用例点情况下,降低运营成本戏剧性的。
用例演示了今天正在运行复述,从服务器现场实例,从而允许高可用性和一致的集群,显著降低成本。
