教程:现场运行Hadoop集群节点状态实例

本月早些时候,我们宣布支持“有状态点”实例Spotinst Elastigroups。这个特性允许您提供现货实例和自动恢复的完整状态实例包括私有IP。复苏发生时我们会自动创建一个克隆的实例,它将显示为实例是否重启了。阅读更多://www.drvrless.com/blog/2017/04/new-service-stateful-spot-service/

创建一个Hadoop集群

首先,让我们创建一个新的Hadoop集群。在本教程中,我将使用一个预先构建的云形成模板,提供主节点和两个数据节点。你能找到这个项目在GitHub上https://github.com/varunrao/HDP-deployment

1. 打开CloudFormation CloudFormation编辑器模板粘贴到AWS控制台。该脚本可以在这里找到:https://github.com/varunrao/HDP-deployment/blob/master/HDP-cloudformation-ambari-2.0.json
2. 脚本修改云形成的地区使用。在我的例子中,我不得不改变AMI和地区us-west-2相匹配。如果您使用的是us-east-1你不需要进行任何更改。
   
3. 点击“创建堆栈”按钮部署CloudFormation脚本
   
4. 指定集群的细节在你认为合适的地方。确保输入正确的密钥对或这将抛出一个错误。
5. 部署新的堆栈,几分钟后,您应该看到状态更改为“CREATE_COMPLETE”你可以看下面的图。
6. 去“输出”找到的路径管理控制台。
7. 
8. 从控制台输入admin / admin登录和密码
   
9. 现在,您将看到您的新集群中,如果你点击主机下面你会发现你的数据节点。

创建新的数据节点上状态实例

现在我们已经创建了新的Hadoop集群,让我们进入Spotinst控制台并导入数据节点自动伸缩功能组和添加一个有状态的实例。

1. 从Elastigroup菜单中点击“创建”然后选择“导入”,选择“自动伸缩功能组”从下拉菜单。
   
2. 选择该地区部署了Hadoop集群并选择ASG名字可以看到下面,然后单击“导入”。
   
3. 选择“产品”作为“Linux”菜单并选择一些现货实例类型按需匹配集群实例。在这种情况下,我选择了m3。媒介和m3。大的点类型菜单。注意,有六个市场供点供应。
   
4. “有状态配置”下选择下面的选项可以看到。这将确保更换地点将会是一个实例的克隆,以防现货实例需要终止。
   
5. 推出新的Elastigroup和等待新实例被添加到Hadoop data节点集群。

测试

现在,我们已经创建了一个新的Hadoop集群让我们尝试打破它。从EC2控制台终止的一个实例,你发起Spotinst Elastigroup。

当你回到你的洋麻控制台发现处于错误状态的一个实例。这是终止在我们的测试实例。因为我们使我们的状态特征Elastigroup实例数据量、根体积,和私有IP将自动恢复新的EC2实例。Spotinst关闭服务器,将最后一卷的快照,从该快照创建一个AMI和启动一个全新的实例数据,和私有IP地址。

现在数据节点下自实例终止通过EC2控制台。

几分钟后Spotinst Elastigroup之前终止点实例将自动恢复到一个新的维护数据和私有IP。

就是这样!你现在有一个新的状态点实例添加到您的Hadoop集群。如果实例需要替换它将自动关闭,克隆,取而代之的是一个新的发现与以前相同的国家和私有IP实例。

结论

我们希望你喜欢这个教程如何提供有状态点为您的Hadoop集群实例。你可以很容易地利用您的Hadoop集群节点的现货实例节省成本和可用性。

——Spotinst团队