运行Hadoop MapReduce和火花使用Amazon EMR Spotinst组

Amazon Elastic MapReduce

Amazon Elastic MapReduce (EMR)是一个web服务,它使您能够轻松处理大量的数据,并简化了大数据处理,提供一个Hadoop框架,让用户可以更方便管理,快速、有效的分配和处理大量数据的动态可伸缩的Amazon EC2实例。

您还可以运行其他流行的分布式框架如亚马逊EMR的火花,转眼间,和其他与数据交互AWS Amazon S3等数据存储。

Spotinst MapReduce集团

Spotinst MapReduce Spotinst集团的集团是一个扩展,使一个明智的和可靠的使用Amazon EC2实例在你现有的亚马逊EMR集群或定制Hadoop环境。Spotinst EMR,有一个内置的自动扩展功能,鳞片的上下节点使用一个具有成本效益的方法。

Spotinst MapReduce运行

——现有的亚马逊EMR集群的一部分

请注意:任务节点使用Spotinst缩放。

如果你想Spotinst MapReduce连接到现有的EMR集群,简单地提供以下细节:

• 你的EMR clusterId
• 所需的实例类型的分布

在这个例子中,我们选择所有2-xlarge和4-xlarge实例,Spotinst的优化器将根据价格来选择最具成本效益的历史和可用性在过去的几天,几周和几个月:

• 最小值、最大值和所需的CPU核的数量。
• 添加、删除任务扩展策略——定义警报的节点组。

默认Spotinst尺度根据任务的CPU阈值的节点。你可以指定你的监测指标,反映等待工作队列等。

在一个简单的API调用,将数十或数百个任务节点添加到您的集群,睡眠安静Spotinsts”优化器将以最具成本效益的方式利用资源,将根据集群规模上下活动,并将处理任何现货市场的失败。雷竞技rabet官网

——作为一个完整的亚马逊EMR集群

请注意:完成Spotinst EMR集群。

如果你想运行成本为重的方式工作,短期使用映射-规约模式工作或可恢复的计算工作,使用Amazon s3作为数据源。你想旋转Spotinst“ClusterWatcher”

创建ClusterWatcher——简单地提供以下:

• 一个实例类型列表,你的工作量可以运行。

您可以提供专门为大师,核心节点和节点单独的任务。

• 一个可用性区域在VPC列表。

Spotinst优化器会选择最好的可用性区域运行硬件和旋转最有利可图的实例类型匹配工作负载。

• 克隆从集群ID。

克隆你所有的应用程序中,角色、步骤和引导行为。

完成你的工作按时

如果你想完成你的一些工作在一个固定的时间窗口,可以发出一个API调用Spotinst JobId (job_XXXXXXXXXXXX_XXXX)和估计的时间框架你希望完成的工作,和Spotinst优化器将根据扩大资源雷竞技rabet官网RemainingMapTasks,RemainingMapTasksPerSlot和RemainingReduceTasks指标的具体JobId。

看到它在行动

请注意:Spotinst仪表板。

Spotinst变得聪明

当你运行使用Spotinst EMR集群,Spotinst优化器是学习资源的任务所需要的东西,他们通常需要多长时间,什么是你的工作负载模式和计算资源将匹配最好的为您的雷竞技rabet官网需要服务。工作负载的主要关键是找到最佳组合意识和降价。Spotinst会选择将生成的实例仍然最具成本效益的,用于你的工作。