一个新的寻找快乐,自由,跨平台的监控界面火花

快乐是什么?

快乐是一个免费的、跨平台的监控界面Apache火花特色:

• 火花CPU使用率指标、聚合所有执行者
• 遗嘱执行人内存指标,可用于每一个执行者
• 火花的时间工作和阶段,执行人添加/删除事件
• 访问火花UI(我们主办火花历史服务器给你)

你可以将它安装在任何现有的基础设施——EMR火花,砖,Spark-on-Kubernetes开源,Cloudera / Hortonworks…——通过附加一个开源火花应用程序代理。看到开源库的安装说明:https://github.com/datamechanics/delight

有什么新的喜悦吗?

喜悦最初是由力学的团队在2021年4月的数据。后一年NetApp力学的采集的数据点,团队很乐意发布一个新的,更直观、友好的用户界面版本的喜悦。

当你登录到高兴的是,最近完成了火花的主要仪表板功能列表应用程序(注意:火花应用程序只出现几分钟后完成)。您可以确定应用程序的名称、开始日期、持续时间。以下数据是可用的:

• I / O:读取和写入的数据量的火花
• 遗嘱执行人CPU运行时间:总cores-hours资源使用的火花执行人。雷竞技rabet官网例如,如果您的应用程序有10个执行人,4核,运行1小时,然后执行程序CPU运行时间40小时。
• 任务:火花持续时间之和的火花任务跑在你的工作。
• 计算效率比:“火花任务持续时间/执行人CPU运行时间”,这是一个衡量的并行度。效率接近100%意味着您的火花执行人忙于运行火花任务。

一旦你深入应用程序的页面,你会看到一个图显示了执行器核心的使用。下这张图你会看到火花的时间工作和阶段。你可以用这张图表理解火花应用程序的性能瓶颈,或识别特定的火花工作和阶段并行性不足。

高兴也随着时间的推移收集内存使用量为每个火花执行人,记录从Java虚拟机内存使用量,Python和其他流程。您可以使用这些信息来调整内存分配。当然,最好有遗嘱执行人的最大内存使用量低于90%总内存容量,确保你有一点喘息的空间,不遇到OutOfMemory错误。

快乐的下一个步骤是什么?

快乐的目的是为了方便开发人员理解火花激发工作的性能瓶颈,更好地受益于稳定,性能和降低成本。喜悦显示富有洞察力的CPU和内存度量来帮助开发者解决常见的并行性不足等问题,缓慢的洗牌,缓慢的I / O,内存错误等等。

快乐背后的团队目前专注于建筑dota2雷竞技规则 全面管理,不断优化Spark-on-Kubernetes服务。事实上海洋引发客户获得喜悦的可视化没有任何配置。

我们有很多伟大的取悦用户的反馈和计划提供更多的快乐在未来的改进,包括:

• 实时监控现场引发的应用程序。今天高兴的是应用程序页面可用在应用程序的完成。
• 使更多的喜悦登录方法。(目前谷歌SSO支持。)
• 自动化的性能调优建议。(内存问题,缓慢的洗牌,坏并行/数据倾斜,缓慢的I / O,等等)。