发表于 | 分类于 | 阅读次数

本节介绍如何使用Dr.Elephant来进行任务查看，分析，搜索，比较等。

仪表盘

Dr.Elephant的启动首页正如你所见

组件

集群统计信息

这个页面包含了集群最近的统计信息。列出了最近24小时分析过的作业数量，可进行优化的作业数量和待优化的作业数量。

最新分析

这一部分列出了最近一段时间分析的任务

阅读全文 »

发表于 | 分类于 | 阅读次数

Dr.Elephant设置

请按照快速安装说明操作here.

先决条件

Play/Activator

Hadoop/Spark on Yarn

为了在本地部署Dr.Elephant测试，你需要安装Hadoop(version 2.x)或者Spark(Yarn mode, version > 1.4.0)，以及资源管理服务和历史作业服务（可以用伪分布式）。关于伪分布式模式在YARN上运行MapReduce作业相关说明可以在这里找到。

如果还没设置环境变量，可以导入HADOOP_HOME变量

1
2
$> export HADOOP_HOME=/path/to/hadoop/home
$> export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
阅读全文 »

发表于 | 分类于 | 阅读次数

快速安装说明

Step 1：在GitHub上注册一个账号，并fork一份Dr. Elephant项目代码。

Step 2：检出代码。

1
2
$> git clone https://github.com/<username>/dr-elephant
$> cd dr-elephant*

Step 3：先决条件：

1
2
export ACTIVATOR_HOME=/path/to/unzipped/activator
export PATH=$ACTIVATOR_HOME/bin:$PATH
  • Dr.Elephant将分析数据结果存储在MySQL数据中。如果你还没装，请先安装好MySQL。（推荐5.5以上版本）

  • 为了正常使用Dr. ElephantUI界面，需要安装npm及其依赖

    1
    2
    3
    sudo yum install npm
    sudo npm install -g bower
    cd web; bower install; cd ..

  • 最后，你还需要安装好Hadoop或者Spark。

阅读全文 »

发表于 | 分类于 | 阅读次数

系统环境要求

Dr. Elephant依赖于YARN的资源管理服务器和历史作业记录服务器，来获取作业详细信息和记录。YARN作业及其分析的详细信息将存储在当前配置的后端mysql中。因此在运行Dr. Elephant前，必须安装好MySQL和hadoop 2。
从#162开始，将不再支持JAVA 6。

阅读全文 »

发表于 | 分类于 | 阅读次数

简介


Dr. Elephant是一个Hadoop和Spark的性能监控和调优工具。它能自动采集作业的度量指标并分析他，然后以简单明了的方式展现出来。Dr. Elephant的设计思想是通过作业分析结果来指导开发者进行作业调优，从而提升开发者效率和集群资源的利用率。Dr. Elephant使用了一组可配置的插件式启发算法来分析hadoop和spark作业并提供优化建议。然后针对结果数据来建议如何调整作业。这个算法还计算了作业的许多其他度量标准，用来为集群作业优化提供了有价值的参考信息。

阅读全文 »