发表于 | 分类于 | 阅读次数

快速安装说明

Step 1：在GitHub上注册一个账号，并fork一份Dr. Elephant项目代码。

Step 2：检出代码。

1
2
$> git clone https://github.com/<username>/dr-elephant
$> cd dr-elephant*

Step 3：先决条件：

1
2
export ACTIVATOR_HOME=/path/to/unzipped/activator
export PATH=$ACTIVATOR_HOME/bin:$PATH
  • Dr.Elephant将分析数据结果存储在MySQL数据中。如果你还没装，请先安装好MySQL。（推荐5.5以上版本）

  • 为了正常使用Dr. ElephantUI界面，需要安装npm及其依赖

    1
    2
    3
    sudo yum install npm
    sudo npm install -g bower
    cd web; bower install; cd ..

  • 最后，你还需要安装好Hadoop或者Spark。

阅读全文 »

发表于 | 分类于 | 阅读次数

系统环境要求

Dr. Elephant依赖于YARN的资源管理服务器和历史作业记录服务器，来获取作业详细信息和记录。YARN作业及其分析的详细信息将存储在当前配置的后端mysql中。因此在运行Dr. Elephant前，必须安装好MySQL和hadoop 2。
从#162开始，将不再支持JAVA 6。

阅读全文 »

发表于 | 分类于 | 阅读次数

简介


Dr. Elephant是一个Hadoop和Spark的性能监控和调优工具。它能自动采集作业的度量指标并分析他，然后以简单明了的方式展现出来。Dr. Elephant的设计思想是通过作业分析结果来指导开发者进行作业调优，从而提升开发者效率和集群资源的利用率。Dr. Elephant使用了一组可配置的插件式启发算法来分析hadoop和spark作业并提供优化建议。然后针对结果数据来建议如何调整作业。这个算法还计算了作业的许多其他度量标准，用来为集群作业优化提供了有价值的参考信息。

阅读全文 »

发表于 | 分类于 | 阅读次数

pyenv实现多个python版本并存

由于python 2和3存在不小的区别，尤其个别第三方库并不是都兼容，所以有时候我们需要在同一台服务器上运行多个不同的python版本

1.安装pyenv

(1)安装到$HOME/.pyenv目录:

1
git clone https://github.com/yyuu/pyenv.git ~/.pyenv

(2)配置环境变量

1
2
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile

(3)添加pyenv初始化到你的shell并生效

1
2
3
echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile
source ~/.bash_profile
阅读全文 »