发表于 | 分类于 | | 阅读次数

度量指标

资源用量

资源使用情况是你作业在GB小时内使用的资源量。

计量统计

我们将作业的资源使用量定义为任务容器大小和任务运行时间的乘积。因此，作业的资源使用量可以定义为mapper和reducer任务的资源使用量总和。

范例

1
2
3
4
5
6
7
8
Consider a job with: 
4 mappers with runtime {12, 15, 20, 30} mins. 
4 reducers with runtime {10 , 12, 15, 18} mins. 
Container size of 4 GB 
Then, 
Resource used by all mappers: 4 * (( 12 + 15 + 20 + 30 ) / 60 ) GB Hours = 5.133 GB Hours 
Resource used by all reducers: 4 * (( 10 + 12 + 15 + 18 ) / 60 ) GB Hours = 3.666 GB Hours 
Total resource used by the job = 5.133 + 3.6666 = 8.799 GB Hours

浪费的资源量

这显示了作业以GB小时浪费的资源量或以浪费的资源百分比。

阅读全文 »

发表于 | 分类于 | | 阅读次数

本节介绍如何使用Dr.Elephant来进行任务查看，分析，搜索，比较等。

仪表盘

Dr.Elephant的启动首页正如你所见

组件

集群统计信息

这个页面包含了集群最近的统计信息。列出了最近24小时分析过的作业数量，可进行优化的作业数量和待优化的作业数量。

最新分析

这一部分列出了最近一段时间分析的任务

阅读全文 »

发表于 | 分类于 | | 阅读次数

Dr.Elephant设置

请按照快速安装说明操作here.

先决条件

Play/Activator

Hadoop/Spark on Yarn

为了在本地部署Dr.Elephant测试，你需要安装Hadoop(version 2.x)或者Spark(Yarn mode, version > 1.4.0)，以及资源管理服务和历史作业服务（可以用伪分布式）。关于伪分布式模式在YARN上运行MapReduce作业相关说明可以在这里找到。

如果还没设置环境变量，可以导入HADOOP_HOME变量

1
2
$> export HADOOP_HOME=/path/to/hadoop/home
$> export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
阅读全文 »

发表于 | 分类于 | | 阅读次数

快速安装说明

Step 1：在GitHub上注册一个账号，并fork一份Dr. Elephant项目代码。

Step 2：检出代码。

1
2
$> git clone https://github.com/<username>/dr-elephant
$> cd dr-elephant*

Step 3：先决条件：

1
2
export ACTIVATOR_HOME=/path/to/unzipped/activator
export PATH=$ACTIVATOR_HOME/bin:$PATH
  • Dr.Elephant将分析数据结果存储在MySQL数据中。如果你还没装，请先安装好MySQL。（推荐5.5以上版本）

  • 为了正常使用Dr. ElephantUI界面，需要安装npm及其依赖

    1
    2
    3
    sudo yum install npm
    sudo npm install -g bower
    cd web; bower install; cd ..

  • 最后，你还需要安装好Hadoop或者Spark。

阅读全文 »

发表于 | 分类于 | | 阅读次数

系统环境要求

Dr. Elephant依赖于YARN的资源管理服务器和历史作业记录服务器，来获取作业详细信息和记录。YARN作业及其分析的详细信息将存储在当前配置的后端mysql中。因此在运行Dr. Elephant前，必须安装好MySQL和hadoop 2。
从#162开始，将不再支持JAVA 6。

阅读全文 »

发表于 | 分类于 | | 阅读次数

简介


Dr. Elephant是一个Hadoop和Spark的性能监控和调优工具。它能自动采集作业的度量指标并分析他，然后以简单明了的方式展现出来。Dr. Elephant的设计思想是通过作业分析结果来指导开发者进行作业调优，从而提升开发者效率和集群资源的利用率。Dr. Elephant使用了一组可配置的插件式启发算法来分析hadoop和spark作业并提供优化建议。然后针对结果数据来建议如何调整作业。这个算法还计算了作业的许多其他度量标准，用来为集群作业优化提供了有价值的参考信息。

阅读全文 »

发表于 | 分类于 | | 阅读次数

pyenv实现多个python版本并存

由于python 2和3存在不小的区别，尤其个别第三方库并不是都兼容，所以有时候我们需要在同一台服务器上运行多个不同的python版本

1.安装pyenv

(1)安装到$HOME/.pyenv目录:

1
git clone https://github.com/yyuu/pyenv.git ~/.pyenv

(2)配置环境变量

1
2
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile

(3)添加pyenv初始化到你的shell并生效

1
2
3
echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile
source ~/.bash_profile
阅读全文 »

发表于 | 分类于 | | 阅读次数

1.前置准备

上篇文章我讲了安装CDH的一些前置准备，可以参考《CDH安装前置基础准备条件》一文，这里就不再多说。

到此已完成：

  1. 集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等；
  2. 外部数据库安装
  3. CDH和CM版本均为5.14且已配置本地yum源

2.Cloudera Manager安装

2.1.安装Cloudera Manager Server

1.yum安装Cloudera Manager Server

1
yum -y install cloudera-manager-server
阅读全文 »

发表于 | 分类于 | | 阅读次数

CDH安装前置基础准备条件

1.基础环境

1.1.节点规模

测试环境，最小规模，最少4台服务器。一台做管理节点Cloudera Manager和NameNode等，另外三台用作worker，DATANODE节点，这种最小规模一般仅用于开发和测试。

如果是生产环境，最少6台，3台管理节点包括1个Cloudera Manager，2个NameNode做高可用，3个工作节点。

常见的较小规模的生产系统一般为10-20台。

###1.2.操作系统
CDH支持大部分主流的64位操作系统，我这里会以centos 6.9部署CDH 5.14版本为例子。其他CDH版本及其对应的操作系统版本可参考：CDH版本及其支持的操作系统版本

阅读全文 »