hyperxu

一个专注于运维领域的个人技术博客


  • 首页

  • 分类

  • 归档

  • 标签

  • 关于

  • 公益404

  • 搜索

【Dr.Elephant中文文档-5】用户指南

发表于 2019-04-09 | 分类于 Dr.Elephant | 阅读次数

本节介绍如何使用Dr.Elephant来进行任务查看,分析,搜索,比较等。

仪表盘

Dr.Elephant的启动首页正如你所见

组件

集群统计信息

这个页面包含了集群最近的统计信息。列出了最近24小时分析过的作业数量,可进行优化的作业数量和待优化的作业数量。

最新分析

这一部分列出了最近一段时间分析的任务

阅读全文 »

【Dr.Elephant中文文档-4】开发者指南

发表于 2019-02-18 | 分类于 Dr.Elephant | 阅读次数

Dr.Elephant设置

请按照快速安装说明操作here.

先决条件

Play/Activator

Hadoop/Spark on Yarn

为了在本地部署Dr.Elephant测试,你需要安装Hadoop(version 2.x)或者Spark(Yarn mode, version > 1.4.0),以及资源管理服务和历史作业服务(可以用伪分布式)。关于伪分布式模式在YARN上运行MapReduce作业相关说明可以在这里找到。

如果还没设置环境变量,可以导入HADOOP_HOME变量

1
2
$> export HADOOP_HOME=/path/to/hadoop/home
$> export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
阅读全文 »

【Dr.Elephant中文文档-3】快速安装说明

发表于 2018-11-05 | 分类于 Dr.Elephant | 阅读次数

快速安装说明

Step 1:在GitHub上注册一个账号,并fork一份Dr. Elephant项目代码。

Step 2:检出代码。

1
2
$> git clone https://github.com/<username>/dr-elephant
$> cd dr-elephant*

Step 3:先决条件:

  • 你必须先安装play或者activator命令行。下载activatorzip包https://downloads.typesafe.com/typesafe-activator/1.3.12/typesafe-activator-1.3.12.zip ,解压并添加activator命令到你自己的环境变量$PATH。对于老版的play,你需要添加paly命令并替换activator。
1
2
export ACTIVATOR_HOME=/path/to/unzipped/activator
export PATH=$ACTIVATOR_HOME/bin:$PATH
  • Dr.Elephant将分析数据结果存储在MySQL数据中。如果你还没装,请先安装好MySQL。(推荐5.5以上版本)
  • 为了正常使用Dr. ElephantUI界面,需要安装npm及其依赖

    1
    2
    3
    sudo yum install npm
    sudo npm install -g bower
    cd web; bower install; cd ..
  • 最后,你还需要安装好Hadoop或者Spark。

阅读全文 »

【Dr.Elephant中文文档-2】管理员指南

发表于 2018-10-30 | 分类于 Dr.Elephant | 阅读次数

系统环境要求

Dr. Elephant依赖于YARN的资源管理服务器和历史作业记录服务器,来获取作业详细信息和记录。YARN作业及其分析的详细信息将存储在当前配置的后端mysql中。因此在运行Dr. Elephant前,必须安装好MySQL和hadoop 2。
从#162开始,将不再支持JAVA 6。

阅读全文 »

【Dr.Elephant中文文档-1】Dr.Elephant简介

发表于 2018-10-24 | 分类于 Dr.Elephant | 阅读次数

简介


Dr. Elephant是一个Hadoop和Spark的性能监控和调优工具。它能自动采集作业的度量指标并分析他,然后以简单明了的方式展现出来。Dr. Elephant的设计思想是通过作业分析结果来指导开发者进行作业调优,从而提升开发者效率和集群资源的利用率。Dr. Elephant使用了一组可配置的插件式启发算法来分析hadoop和spark作业并提供优化建议。然后针对结果数据来建议如何调整作业。这个算法还计算了作业的许多其他度量标准,用来为集群作业优化提供了有价值的参考信息。

阅读全文 »
1…345…7
hyperxu

hyperxu

35 日志
10 分类
21 标签
RSS
GitHub Facebook 知乎
© 2025 hyperxu | 浙ICP备15043518号-3
由 Hexo 强力驱动
主题 - NexT.Mist