本节介绍如何使用Dr.Elephant
来进行任务查看,分析,搜索,比较等。
仪表盘
Dr.Elephant
的启动首页正如你所见
组件
集群统计信息
这个页面包含了集群最近的统计信息。列出了最近24小时分析过的作业数量,可进行优化的作业数量和待优化的作业数量。
最新分析
这一部分列出了最近一段时间分析的任务
Dr.Elephant
设置请按照快速安装说明操作here.
为了在本地部署Dr.Elephant
测试,你需要安装Hadoop(version 2.x)
或者Spark(Yarn mode, version > 1.4.0)
,以及资源管理服务和历史作业服务(可以用伪分布式)。关于伪分布式模式在YARN上运行MapReduce作业相关说明可以在这里找到。
如果还没设置环境变量,可以导入HADOOP_HOME
变量
|
|
Step 1:在GitHub上注册一个账号,并fork一份Dr. Elephant
项目代码。
Step 2:检出代码。
|
|
Step 3:先决条件:
play
或者activator
命令行。下载activator
zip包https://downloads.typesafe.com/typesafe-activator/1.3.12/typesafe-activator-1.3.12.zip ,解压并添加activator
命令到你自己的环境变量$PATH
。对于老版的play
,你需要添加paly
命令并替换activator
。
|
|
Dr.Elephant
将分析数据结果存储在MySQL数据中。如果你还没装,请先安装好MySQL。(推荐5.5以上版本)为了正常使用Dr. Elephant
UI界面,需要安装npm
及其依赖
|
|
最后,你还需要安装好Hadoop或者Spark。