系统环境要求
Dr. Elephant
依赖于YARN的资源管理服务器和历史作业记录服务器,来获取作业详细信息和记录。YARN作业及其分析的详细信息将存储在当前配置的后端mysql中。因此在运行Dr. Elephant
前,必须安装好MySQL和hadoop 2。
从#162开始,将不再支持JAVA 6
。
集群部署Dr. Elephant
部署配置
- 将配置文件的目录复制到集群的每台机器上
配置环境变量
$ELEPHANT_CONF_DIR
指向到你的配置文件目录1$> export ELEPHANT_CONF_DIR=/path/to/conf/dir
Airflow和Oozie配置
如果你使用Airflow或Oozie调度系统,则需要编辑你$ELEPHANT_CONF_DIR
目录下的SchedulerConf.xml
的配置文件:
- Airflow,设置
airflowbaseurl
配置属性指向你的Airflow服务 - Oozie,设置
oozie_api_url
配置属性指向你的Oozie调度服务的API地址- 对于Oozie可以额外设置其他跟多可选属性,有关 更多信息,请参阅
SchedulerConf.xml
相关文档
- 对于Oozie可以额外设置其他跟多可选属性,有关 更多信息,请参阅
二进制部署
- SSH连接到集群机器
切换到合适的部署用户
1sudo -iu <user>解压
dr-elephant
二进制包
启动/停止dr-elephant
- 进入
dr-elephant
根目录 想启动
dr-elephant
,请允许启动脚本。启动脚本提供了一个配置文件目录位置的可选参数。如果你已经设置好了$ELEPHANT_CONF_DIR
环境变量,只需要直接启动就要,不用带任何参数。否则,需要在运行时带上配置文件目录位置的参数。1./bin/start.sh [/path/to/app-conf]想停止运行,
1./bin/stop.sh要部署新版本,请务必先停止正在运行的进程