【Dr.Elephant中文文档-2】管理员指南

系统环境要求

Dr. Elephant依赖于YARN的资源管理服务器和历史作业记录服务器,来获取作业详细信息和记录。YARN作业及其分析的详细信息将存储在当前配置的后端mysql中。因此在运行Dr. Elephant前,必须安装好MySQL和hadoop 2。
#162开始,将不再支持JAVA 6

集群部署Dr. Elephant

部署配置

  • 将配置文件的目录复制到集群的每台机器上
  • 配置环境变量$ELEPHANT_CONF_DIR指向到你的配置文件目录

    1
    $> export ELEPHANT_CONF_DIR=/path/to/conf/dir

Airflow和Oozie配置

如果你使用Airflow或Oozie调度系统,则需要编辑你$ELEPHANT_CONF_DIR目录下的SchedulerConf.xml的配置文件:

  • Airflow,设置airflowbaseurl配置属性指向你的Airflow服务
  • Oozie,设置oozie_api_url配置属性指向你的Oozie调度服务的API地址
    • 对于Oozie可以额外设置其他跟多可选属性,有关 更多信息,请参阅SchedulerConf.xml相关文档

二进制部署

  • SSH连接到集群机器
  • 切换到合适的部署用户

    1
    sudo -iu <user>
  • 解压dr-elephant二进制包

启动/停止dr-elephant

  • 进入dr-elephant根目录
  • 想启动dr-elephant,请允许启动脚本。启动脚本提供了一个配置文件目录位置的可选参数。如果你已经设置好了$ELEPHANT_CONF_DIR环境变量,只需要直接启动就要,不用带任何参数。否则,需要在运行时带上配置文件目录位置的参数。

    1
    ./bin/start.sh [/path/to/app-conf]
  • 想停止运行,

    1
    ./bin/stop.sh
  • 要部署新版本,请务必先停止正在运行的进程

hyperxu wechat
欢迎您扫一扫上面的二维码,订阅我的公众号!
坚持原创技术分享,您的支持将鼓励我继续创作!