spark history server

发表于

spark on yarn运行后会自动删除log，就看不到历史运行的log信息，好在有history server来解决这个问题。spark history server是将log存在了hdfs上

首先建立一个储存log的hadoop路径，注意要给777权限：

1
2
3
hdfs dfs -mkdir /spark-history
hdfs dfs -chown -R spark:hadoop /spark-history
hdfs dfs -chmod -R 777 /spark-history

给 spark-defaults.conf 添加如下配置.

1
2
3
4
5
6
spark.yarn.historyServer.address server.addr:18080
spark.history.ui.port 18080
spark.eventLog.dir hdfs:///spark-history
spark.eventLog.enabled true
spark.history.fs.logDirectory hdfs:///spark-history
spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider

启动history server

./sbin/start-history-server.sh

参考文献

本文采用创作共用保留署名-非商业-禁止演绎4.0国际许可证，欢迎转载，但转载请注明来自http://thousandhu.github.io，并保持转载后文章内容的完整。本人保留所有版权相关权利。

本文链接：http://thousandhu.github.io/2016/08/08/spark-history-server/