[spark] macbookpro 本地单节点配置standalone 模式任务出现无限等待的解决办法
问题描述：本地配置spark standalone 模式 下边的日志 无限 重复打印 webUI 显示WAITING
2018-04-11 13:37:23 WARN TaskSchedulerImpl:66 - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
分析：不是内存不足导致的，是根本没连上。。。
解决步骤：
1 首先配置 本地 ssh 免密登录 达到ssh localhost 直接登录效果
2 修改如下配置：
2.1 conf/spark-env.sh
配置必须添加（其他的home变量配置不再赘述，这里只填坑），注意是本地单节点！一定要写成localhost ！之前我写的是自己的用户名是不行的！
export SPARK_MASTER_HOST=localhost
export master=spark://localhost:7070
export SPARK_MASTER_HOST=localhost #这一行一定加上
2.2 conf/slaves
添加 localhost 节点，就这一个节点就可以了
3 .启动 sbin/start-master.sh和sbin/start-slaves.sh
4.完活。我说清楚了吗？以下是8080端口管理界面
注意！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系我们删除。