入门客AI创业平台(我带你入门,你带我飞行)
博文笔记

spark streaming应用提交到yarn上一直处于ACCEPTED状态,也未报错

创建时间:2018-03-21 投稿人: 浏览次数:209

原因已经找到,这里做个记录,防止下次再犯类似的错误。

实际上是因为代码中将运行模式设置为本地模式,在提交到yarn上后driver端的代码正常运行,并且也正常运行了很多批次。但由于是本地模式,所以driver不会向resourcemanager申请资源,所以也就不会向rm注册自己,这也就解释了为什么在yarn记录的应用的日志中提示应用未向rm注册。

声明:该文观点仅代表作者本人,入门客AI创业平台信息发布平台仅提供信息存储空间服务,如有疑问请联系rumenke@qq.com。
  • 上一篇:没有了
  • 下一篇:没有了
未上传头像