入门客AI创业平台(我带你入门,你带我飞行)
博文笔记

[YARN] 2.2 GB of 2.1 GB virtual memory used. Killing container.

创建时间:2015-09-08 投稿人: 浏览次数:209

spark程序在yarn的集群运行,出现 Current usage: 105.9 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container. 错误。

我的运行环境是虚拟机,每个虚拟机分配1G的物理内存。但是这个错误跟物理内存无关,是虚拟内存超了。


解决方法:

在etc/hadoop/yarn-site.xml文件中,修改检查虚拟内存的属性为false,如下:

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>


参考资料:

Best Practices for YARN Resource Management

声明:该文观点仅代表作者本人,入门客AI创业平台信息发布平台仅提供信息存储空间服务,如有疑问请联系rumenke@qq.com。