Hadoop在运行几个T数据量时报堆内存溢出

问题描述:

	Hadoop提交作业，运行几个T数据量，由于数据量巨大，造成HADOOP频频的报出JAVA堆内存溢出。

错误日志：

Error: java.lang.OutOfMemoryError: Java heap space
	at sun.net.www.http.ChunkedInputStream.processRaw(ChunkedInputStream.java:354)
	at sun.net.www.http.ChunkedInputStream.readAheadNonBlocking(ChunkedInputStream.java:511)
	at sun.net.www.http.ChunkedInputStream.readAhead(ChunkedInputStream.java:602)
	at sun.net.www.http.ChunkedInputStream.hurry(ChunkedInputStream.java:759)
	at sun.net.www.http.ChunkedInputStream.closeUnderlying(ChunkedInputStream.java:216)
	at sun.net.www.http.ChunkedInputStream.close(ChunkedInputStream.java:740)
	at java.io.FilterInputStream.close(FilterInputStream.java:172)
	at sun.net.www.protocol.http.HttpURLConnection$HttpInputStream.close(HttpURLConnection.java:2456)
	at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$ShuffleRamManager.reserve(ReduceTask.java:1052)
	at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.shuffleInMemory(ReduceTask.java:1580)
	at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.getMapOutput(ReduceTask.java:1472)
	at org.apache

解决方案:

	调整hadoop-env.sh文件，增大datanode节点的JVM内存：
	export HADOOP_DATANODE_OPTS="-Xmx26214m -Xms256m -Dcom.sun.management.jmxremote $HADOOP_DATANODE_OPTS"
	将所有配置文件统一，重新启动集群。
	问题还是依旧出现“Java heap space ”
调整mapred-site.xml文件，增加JVM的重用次数：
	<property>
		<name>mapred.job.reuse.jvm.num.tasks</name>
		<value>50</value>
	</property>
将所有配置文件统一，重新启动集群。
设置了jvm复用，即一个job内，多个task共享jvm，避免多次启动jvm，浪费资源和时间。提高运行效率，减少JOB执行的时间。