Spark - ERROR Executor: java.lang.OutOfMemoryError: unable to create new native thread

JVM
최신 버전의 JVM은 일반적으로 메모리 최적화 방면에서 더욱 잘하는데, JVM을 최신 버전으로 업그레이드하면 측정 문제를 완화시킬 수 있다 64 32 unable to create new native thread， 64
스레드에 대한 OS 제한 확대
Linux 운영체제에서 nofile와 nproc를 설정하고 구체적으로 편집/etc/security/limits.conf ：

[html]  view plain  copy

1. soft    nofile          2048  
2. hard    nofile          8192  

[html]  view plain  copy

1. soft    nproc           2048  
2. hard    nproc           8192  

Red Hat Enterprise Linux 6， /etc/security/limits.d/90-nproc.conf， ：

[html]  view plain  copy

1. # cat /etc/security/limits.d/90-nproc.conf  
2. *          soft    nproc     1024  
3. root       soft    nproc     unlimited  
4.   
5. user       -       nproc     2048  

    ：

 （ ， ）：32 Windows XP，Sun JDK 1.6.0_18， eclipse 3.4，
：

Java    

1. import java.util.concurrent.CountDownLatch;   
2.   
3. public class TestNativeOutOfMemoryError {   
4.   
5.     public static void main(String[] args) {   
6.   
7.         for (int i = 0;; i++) {   
8.             System.out.println("i = " + i);   
9.             new Thread(new HoldThread()).start();   
10.         }   
11.     }   
12.   
13. }   
14.   
15. class HoldThread extends Thread {   
16.     CountDownLatch cdl = new CountDownLatch(1);   
17.   
18.     public HoldThread() {   
19.         this.setDaemon(true);   
20.     }   
21.   
22.     public void run() {   
23.         try {   
24.             cdl.await();   
25.         } catch (InterruptedException e) {   
26.         }   
27.     }   
28. }  

[java]  view plain  copy

1. import java.util.concurrent.CountDownLatch;  
2.   
3. public class TestNativeOutOfMemoryError {  
4.   
5.     public static void main(String[] args) {  
6.   
7.         for (int i = 0;; i++) {  
8.             System.out.println("i = " + i);  
9.             new Thread(new HoldThread()).start();  
10.         }  
11.     }  
12.   
13. }  
14.   
15. class HoldThread extends Thread {  
16.     CountDownLatch cdl = new CountDownLatch(1);  
17.   
18.     public HoldThread() {  
19.         this.setDaemon(true);  
20.     }  
21.   
22.     public void run() {  
23.         try {  
24.             cdl.await();  
25.         } catch (InterruptedException e) {  
26.         }  
27.     }  
28. }  

 

 

JVM ，eclipse ， ：
i = 5602 
Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread
    at java.lang.Thread.start0(Native Method)
    at java.lang.Thread.start(Thread.java:597)
    at TestNativeOutOfMemoryError.main(TestNativeOutOfMemoryError.java:20)

 

、 ：

， ， 。 ： 
(MaxProcessMemory - JVMMemory - ReservedOsMemory) / (ThreadStackSize) = Number of threads 
MaxProcessMemory
JVMMemory         JVM
ReservedOsMemory 
ThreadStackSize     

java ， ， JVM Thread ， JVMMemory， (MaxProcessMemory - JVMMemory - ReservedOsMemory)。 


： 
MaxProcessMemory 32 windows 2G
JVMMemory   eclipse 64M
ReservedOsMemory  130M
ThreadStackSize 32 JDK 1.6 stacksize 325K
：
(2*1024*1024-64*1024-130*1024)/325 = 5841 
5841， 5602 （ ReservedOsMemory ） 

： JVM ， ， java.lang.OutOfMemoryError: unable to create new native thread。 

， ， ， , ， JVM ， ： 
ThreadStackSize      JVMMemory                   
325K             -Xms1024m -Xmx1024m    i = 2655
325K               -Xms1224m -Xmx1224m    i = 2072
325K             -Xms1324m -Xmx1324m    i = 1753
325K             -Xms1424m -Xmx1424m    i = 1435
-Xss1024k             -Xms1424m -Xmx1424m    i = 452 
。 

、 ： 
1， bug， ， bug， 。
2， ， ， MaxProcessMemory，JVMMemory，ThreadStackSize ， ：
a, MaxProcessMemory 64
b, JVMMemory   JVMMemory
c, ThreadStackSize