파일 디스크립터의 상한 설정

Cloudera Manager Advent Calendar 2015 의 18일째입니다.

Hadoop, HBase, Spark 클러스터는 각 프로세스 대량의 파일을 오픈하므로, Linux 디폴트의 파일 디스크립터 상한에 쉽게 도달하게 됩니다. 상한에 도달하면 클러스터가 제대로 작동하지 않으므로 기본적으로 상한을 늘려야합니다.
예를 들어 HBase의 경우 32768로 설정하는 것이 좋습니다.

참고 1: 4. Basic Prerequisites - Limits on Number of Files and Processes (ulimit)
h tp : // h 바세. 아파치. rg/보오 k. html #바시 c. p 깨끗한 s

참고 2: Configuration Settings for HBase - Setting User Limits for HBase
h tp // w w. c우우라. 코 m/콘텐 t/w w/엔-우 s/도쿠멘 타치온/엔테 rp 리세/ㅁ st/와 피 cs/cdh_이 g_h 바세_콘후ぃ g. HTML

Cloudera Manager(이하 CM)에서 프로세스의 파일 디스크립터 한도를 늘릴 때 각 서비스의 구성 페이지에서 최대 프로세스 파일 설명자 수 속성의 값을 변경합니다. ulimit 에서 검색하면 쉽게 도착할 수 있습니다.

여기서는 모두 32768로 설정합시다. 프로세스를 다시 시작하면 반영됩니다. /proc/<PID>/limits 에서 반영을 확인할 수 있네요. [root@c5 ~]# ps aux | grep -i proc_regionserver hbase 57495 10.0 2.3 795664 193012 ? Sl 22:04 0:17 /usr/java/jdk1.7.0_67-cloudera/bin/java -Dproc_regionserver ... [root@c5 ~]# cat /proc/57495/limits | grep "open files" Max open files 32768 32768 files 이상, 작은 재료였습니다. 참고: Configuring Maximum File Descriptors h tp // w w. c우우라. 코 m/콘텐 t/w w/엔-우 s/도쿠멘 타치 온/엔 rp 리세/아 st/와 피 cs/cm_mc_마 x_fd. HTML