프록시 아래 EMR에서 '리소스 관리자' 보기

EMR을 실행해도 다음 오류로 인해 원인이 전혀 잡히지 않으므로 오류 원인을 자세히 보려면 ​​리소스 관리자에 액세스하는 방법

Exception in thread "main" org.apache.spark.SparkException: Application finished with failed status...

환경

PC가 회사와 같은 Proxy 환경에서 존재

mac 사용

할 일

대체로, 이하의 흐름이 됩니다.

FireFox에 FoxyProxy를 설치

FoxyProxy 설정

콘솔에서 EMR 마스터 IP에 동적 포워딩을 수행합니다.

FoxyProxy를 ON으로 설정

1. FoxyProxy 설치

아래에서

2. FoxyProxy 설정

이쪽을 참고로 했습니다.
ぃ tp // m / pyr_vs / ms / 5 / 7212581b536fd436fb



프록시를 새로 추가



가져오기로 파일을 선택할 수 있으므로 아래 내용의 xml을 만들어 읽을 수 있습니다.

<?xml version="1.0" encoding="UTF-8"?>
<foxyproxy>
   <proxies>
      <proxy name="emr-socks-proxy" id="2322596116" notes="" fromSubscription="false" enabled="true" mode="manual" selectedTabIndex="2" lastresort="false" animatedIcons="true" includeInCycle="true" color="#0055E5" proxyDNS="true" noInternalIPs="false" autoconfMode="pac" clearCacheBeforeUse="false" disableCache="false" clearCookiesBeforeUse="false" rejectCookies="false">
         <matches>
            <match enabled="true" name="*ec2*.amazonaws.com*" pattern="*ec2*.amazonaws.com*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
            <match enabled="true" name="*ec2*.compute*" pattern="*ec2*.compute*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
            <match enabled="true" name="10.*" pattern="http://10.*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
            <match enabled="true" name="*10*.amazonaws.com*" pattern="*10*.amazonaws.com*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
            <match enabled="true" name="*10*.compute*" pattern="*10*.compute*" isRegEx="false" isBlackList="false" isMultiLine="false" caseSensitive="false" fromSubscription="false" />
      </matches>
         <manualconf host="localhost" port="8157" socksversion="5" isSocks="true" username="" password="" domain="" />
      </proxy>
   </proxies>
</foxyproxy>

3. 다이나믹 포워딩을 한다

실행중인 EMR의 마스터 IP 확인
콘솔을 시작하고 다음을 입력

ssh -i ~/.ssh/hogehoge.pem -N -D 8157 [email protected]

port : 8157은 FoxyProxy에 기본적으로 설정된 값입니까?

4. FoxyProxy ON

"모드 선택"에서 방금 설정한 것을 선택

연결

EMR에 액세스하고 리소스 관리자 링크를 밟으면



다음과 같이 액세스할 수 있다고 생각합니다.