NIPS2016 참가 보고서

지난주 스페인 바르셀로나에서 열린 머신러닝 최고회의 NIPS 2016에 참석했다.논문이 인터넷에 공개되다 누구나 읽을 수 있지만 구두 발표, 포스터 발표 토론 참여, 휴식 시간 중 대화 등 공부도 하기 때문에 최첨단 연구를 알아보기 위해 참가하는 의미를 잃지 않았다.
NIPS 참가자가 지수적으로 늘고 있다고 합니다. 올해 5000명(!)참가자.물론 논문의 검토도 엄격한데, 통과율은 20% 안팎이라고 한다.분야별 추세인 심학습의 고조는 계속되고 있지만 인식계가 상당히 성숙한 GAN 등의 생성계와 강화학습과 외부기억의 조합중심이 옮겨가고 있기 때문이다.특히 강화학습은 회의에서 아날로그 환경Open AI Universe과DeepMind Lab을 공개해 열기를 느꼈다.

5000명의 청중 앞에서 화이트보드로 강의하는 스탠퍼드대 바이두의 앤드류 Ng 선생님.박사생에게 조언: 1. 논문을 많이 읽기 2. 기존 결과를 재현하기 3. 더러운 일(데이터 수집, 예처리 등)을 한다.
강좌는 이외에강화 학습와GAN 들으러 갔다.최우수 신문은 강화 학습에 계획 모듈을 편입한 논문가 뽑혔다(일본인 당장실시.RNN 워크숍 자연논문Differentiable Neural Computer을 필두로 알고리즘 학습과 엔클로저에 대한 발표를 발표했다.포스터 발표는 RNN과 기계번역을 중심으로 들었는데LightRNN 이런 효율화 기법, 과도행렬구배 적용, Actor-Critic을 사용하여 BLEU 최적화, 단어 자료 라이브러리와 병행 자료 라이브러리가 결합된 기계 번역 등 흥미롭다.
딥러닝 효율 향상 세미나에서 양적 및 트림부터 전용 하드웨어 개발까지 다양한 방법을 발표했다.RNN에도 적용 그래서 조사해 보려고요.인터랙티브 시스템의 세미나에서 단순한 seq2seq 이전의 진일보한 모델과 학습의 상호작용을 강화하는 대리를 사용하다의 발표가 있었다.

바르셀로나의 세계유산인 사그라다 가문.
ACL 등 자연 언어 처리 세션에 참가한 적이 있지만 word2vec 및 신경 번역 등 중요한 연구가 NIPS에 발표되었기 때문에 이번에 처음으로 NIPS에 참가하기로 결정했습니다.또 NIPS에 가기 전에 예습으로 Sutton의 강화 학습서전략적 사다리법 을 실시 하다,GAN의 원본 논문,드디어 따라갈 수 있었다.Andrew Ng 선생님의 말씀대로 기계 학습을 깊이 이해하려면 첫 번째 단계는 기존 논문의 결과를 재현하는 것이기 때문에 내년에 이 점을 중시하고 싶습니다.