2일차: Transfer learning for Time series classification

Transfer learning for time series classification 개요
읽은 논문
Transfer learning for time series classification
Hassan Ismail Fawaz, Germain Forestier, Jonathan Weber, Lhassane Idoumghar, Pierre-Alain Muller
https://arxiv.org/abs/1811.01533
이 같은 논문을 읽었으니 간단히 요약하자면, IEEE International Conference on BigData 2018에 발표BigD445됐다.
삼행으로 총결하다

이동 학습이 이미지 시스템에서 유행하는 것은 괜찮지만 시간 서열 분류계에서 아직 철저한 검증을 받지 못했다.

이를 검증하기 위해 85개의 데이터 집합을 사용하여 7140개의 모델을 훈련한다

DTW 알고리즘을 이용하여 원역(이전 원본)과 목표역(이전 목적지)의 유사도를 도모하고 적당한 원역을 제공하는 방법

을 개발하였다.
제안 수법
모델 작업

이번에 사용한 모델은 Fig.3과 같이 1차원 시간 서열 데이터에 대해 1dConv를 3층, fully-connected 간 예측 클래스의 간단한 구조를 사용했다. 본고는 이동 학습의 유효성을 검증하고 모델 구조에 국한되지 않는 방법을 제시했다.특별히 간단한 모형을 채택하였다.
이동 학습

각 구역에서 상기 네트워크를 훈련한다(본고는 85개의 데이터 집합을 이용하여 85개의 훈련을 했다).

단, 출력 내용이 다르기 때문에(회귀나 분류(클래스수도 다르기 때문에fully-connected층 이후 각 필드는 가변적입니다.

이동 시 원역 훈련 모델에서 fully-connected층을 삭제한 후 목표역을 다시 연결하여 전체(Fine-tuning)를 다시 학습한다

.
여기서 Global Average Pooling을 사용하는 장점으로 가변 길이의 시간 시퀀스를 입력해도 여기서 길이를 고정할 수 있다는 설명이 있습니다.화조사해 보았다는 채널마다 평균적인 Pooling인 것 같다. 즉, 시간 서열 길이에 상관없이 채널 길이의 1차원 벡터가 될 수 있다.같은 영역에서도 서로 다른 입력 길이를 허용한다는 뜻인지 모르겠다. (원래 후자와 같은 가변 길이 모델이 실현될 수 있을까?)
데이터 세트 간의 유사도 추측

각 데이터 집합의 입력을 종류별로 하나씩 (또는 원형으로) 줄인다.

각 클래스의 평균 시간 서열을 통해 원형을 생성한다(DTW Barycenter Averageing(DBA) 방법1

$D_a$Db$$$\{C{a1}, C{a2}, ...\},\{C_{b1}, C_{b2}, ...\}$의 전체 모드 컴퓨팅 DTW

$D 3으로 계산된 DTW의 최소값a$Db$거리로 설정
총결산

시간 시퀀스 데이터의 이동 학습에서 우리는 DTW를 적당한 원본을 선택하는 방법으로 사용하는 방법을 제시했다.

DTW와 DBA는 도대체 어디인지, 주석논문을 읽어야 하기 때문에 언젠가는.

주관자
논문 선정을 포함해서 두 시간이 지났으니 평가 부분은 사랑하지 않겠습니다. 더 빨리 읽지 않으면 계속할 수 없을 것 같아서... 그나저나 이 논문은60GPU(GTX1080 Ti, Tesla K20, K40, K80의 믹스) 클러스터에서 168일간 평가 실험을 했습니다. 음. (그렇게 생각하면 1GPU는 168일이 걸리는데 클러스터 덕분에 일주일 정도 완성된 것 같아요. 아무래도 클러스터가 재밌고,총괄적으로 말하면 매우 고통스러워서 이번에는 끝났다.
F. Petitjean and P. Ganc¸arski, “Summarizing a set of time series by averaging: From steiner sequence to compact multiple alignment,” Theoretical Computer Science, vol. 414, no. 1, pp. 76 – 91, 2012.  ↩