논문 정보

Title: Predict then Propagate: Graph Neural Networks meet Personalized PageRank PDF , 소스

Author: Johannes Klicpera, Aleksandar Bojchevski, Stephan Günnemann

무슨 일이야?

문제점

기존 Graph Convolutional Networks(GCN)

노드 정보가 two-hope 대상의 노드에만 닿는다

더 멀리 전파하려고하면 학습 매개 변수가 증가합니다

전파 대상을 멀리하면 oversmoothing 문제가 발생합니다.

제안

Neural Network + personalized page rank 협업으로 위의 문제 해결

추론 과정을 NN에 의한 클래스 예측과 클래스 정보 전파 두 단계로 분리하여 생각한다!

선행 연구에 비해 어디가 대단한가?

GCN과 PageRank를 결합하여 성능 향상을 도모했다

limited range problem (정보 전파가 짧은 이웃 노드에만 닿는 문제) 해결

정보 전파 범위를 늘려 학습 매개 변수가 증가하는 문제를 해결합니다.

어떻게 유효하다고 검증했습니까?

실험

데이터 세트

- these graphs indeed have average shortest path lengths between 5 and 10.
- 데이터 분할 및 초기화를 포함한 실험을 100회 실시
- 모든 데이터 세트에서 동일한 hyperparameter 사용
- same number of layers and hidden units, dropout rate d, L2 regularization parameter $\lambda$, learning rate l
- 노드 특징: bag-of-words representation of abstracts

결과

Overall accuracy

- 제안 기법이 SOTA를 달성하고 있음
- 엄격하게 실험을 한 결과 최근 제안된 방법보다 실은 original GCN이 더 나은 결과를 내고 있었다

Training time per epoch

- APPNP가 GCN보다 25% 느립니다. 정보 전파 단계 때문이라고 생각된다.
- higher number of matrix multiplications

Training set size

- 정보 전파가 멀리까지 도달하는 것만으로, 적은 label 데이터에서도 고정밀도의 훈련이 가능하게 된다

Number of power iteration steps

- APPNP는 steps의 증가에 따라 수렴해 간다
- step수는 대체로 평균 정점간 거리와 일치하고 있는 것을 알 수 있다

Teleport probability ($\alpha$)

- 데이터에 따라 다른 전이 확률
- a higher $\alpha$ improves convergence 속도

Neural network without propagation

- 추론 단계에만 정보 전파를 적응해도 성능 향상이 보인다
- large scale 데이터를 취급할 때는, train 단계에서 정보 전파를 하지 않는 것이 생각된다
- pretrained neural networks에 graph information을 도입한 정보 전파를 더함으로써 정밀도 향상을 도모할 수 있음을 알 수 있다

논쟁이 있습니까?

GCN과 PageRank를 결합하여 성능 향상을 도모했다

limited range problem (정보 전파가 짧은 이웃 노드에만 닿는 문제) 해결

정보 전파 범위를 늘려 학습 매개 변수가 증가하는 문제를 해결합니다.

PPNP, APPNP는 예측 모델과 전파 스키마를 완전히 분리하여 생각하는 구조의 유효성을 증명했다

각 단계에서 더 효과적인 기술을 결합 할 수 있습니다

다음에 읽어야 할 논문은?

message passing algorithms의 조사

graph node embeddings

spectral graph convolutional neural networks

neighbor aggregations

neighbor aggregation via recurrent neural networks