NN 주위 개인적 정리

2038 단어 신경망
자신에게 필요한 것만 알 수 있는 사람만 알 수 있다

모양과 목적



  • AE : 복수의 입력 개체의 정보를 압축하여 기억할 수 있는 기술.
  • 봉큐본 x-z-x' 형식의 넷, $(x-x')^2$ 를 최소화.

  • 단점 입력에없는 데이터 지점에서 무엇이 나왔는지 모르겠습니다


  • VAE : AE에서 z 분포를 좋은 특성 분포로 가공하는 기술.

  • 개체(점)+분포(곡면)를 기억한다.
  • 합리적인 분포를 사용하면 입력에없는 자연스러운 파생 이미지를 생성 할 수 있습니다 (→ "생성 모델").

  • 단점
  • 대상의 분포는 민감한 분포 (e.g. 정규 분포)로 제한된다 and
  • 구현하기 위해 hand-written reparametrization 필요
  • 본질적이지 않다 (예 : 전 논문에서 mean과 sigma로 나누는 것은 정규 분포의 편리함)




  • GAN : 특정 넷 G의 출력을 특정 비자명한 분포에 맞추기 위한 기술
  • 짜증나는 분포도 ok

  • 단점 느린, 시스템이 엉망입니다.
  • D와 G의 훈련 균형이 무즈이 (D를 G의 k 배 훈련하는 등) 

    • (入力)----<加工したいNN G>----(出力) こんなネットがあったとする

今のところ (出力) はやりたい放題な値になっている
このネットワークの(出力)をある [わけわからん分布] に沿わせたい このとき

1. <Discriminator NN D> 
2. ([わけわからん分布]からランダムサンプル出来る生成器)

を使って01判定をおこなう。

Step A. まず

       ((生成器) concat (出力))----<D>----(判定結果)

    上を判定結果が (111..111 000..000) になるよう学習する。 (loss: binary crossentropy)
    11... は(生成器)のデータを1と判定しており、00... は(出力)のデータを0と判定している。


Step B. 次に Discriminator NN D の重みを固定して(学習をオフ)

       (入力)----<G>----(出力)----<D[固定]>----(判定結果)

    (判定結果) を (111..111) になるようGだけ学習する。
    こうするとStep Aの結果が完璧*でなくなるので、Step Aをまた実行する

Step A,Bを繰り返すといろいろあって (出力) の分布が (生成器) の分布と同じになる。
論文ではゴチャい数式が出てくるが E[log D(z)] + E[ log (1-D(G(x))) ] ていうのは
crossentropy の式を binary (01) の項に書き下したら 色々項が消えてそうなっただけ。

* 実際は完璧でなくて良い

    이미지로서는 다이어프램 펌프군요. Discriminator에서 오류 정보를 누적하고,
    이번에는 Discriminator를 고정하여 Generator에 수정정보를 담는 느낌. 통과?

    AAE : VAE + GAN. hand-written reparametrization 대신 GAN 사용 보통 VAE와 달리 GAN 덕분에 짜증나는 분포에서도 ok 논문에서는 swiss roll 단점 GAN보다 무즈이 ---①--> x-->z-->x' 　↘　 \ ②↘→ +--->d [0,1] ⇕ 가중치는 공유 n----+--->d[0,1] 소음 ---③---> ①, ②+③(x-z 고정), ②(z-d 고정) 반복
    JavaScript의 신경망
    scikit-learn에서 신경망을 사용해보기

    좋은 웹페이지 즐겨찾기

    개발자 우수 사이트 수집

    개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
    best100-homepage