tensorflow 설정 부분 파라미터 훈련 가능, 부분 파라미터 동결

1627 단어 실전 총결산
수요:bert를 이용하여 훈련을 진행할 때 모델의 일부 파라미터를 지정하여 훈련하지 않아야 한다
방법: 훈련 가능한 변수list를 설정합니다
코드:
update_var_list = []  # list          
tvars = tf.trainable_variables()
for tvar in tvars:
	if "bert" not in tvar.name:
		update_var_list.append(tvar)
train_op = tf.train.AdamOptimizer(FLAGS.lr).minimize(loss, global_step=global_step, var_list=update_var_list)

좋은 웹페이지 즐겨찾기