모델의 checkpoint를 가져온 후 같은 데이터를 여러 번 연산한 결과가 다르다

1624 단어
최근에 실험을 할 때 코드는 이미 훈련된 모델을 활용하여 일부 데이터의 계산을 하고 계산 결과를 제시해야 한다. 이 부분의 코드의 구조는 대체로 다음과 같다.
# new tensor define
new_tensor = …
# old model defin
old_model = model()
# load checkpoint
var_to_restore = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES,scope=…)
restorer_attrib = tf.train.Saver(var_to_restore)
ckpt = tf.train.get_checkpoint_state(…)  
if ckpt and ckpt.model_checkpoint_path:
restorer_attrib.restore(sess, ckpt.model_checkpoint_path)
…
# initial value
sess.run(tf.global_variables_initializer())
# run sess get value
sess.run([…])

그러나 코드가 실행될 때 같은 그룹의 데이터가 매번 코드를 실행한 후에 이전에 훈련된 모델에서 얻은 출력은 매번 실행 결과가 다르다는 것을 발견했다. 검사에서 일련의 문제를 발견했다.TensorFlow의 tensorflow를 사용합니다.contrib.slim.nets의 resnetv2에서resnet 정의v2중, 테스트 중 is 를training 매개 변수는 False 2.테스트 중 네트워크에서 사용할 tf.nn.dropout의keepprob는 1로 이 내용을 설정한 후에도 매번 다른 결과를 얻는 것을 발견했다. 자세한 검사를 통해 문제의 출처는load checkpoint의 코드가 완성된 후에 코드에서 아래의 코드sess가 실행되었다는 데 있다.run(tf.global variables initializer ()) 이렇게 하면 불러온 checkpoint의 데이터가 효력을 상실하고 모든 데이터가 다시 초기화되어 모델이 무작위 값으로 되어 실행할 때마다 결과가 달라집니다.해결 방법도 간단하다. 로드 체크포인트를 조작하기 전에 초기화된 코드를 실행한 다음에 체크포인트를 가져온다.올바른 코드 구조는 다음과 같습니다.
# new tensor define
new_tensor = …
# old model defin
old_model = model()

# initial value
sess.run(tf.global_variables_initializer())

# load checkpoint
var_to_restore = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES,scope=…)
restorer_attrib = tf.train.Saver(var_to_restore)
ckpt = tf.train.get_checkpoint_state(…)  
if ckpt and ckpt.model_checkpoint_path:
restorer_attrib.restore(sess, ckpt.model_checkpoint_path)
…
# run sess get value
sess.run([…])
타자 원고를 쓰는 연서
대형 구성 요소의 간소화 능력

좋은 웹페이지 즐겨찾기

개발자 우수 사이트 수집

개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
best100-homepage