NN, ReLu, Xavier, Dropout, and Adam
모두를 위한 머신러닝/딥러닝 강의를 참조했습니다. 이론 ReLU : Better non-linearity Sigmoid와 같은 함수를 Activation function이라 부른다. 일정 값을 넘으면 activate되기 때문이다. 텐서플로우로 Deep한 Neural Nets을 만드는 것은 간단하다. W1 = tf.Variable(tf.random_uniform([2,5],-1.0,1.0)) W2 = tf.Variable(tf.random_uniform([5,4],-1.0,1.0)) W3...
02 Sep 2017