❮ 上一节
下一节 ❯
TensorFlow - 优化器
优化器是扩展类，其中包括用于训练特定模型的附加信息。 优化器类是用给定的参数初始化的，但重要的是要记住不需要张量。 优化器用于提高训练特定模型的速度和性能。
TensorFlow 的基本优化器是 −
tf.train.Optimizer
该类定义在 tensorflow/python/training/optimizer.py 的指定路径中。
以下是 Tensorflow 中的一些优化器 −
Stochastic Gradient descent
Stochastic Gradient descent with gradient clipping
Momentum
Nesterov momentum
Adagrad
Adadelta
RMSProp
Adam
Adamax
SMORMS3
我们将专注于随机梯度下降。 下面提到了为其创建优化器的图示 −
def sgd(cost, params, lr = np.float32(0.01)):
g_params = tf.gradients(cost, params)
updates = []
for param, g_param in zip(params, g_params):
updates.append(param.assign(param - lr*g_param))
return updates
基本参数在特定函数中定义。 在接下来的章节中，我们将重点介绍梯度下降优化和优化器的实现。
❮ 上一节
下一节 ❯