系列博客链接：
（一）TensorFlow框架介绍：https://www.cnblogs.com/kongweisi/p/11038395.html
（二）TensorFlow框架之图与TensorBoard：https://www.cnblogs.com/kongweisi/p/11038517.html
（三）TensorFlow框架之会话：https://www.cnblogs.com/kongweisi/p/11038550.html
（四）TensorFlow框架之张量：https://www.cnblogs.com/kongweisi/p/11039237.html
（五）TensorFlow框架之变量OP：https://www.cnblogs.com/kongweisi/p/11039254.html
本文概述：
根据数据建立回归模型，w1x1+w2x2+…..+b = y，通过真实值与预测值之间建立误差，使用梯度下降优化得到损失最小对应的权重和偏置。
最终确定模型的权重和偏置参数。最后可以用这些参数进行预测。
这里将数据分布的规律确定，是为了使我们训练出的参数跟真实的参数（即0.7和0.8）比较是否训练准确
运算
梯度下降优化
def inputs(self):
"""
获取特征值目标值数据数据 :return: """ x_data = tf.random_normal([100, 1], mean=1.0, stddev=1.0, name="x_data") y_true = tf.matmul(x_data, [[0.7]]) + 0.8 return x_data, y_true def inference(self, feature): """ 根据输入数据建立模型 :param feature: :param label: :return: """ with tf.variable_scope("linea_model"): # 2、建立回归模型，分析别人的数据的特征数量--->权重数量， 偏置b # 由于有梯度下降算法优化，所以一开始给随机的参数，权重和偏置 # 被优化的参数，必须得使用变量op去定义 # 变量初始化权重和偏置 # weight 2维[1, 1]，输入的x是[100, 1]的列向量 bias [1]-->这里的偏置直接初始化为0
# x*w + b ----> y_predict
# 变量op当中会有trainable参数决定是否训练 self.weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="weights") self.bias = tf.Variable(0.0, name=‘biases‘) # 建立回归公式去得出预测结果 y_predict = tf.matmul(feature, self.weight) + self.bias return y_predict def loss(self, y_true, y_predict): """ 目标值和真实值计算损失 :return: loss """ # 3、求出我们模型跟真实数据之间的损失 # 均方误差公式--->MSE loss = tf.reduce_mean(tf.square(y_true - y_predict)) return loss def sgd_op(self, loss): """ 获取训练OP :return: """ # 4、使用梯度下降优化器优化 # 填充学习率：0 ~ 1 学习率是非常小， # 学习率大小决定你到达损失一个步数多少 # 最小化损失---->返回的这个train_op，是可以训练的，之所以可以训练，是因为之前的变量都是tf.Variable()创建的 train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss) return train_op
学习率越大，训练到较好结果的步长越小；学习率越小，训练到较好结果的步长越大。
但是学习过大会出现梯度爆炸现象。关于梯度爆炸/梯度消失 ？
在极端情况下，权重的值变得非常大，以至于溢出，导致 NaN 值
如何解决梯度爆炸问题（深度神经网络当中更容易出现）
1、重新设计网络
2、调整学习率
3、使用梯度截断（在训练过程中检查和限制梯度的大小）
4、使用激活函数
trainable的参数作用，指定是否训练
weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="weights", trainable=False)
使得代码结构更加清晰，Tensorboard图结构清楚
with tf.variable_scope("lr_model"):
目的：在TensorBoard当中观察模型的参数、损失值等变量值的变化
def merge_summary(self, loss): # 1、收集张量的值 tf.summary.scalar("losses", loss) tf.summary.histogram("w", self.weight) tf.summary.histogram(‘b‘, self.bias) # 2、合并变量 merged = tf.summary.merge_all() return merged # 生成事件文件，观察图结构 file_writer = tf.summary.FileWriter("./tmp/summary/", graph=sess.graph) # 运行收集变量的结果 summary = sess.run(merged) # 添加到文件 file_writer.add_summary(summary, i)
使用
例如： 指定目录+模型名字 saver.save(sess, ‘/tmp/ckpt/test/myregression.ckpt‘) saver.restore(sess, ‘/tmp/ckpt/test/myregression.ckpt‘)
如要判断模型是否存在，直接指定目录
checkpoint = tf.train.latest_checkpoint("./tmp/model/") saver.restore(sess, checkpoint)
前面具体定义的flag_name
# 定义一些常用的命令行参数 # 训练步数 tf.app.flags.DEFINE_integer("max_step", 0, "训练模型的步数") # 定义模型的路径 tf.app.flags.DEFINE_string("model_dir", " ", "模型保存的路径+模型名字") # 定义获取命令行参数 FLAGS = tf.app.flags.FLAGS # 开启训练 # 训练的步数（依据模型大小而定） for i in range(FLAGS.max_step): sess.run(train_op)
# 用tensorflow自实现一个线性回归案例 # 定义一些常用的命令行参数 # 训练步数 tf.app.flags.DEFINE_integer("max_step", 0, "训练模型的步数") # 定义模型的路径 tf.app.flags.DEFINE_string("model_dir", " ", "模型保存的路径+模型名字") FLAGS = tf.app.flags.FLAGS class MyLinearRegression(object): """ 自实现线性回归 """ def __init__(self): pass def inputs(self): """ 获取特征值目标值数据数据 :return: """ x_data = tf.random_normal([100, 1], mean=1.0, stddev=1.0, name="x_data") y_true = tf.matmul(x_data, [[0.7]]) + 0.8 return x_data, y_true def inference(self, feature): """ 根据输入数据建立模型 :param feature: :param label: :return: """ with tf.variable_scope("linea_model"): # 2、建立回归模型，分析别人的数据的特征数量--->权重数量， 偏置b # 由于有梯度下降算法优化，所以一开始给随机的参数，权重和偏置 # 被优化的参数，必须得使用变量op去定义 # 变量初始化权重和偏置 # weight 2维[1, 1] bias [1] # 变量op当中会有trainable参数决定是否训练 self.weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="weights") self.bias = tf.Variable(0.0, name=‘biases‘) # 建立回归公式去得出预测结果 y_predict = tf.matmul(feature, self.weight) + self.bias return y_predict def loss(self, y_true, y_predict): """ 目标值和真实值计算损失 :return: loss """ # 3、求出我们模型跟真实数据之间的损失 # 均方误差公式 loss = tf.reduce_mean(tf.square(y_true - y_predict)) return loss def merge_summary(self, loss): # 1、收集张量的值 tf.summary.scalar("losses", loss) tf.summary.histogram("w", self.weight) tf.summary.histogram(‘b‘, self.bias) # 2、合并变量 merged = tf.summary.merge_all() return merged def sgd_op(self, loss): """ 获取训练OP :return: """ # 4、使用梯度下降优化器优化 # 填充学习率：0 ~ 1 学习率是非常小， # 学习率大小决定你到达损失一个步数多少 # 最小化损失 train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss) return train_op def train(self): """ 训练模型 :param loss: :return: """ g = tf.get_default_graph() with g.as_default(): x_data, y_true = self.inputs() y_predict = self.inference(x_data) loss = self.loss(y_true, y_predict) train_op = self.sgd_op(loss) # 收集观察的结果值 merged = self.merge_summary(loss) saver = tf.train.Saver() with tf.Session() as sess: sess.run(tf.global_variables_initializer()) # 在没训练，模型的参数值 print("初始化的权重：%f, 偏置：%f" % (self.weight.eval(), self.bias.eval())) # 加载模型 checkpoint = tf.train.latest_checkpoint("./tmp/model/") # print(checkpoint) if checkpoint: print(‘Restoring‘, checkpoint) saver.restore(sess, checkpoint) # 开启训练 # 训练的步数（依据模型大小而定） for i in range(FLAGS.max_step): sess.run(train_op) # 生成事件文件，观察图结构 file_writer = tf.summary.FileWriter("./tmp/summary/", graph=sess.graph) print("训练第%d步之后的损失:%f, 权重：%f, 偏置：%f" % ( i, loss.eval(), self.weight.eval(), self.bias.eval())) # 运行收集变量的结果 summary = sess.run(merged) # 添加到文件 file_writer.add_summary(summary, i) if i % 100 == 0: # 保存的是会话当中的变量op值，其他op定义的值不保存 saver.save(sess, FLAGS.model_dir) if __name__ == ‘__main__‘: lr = MyLinearRegression() lr.train()
原文：https://www.cnblogs.com/kongweisi/p/11040333.html