月度归档： 2019 年 11 月

tensorflow一般使用pb文件进行前向推导（在非部署环境使用ckpt也可以）载入pb文件到图的函数

def load_pb_to_graph(sess, pb_file):
    with tf.gfile.FastGFile(pb_file, "rb") as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())
        sess.graph.as_default()
        tf.import_graph_def(graph_def,name="")

在会话中，调用该函数，并根据名称获取输入和输出的tensor，然后就可以sess.run进行前向推导

load_pb_to_graph(sess, "xxnet.pb")
inputs = tf.get_default_graph().get_tensor_by_name("xxnet/input:0")
outputs = tf.get_default_graph().get_tensor_by_name("xxnet/score:0")
scores = sess.run([outputs], feed_dict={inputs: input_data})

tensorflow训练时将模型保存为ckpt文件，它包含了网络结构、网络权重、训练过程中间变量等等信息。而网络部署一般是使用pb文件，它将变量保存为常量，以及网络前向传播的所有必要结构。如何将ckpt文件导出为pb文件？

首先，使用tfrecord训练的ckpt一般包含读取训练tfrecord文件的结构，而这是pb文件所不需要的。pb文件通常使用placeholder接受输入。因此，要以placeholder为输入重新定义一遍网络结构（通常就是调用一次网络构建函数）。假设为
output = xxnet(input_placeholder)
要获取输出节点的名称
output_nd_name = output.op.name

然后，载入ckpt的权重
saver = tf.train.Saver()
saver.restore(sess, “xxnet.ckpt”)

然后，将其中的变量转化为常量，保存模型

out_graph_def = tf.graph_util.convert_variables_to_constants(
    sess=sess,
    input_graph_def=sess.graph_def,
    output_node_names=[output_nd_name]
)
with tf.gfile.GFile("xxnet.pb","wb") as f:
    f.write(out_graph_def.SerializeToString())

本文不针对tensorflow2.0。首先要构建数据的输入，一般是将数据转化为pb格式

然后构建自己的网络，并构建损失函数的节点。构建网络有多种方式，可以用代码构建（利用slim、keras等高级api，或者基础的api，或者已有的代码），也可以从ckpt.meta中载入网络结构（断点继续训练等情况）tf.train.import_meta_graph(“xxx.ckpt.meta”)。这里要注意，一般训练时会同时进行网络在验证集上的测试，比如每训练n步后在训练集上进行测试。因此构建网络需要同时构建一个验证网络，共享训练网络的变量权重。构建验证网络时要在variable_scope中设置reuse=True。

定义优化器，如opt=tf.train.AdamOptimizer()
将优化器应用在损失节点上计算梯度。grads=opt.compute_gradients(L)
梯度下降优化节点 apply_grad_op = opt.apply_gradients(grads)

训练模型需要保存，定义一个saver
saver = tf.train.Saver(max_to_keep=10) 最多保留10个ckpt
在训练时，使用saver.save(sess, “xxx.ckpt”, global_step=step)保存ckpt文件

希望在训练时看到训练过程， 使用tf.summary.scalar 添加想要的变量到训练过程日志中。
如 tf.summary.scalar(“training loss”, L)添加训练损失到训练过程。然后定义summary_op = tf.summary.merge_all()
然后要定义一个summary_writer
summary_writer = tf.summary.FileWriter(logdir, sess.graph)
训练时，每隔n步，使用summary_writer.add_summary(sess.run(summary_op), step)保存训练过程日志
训练开始后，就可以使用tensorboard查看训练过程了

训练过程一般在一个for循环中进行，
sess.run([apply_grad_op])进行网络的训练
在这个循环中，还要进行上面所说的保存ckpt文件、训练日志

我们经常会遇到这样一些问题，想要使用一些预训练好的模型，然后在其基础上进行一些增减，以适应新的任务。在开始训练之前，要对所有的新增变量进行初始化，但是要保持预训练模型中已有的权重不变，即只初始化新增变量。而如果使用tensorflow中提供的saver.restore(sess, ckpt_path)，会报找不到新增节点的错误！记录一下这种情况要如何处理。

首先，在对预训练模型进行增减之前，先进行saver.restore(sess, ckpt_path)载入预训练权重，然后再进行对网络结构的增减（这里可以使用tf.get_default_graph().get_tensor_by_name(tensor_name)获取到原网络中的tensor，来进行新增节点）

在增加完新增节点之后，要初始化这些新增节点权重变量。接下来就是最关键的一步，获取网络中所有未初始化的权重变量。

def get_uninitialized_variables(sess):
    global_vars = tf.global_variables()
    is_not_initialized = sess.run([tf.is_variable_initialized(var) for var in global_vars])
    not_initialized_vars = [v for (v, f) in zip(global_vars, is_not_initialized) if not f]
    print([str(i.name) for i in not_initialized_vars])
    return not_initialized_vars

然后在会话中，初始化这些变量

sess.run(tf.variables_initializer(get_uninitialized_variables(sess)))

接下来就可以愉快地进行训练了

以在tensorboard中添加训练过程中网络的损失值为例。

在网络构建阶段，
L = xxnet.loss(output, label)
tf.summary.scalar("Training loss", L)
然后添加一个op
summary_op = tf.summary.merge_all()

在会话中，定义一个SummaryWriter
summary_writer = tf.summary.FileWriter(logdir, sess.graph)
在每一训练步骤中，
summary_str = sess.run(summary_op)
summary_writer.add_summary(summary_str, step)

然后当训练开始后，就可以在tensorboard中看到损失值了。不过，这种方式缺乏灵活性。更推荐使用下面的方式

summary_writer = tf.summary.FileWriter(logdir)
summary = tf.Summary(value=[
    tf.Summary.Value(tag="Training loss", simple_value=L),
    tf.Summary.Value(tag="Validation loss", simple_value=L_val)])
summary_writer.add_summary(summary, step)

或者：

summary_writer = tf.summary.FileWriter(logdir)
summary = tf.Summary()
summary.value.add(tag="Training loss", simple_value=L)
summary.value.add(tag="Validation loss", simple_value=L_val)
summary_writer.add_summary(summary, step)