在之前的一讲中,我们了解了如何使用 numpy 来手动构建卷积神经网络(CNN)。然而,在实际的图像识别任务中,手动编写 CNN 会显得比较繁琐且低效。因此,我们在深度神经网络(DNN)的学习过程中,通常会在手动搭建之后,借助 TensorFlow 等开源框架来快速实现。这样做不仅可以让我们对神经网络的工作原理有更深入的理解,还能提高开发效率。
本节我们将继续探讨如何使用 TensorFlow 构建一个卷积神经网络。我们将以 NG 实验室提供的手势数据集为例,学习如何使用 TensorFlow 快速搭建一个深度学习项目。该数据集包含从零到五的六个手势类别,每类图像都标有不同的标签。
首先,我们需要对数据进行预处理,并检查训练集和测试集的维度:
```python Xtrain = Xtrainorig / 255. Xtest = Xtestorig / 255. Ytrain = converttoonehot(Ytrainorig, 6) Ytest = converttoonehot(Ytestorig, 6)
print("训练样本数量:" + str(Xtrain.shape[0])) print("测试样本数量:" + str(Xtest.shape[0])) print("训练集形状:" + str(Xtrain.shape)) print("训练标签形状:" + str(Ytrain.shape)) print("测试集形状:" + str(Xtest.shape)) print("测试标签形状:" + str(Ytest.shape)) ```
数据集包含 1080 张 64x64 像素的彩色图像作为训练集,以及 120 张相同尺寸的图像作为测试集,每个图像都有对应的标签,共六类。
接下来,我们将开始构建卷积神经网络。首先需要创建占位符变量,用于输入数据和目标标签:
```python def create_placeholders(height, width, channels, classes): """ 创建用于 TensorFlow 会话的占位符变量。
参数:
height -- 输入图像的高度
width -- 输入图像的宽度
channels -- 输入图像的通道数
classes -- 类别数
返回:
X -- 数据输入的占位符,形状为 [None, height, width, channels]
Y -- 输入标签的占位符,形状为 [None, classes]
"""
X = tf.placeholder(tf.float32, shape=(None, height, width, channels), name='X')
Y = tf.placeholder(tf.float32, shape=(None, classes), name='Y')
return X, Y
```
接下来,我们需要初始化卷积层所需的权重参数:
```python def initialize_parameters(): """ 初始化神经网络的权重参数。
返回:
parameters -- 包含权重参数 W1 和 W2 的字典
"""
tf.set_random_seed(1)
W1 = tf.get_variable("W1", [4, 4, 3, 8], initializer=tf.contrib.layers.xavier_initializer(seed=0))
W2 = tf.get_variable("W2", [2, 2, 8, 16], initializer=tf.contrib.layers.xavier_initializer(seed=0))
parameters = {"W1": W1,
"W2": W2}
return parameters
```
然后,我们定义前向传播过程,这包括两个卷积层、ReLU 激活函数和最大池化操作,最后连接一个全连接层:
```python def forward_propagation(X, parameters): """ 实现前向传播过程。
参数:
X -- 输入数据占位符
parameters -- 包含权重参数的字典
返回:
Z3 -- 最后一层线性单元的输出
"""
W1 = parameters['W1']
W2 = parameters['W2']
Z1 = tf.nn.conv2d(X, W1, strides=[1, 1, 1, 1], padding='SAME')
A1 = tf.nn.relu(Z1)
P1 = tf.nn.max_pool(A1, ksize=[1, 8, 8, 1], strides=[1, 8, 8, 1], padding='SAME')
Z2 = tf.nn.conv2d(P1, W2, strides=[1, 1, 1, 1], padding='SAME')
A2 = tf.nn.relu(Z2)
P2 = tf.nn.max_pool(A2, ksize=[1, 4, 4, 1], strides=[1, 4, 4, 1], padding='SAME')
P2 = tf.contrib.layers.flatten(P2)
Z3 = tf.contrib.layers.fully_connected(P2, 6, activation_fn=None)
return Z3
```
计算损失函数也很简单:
```python def compute_cost(Z3, Y): """ 计算损失。
参数:
Z3 -- 前向传播输出
Y -- 真实标签
返回:
cost -- 损失值
"""
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=Z3, labels=Y))
return cost
```
最后,我们将上述步骤封装成一个完整的训练模型:
```python def model(Xtrain, Ytrain, Xtest, Ytest, learningrate=0.009, numepochs=100, minibatchsize=64, printcost=True): """ 使用 TensorFlow 构建一个三层卷积神经网络。
参数:
X_train -- 训练集数据
Y_train -- 训练集标签
X_test -- 测试集数据
Y_test -- 测试集标签
learning_rate -- 学习率
num_epochs -- 训练周期数
minibatch_size -- 小批量大小
print_cost -- 是否打印成本
返回:
train_accuracy -- 训练集准确率
test_accuracy -- 测试集准确率
parameters -- 学习到的参数
"""
ops.reset_default_graph()
tf.set_random_seed(1)
seed = 3
(m, n_H0, n_W0, n_C0) = X_train.shape
n_y = Y_train.shape[1]
costs = []
X, Y = create_placeholders(n_H0, n_W0, n_C0, n_y)
parameters = initialize_parameters()
Z3 = forward_propagation(X, parameters)
cost = compute_cost(Z3, Y)
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost)
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
for epoch in range(num_epochs):
minibatch_cost = 0.
num_minibatches = int(m / minibatch_size)
seed += 1
minibatches = random_mini_batches(X_train, Y_train, minibatch_size, seed)
for minibatch in minibatches:
(minibatch_X, minibatch_Y) = minibatch
_, temp_cost = sess.run([optimizer, cost], feed_dict={X: minibatch_X, Y: minibatch_Y})
minibatch_cost += temp_cost / num_minibatches
if print_cost and epoch % 5 == 0:
print("Epoch %i: Cost %f" % (epoch, minibatch_cost))
if print_cost and epoch % 1 == 0:
costs.append(minibatch_cost)
plt.plot(np.squeeze(costs))
plt.ylabel('cost')
plt.xlabel('iterations (per tens)')
plt.title("Learning rate =" + str(learning_rate))
plt.show()
predict_op = tf.argmax(Z3, 1)
correct_prediction = tf.equal(predict_op, tf.argmax(Y, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
train_accuracy = accuracy.eval({X: X_train, Y: Y_train})
test_accuracy = accuracy.eval({X: X_test, Y: Y_test})
print("Train Accuracy:", train_accuracy)
print("Test Accuracy:", test_accuracy)
return train_accuracy, test_accuracy, parameters
```
运行模型进行训练:
python
_, _, parameters = model(X_train, Y_train, X_test, Y_test)
训练完成后,我们获得了约 67% 的训练集准确率和 58% 的测试集准确率。尽管这些结果还有很大的提升空间,但我们现在掌握了如何使用 TensorFlow 快速搭建一个基本的卷积神经网络。