使用TensorFlow2.0+ 上手mnist手写数字数据集学习的一个示例

本文章介绍使用TensorFlow2.0+ 上手mnist数据集学习的一个示例，以便快速的使用Tensorflow

Tensorflow 中相关概念理解

# 计算图 是 Tensorflow 的基本计算模型 # 张量 tensor - Tensorflow管理数据的形式 Tensor("add:0",shape=(2,1),dtype=float32) 张量的三个属性：名字，维度、类型 ## 名字 name 计算节点"add"输出的第一个结果 ## 维度 shape 一个长度为2的1维数组 ## 类似 dtype 参与运行的张量类型必须一样 

Tensorflow2.0 后一个训练示例的基本步骤

# 导入数据 (train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data() # 数据处理，维度要一致 train_images = train_images.reshape((-1, 28, 28, 1)).astype('float32') test_images = test_images.reshape((-1, 28, 28, 1)).astype('float32') # -1代表那个地方由其余几个值算来的 train_images = train_images / 255 test_images = test_images / 255 # 定义模型方法，这里可以定义更深层的网络模型、 ## 卷积神经网络：激活、池化层、全连接层、分类层等等 keras.Sequential() # 训练模型配置，优化器、损失函数、回归问题用均方差 model.compile # 训练模型 model.fit(train_images, train_labels, batch_size=64, epochs=10, validation_split=0.1) # 测试模型 model.evaluate(test_images, test_labels) # 保存模型 model.save('保存目录') # 验证自己的数据，查看返回值 model.predict(x_pre) 

完整示例介绍

Mac运行基本的tensorflow函数，需要在代码前添加

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE" 

使用Keras导入MNIST数据集

# 默认的直接以下使用方法加载数据集，会从https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz国外网站下载，所以会失败 (train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data() 

正确的操作是将其下载下来四个压缩文件夹，放到～/.keras/datasets/目录下，这样keras就会使用本地包，执行代码不再报错

完整的源代码与其中步骤解说

""" mnist 数据集的训练、测试、保存模型、用验证模型 """ # 相关库的导入 from tensorflow import keras import tensorflow.keras.layers as layers import tensorflow as tf import matplotlib.pyplot as plt import numpy as np import cv2 import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE" # 导入数据 (train_images, train_labels), (test_images, test_labels) = keras.datasets.mnist.load_data() # 观察数据 print(train_images.shape) plt.imshow(train_images[10000]) print(train_labels[10000]) # 数据处理，维度要一致 train_images = train_images.reshape((-1, 28, 28, 1)).astype('float32') test_images = test_images.reshape((-1, 28, 28, 1)).astype('float32') # -1代表那个地方由其余几个值算来的 train_images = train_images / 255 test_images = test_images / 255 print(train_images.shape) # 定义模型方法一-add() # 这里我的模型比较简单，但准确率也有98%多，感兴趣的可以扩大深度或者引入其他方法优化下 model = keras.Sequential() model.add(layers.Conv2D(input_shape=(28, 28, 1), filters=32, kernel_size=(3, 3), strides=(1, 1), padding='valid', activation='relu')) # 卷积层加激活 model.add(layers.MaxPool2D(pool_size=(2, 2))) # 池化层 model.add(layers.Flatten()) # 全连接层 model.add(layers.Dense(32, activation='relu')) # 分类层 model.add(layers.Dense(10, activation='softmax')) # 训练模型配置 model.compile(optimizer=keras.optimizers.Adam(), # loss=keras.losses.CategoricalCrossentropy(), # 损失函数多分类使用交叉熵（这里还要看标签是否为one-hot编码） # 回归问题用均方差 loss=keras.losses.SparseCategoricalCrossentropy(), metrics=['accuracy']) model.summary() # 进行模型训练 history = model.fit(train_images, train_labels, batch_size=64, epochs=10, validation_split=0.1) #epochs，训练迭代次数 # 保存下模型（这个方法比较常用，也可以考虑适合部署的SavedModel 方式） model.save('saved_model/my_model') # 保存模型，名字可以任取，但要由.h5后缀 # 测试模型 model.evaluate(test_images, test_labels) # 构建神经网络层结构 # 这个网络的第一层，tf.keras.layers.Flatten，将图像的格式从一个二维数组(28×28像素)转换为一个一维数组(28 * 28 = 784像素)。把这层想象成把图像中的像素行分解并排列起来。这一层没有需要学习的参数;它只会重新格式化数据。 # 在像素被平展之后，网络由两个tf.keras.layers.Dense组成。致密层。这些是紧密相连的，或完全相连的神经层。第一个致密层有128个节点(或神经元)。第二层(也是最后一层)返回长度为10的logits数组。每个节点包含一个分数，表示当前图像属于10个类中的一个。 # 在模型准备好进行培训之前，它需要更多的设置。这些是在模型的编译步骤中添加的: # # 损失函数——测量模型在训练过程中的准确性。您希望最小化这个函数，以将模型“引导”到正确的方向。 # 优化器——这是根据模型所看到的数据及其损失函数更新模型的方法。 # 度量标准——用于监视培训和测试步骤。下面的例子使用了准确率，即被正确分类的图像的比例。 # 定义一个简单的序列模型 # 训练神经网络模型需要以下步骤: # # 将训练数据提供给模型。在本例中，训练数据位于train_images和train_labels数组中。 # 模型学会将图像和标签联系起来。 # 您要求模型对测试集做出预测—在这个例子中，test_images数组。 # 验证预测是否与test_labels数组中的标签匹配。 # 开始训练模型 """ 使用保存的模型验证准确性 """ new_model = tf.keras.models.load_model('saved_model/my_model') # 检查其架构 new_model.summary() # 评估还原的模型 loss, acc = new_model.evaluate(test_images, test_labels, verbose=2) print('Restored model, accuracy: {:5.2f}%'.format(100 * acc)) print(new_model.predict(test_images).shape) def output(y_pre, y): temp = np.argmax(y_pre) print('预测结果为' + str(temp)) print('实际结果为' + str(y)) if str(temp) == str(y): print('预测结果正确') else: print('预测结果错误') def readnum(path): # 读取自己的数字数据进行预测 img = cv2.imread(path, 0) # 灰度图读入 # 查看数据 img = cv2.resize(img, (28, 28)) # cv2.imshow('img', img) # cv2.waitKey(0) # cv2.destroyAllWindows() img = np.array(img) img = img.reshape((-1, 28, 28, 1)).astype('float32') img = 1 - img / 255.0 # 因为我的数字是相反颜色的所以有个反转 return img # 预测并输出结果 path = '/tmp/666.png' # 验证的数据图片 x_pre = readnum(path) y_pre = new_model.predict(x_pre) output(y_pre, 6)