TensorFlow 2.0 中文手寫字識別（漢字OCR）

大家可以看到，準確率可以在短時間內達到87%非常不錯，測試集的準確率大概在40%，由於測試集中的樣本在訓練集中完全沒有出現，相對訓練集的準確率來講偏低。可能原因無外乎兩個，一個事模型泛化性能不強，另外一個原因是訓練還不夠。

不過好在這個簡單的模型也能達到訓練集90%的準確率，its a good start. 讓我們來看一下如何快速的構建一個OCR網路模型：

def build_net_003(input_shape, n_classes):
model = tf.keras.Sequential([
layers.Conv2D(input_shape=input_shape, filters=32, kernel_size=(3, 3), strides=(1, 1),
padding=same, activation=relu),
layers.MaxPool2D(pool_size=(2, 2), padding=same),
layers.Conv2D(filters=64, kernel_size=(3, 3), padding=same),
layers.MaxPool2D(pool_size=(2, 2), padding=same),
?
layers.Flatten(),
layers.Dense(n_classes, activation=softmax)
])
return model

這是我們使用keras API構建的一個模型，它足夠簡單，僅僅包含兩個卷積層以及兩個maxpool層。下面我們讓大家知道，即便是再簡單的模型，有時候也能發揮出巨大的用處，對於某些特定的問題可能比更深的網路更有用途。關於這部分模型構建大家只要知道這麼幾點：

• 如果你只是構建序列模型，沒有太fancy的跳躍鏈接，你可以直接用keras.Sequential 來構建你的模型；
• Conv2D中最好指定每個參數的名字，不要省略，否則別人不知道你的寫的事輸入的通道數還是filters。

最後，在你看完本篇博客後，並準備自己動手復現這個教程的時候， 可以思考一下為什麼下面這個模型就發散了呢？（僅僅稍微複雜一點）：

?
def build_net_002(input_shape, n_classes):
model = tf.keras.Sequential([
layers.Conv2D(input_shape=input_shape, filters=64, kernel_size=(3, 3), strides=(1, 1),
padding=same, activation=relu),
layers.MaxPool2D(pool_size=(2, 2), padding=same),
layers.Conv2D(filters=128, kernel_size=(3, 3), padding=same),
layers.MaxPool2D(pool_size=(2, 2), padding=same),
layers.Conv2D(filters=256, kernel_size=(3, 3), padding=same),
layers.MaxPool2D(pool_size=(2, 2), padding=same),
?
layers.Flatten(),
layers.Dense(1024, activation=relu),
layers.Dense(n_classes, activation=softmax)
])
return model

數據輸入

其實最複雜的還是數據準備過程啊。這裡著重說一下，我們的數據存入tfrecords中的事image和label，也就是這麼一個example：

example = tf.train.Example(features=tf.train.Features(
feature={
"label": tf.train.Feature(int64_list=tf.train.Int64List(value=[index])),
image: tf.train.Feature(bytes_list=tf.train.BytesList(value=[img.tobytes()])),
width: tf.train.Feature(int64_list=tf.train.Int64List(value=[w])),
height: tf.train.Feature(int64_list=tf.train.Int64List(value=[h])),
}))

然後讀取的時候相應的讀取即可，這裡告訴大家幾點坑爹的地方：

• 將numpyarray的bytes存入tfrecord跟將文件的bytes直接存入tfrecord解碼的方式事不同的，由於我們的圖片數據不是來自於本地文件，所以我們使用了一個tobytes()方法存入的事numpy array的bytes格式，它實際上並不包含維度信息，所以這就是坑爹的地方之一，如果你不同時存儲width和height，你後面讀取的時候便無法知道維度，存儲tfrecord順便存儲圖片長寬事一個好的習慣.
• 關於不同的存儲方式解碼的方法有坑爹的地方，比如這裡我們存儲numpy array的bytes，通常情況下，你很難知道如何解碼。。（不看本教程應該很多人不知道）

最後load tfrecord也就比較直觀了：

def parse_example(record):
features = tf.io.parse_single_example(record,
features={
label:
tf.io.FixedLenFeature([], tf.int64),
image:
tf.io.FixedLenFeature([], tf.string),
})
img = tf.io.decode_raw(features[image], out_type=tf.uint8)
img = tf.cast(tf.reshape(img, (64, 64)), dtype=tf.float32)
label = tf.cast(features[label], tf.int64)
return {image: img, label: label}
?
?
def parse_example_v2(record):
"""
latest version format
:param record:
:return:
"""
features = tf.io.parse_single_example(record,
features={
width:
tf.io.FixedLenFeature([], tf.int64),
height:
tf.io.FixedLenFeature([], tf.int64),
label:
tf.io.FixedLenFeature([], tf.int64),
image:
tf.io.FixedLenFeature([], tf.string),
})
img = tf.io.decode_raw(features[image], out_type=tf.uint8)
# we can not reshape since it stores with original size
w = features[width]
h = features[height]
img = tf.cast(tf.reshape(img, (w, h)), dtype=tf.float32)
label = tf.cast(features[label], tf.int64)
return {image: img, label: label}
?
?
def load_ds():
input_files = [dataset/HWDB1.1trn_gnt.tfrecord]
ds = tf.data.TFRecordDataset(input_files)
ds = ds.map(parse_example)
return ds

這個v2的版本就是兼容了新的存入長寬的方式，因為我第一次生成的時候就沒有保存。。。最後入坑了。注意這行代碼：

img = tf.io.decode_raw(features[image], out_type=tf.uint8)

它是對raw bytes進行解碼，這個解碼跟從文件讀取bytes存入tfrecord的有著本質的不同。同時注意type的變化，這裡以unit8的方式解碼，因為我們存儲進去的就是uint8.

訓練過程

不瞞你說，我一開始寫了一個很複雜的模型，訓練了大概一個晚上結果準確率0.00012， 發散了。後面改成了更簡單的模型才收斂。整個過程的訓練pipleline：

def train():
all_characters = load_characters()
num_classes = len(all_characters)
logging.info(all characters: {}.format(num_classes))
train_dataset = load_ds()
train_dataset = train_dataset.shuffle(100).map(preprocess).batch(32).repeat()
?
val_ds = load_val_ds()
val_ds = val_ds.shuffle(100).map(preprocess).batch(32).repeat()
?
for data in train_dataset.take(2):
print(data)
?
# init model
model = build_net_003((64, 64, 1), num_classes)
model.summary()
logging.info(model loaded.)
?
start_epoch = 0
latest_ckpt = tf.train.latest_checkpoint(os.path.dirname(ckpt_path))
if latest_ckpt:
start_epoch = int(latest_ckpt.split(-)[1].split(.)[0])
model.load_weights(latest_ckpt)
logging.info(model resumed from: {}, start at epoch: {}.format(latest_ckpt, start_epoch))
else:
logging.info(passing resume since weights not there. training from scratch)
?
if use_keras_fit:
model.compile(
optimizer=tf.keras.optimizers.Adam(),
loss=tf.keras.losses.SparseCategoricalCrossentropy(),
metrics=[accuracy])
callbacks = [
tf.keras.callbacks.ModelCheckpoint(ckpt_path,
save_weights_only=True,
verbose=1,
period=500)
]
try:
model.fit(
train_dataset,
validation_data=val_ds,
validation_steps=1000,
epochs=15000,
steps_per_epoch=1024,
callbacks=callbacks)
except KeyboardInterrupt:
model.save_weights(ckpt_path.format(epoch=0))
logging.info(keras model saved.)
model.save_weights(ckpt_path.format(epoch=0))
model.save(os.path.join(os.path.dirname(ckpt_path), cn_ocr.h5))

在本系列教程開篇之際，我們就立下了幾條準則，其中一條就是handle everything, 從這裡就能看出，它事一個很穩健的訓練代碼，同事也很自動化：

• 自動尋找之前保存的最新模型；
• 自動保存模型；
• 捕捉ctrl + c事件保存模型。
• 支持斷點續訓練

大家在以後編寫訓練代碼的時候其實可以保持這個好的習慣。

OK，整個模型訓練起來之後，可以在短時間內達到95%的準確率：

效果還是很不錯的！

模型測試

最後模型訓練完了，時候測試一下模型效果到底咋樣。我們使用了一些簡單的文字來測試：

這個字寫的還真的。。。。具有鬼神之勢。相信普通人類大部分字都能認出來，不過有些字還真的。。。。不好認。看看神經網路的表現怎麼樣！

這是大概2000次訓練的結果， 基本上能識別出來了！神經網路的認字能力還不錯的! 收工！

總結

通過本教程，我們完成了使用tensorflow 2.0全新的API搭建一個中文漢字手寫識別系統。模型基本能夠實現我們想要的功能。要知道，這個模型可是在搜索空間多大3755的類別當中準確的找到最相似的類別！！通過本實驗，我們有幾點心得：

• 神經網路不僅僅是在學習，它具有一定的想像力！！比如它的一些看著很像的字：拜-佯， 扮-撈，笨-苯.... 這些字如果手寫出來，連人都比較難以辨認！！但是大家要知道這些字在類別上並不是相領的！也就是說，模型具有一定的聯想能力！
• 不管問題多複雜，要敢於動手、善於動手。

最後希望大家對本文點個贊，編寫教程不容易。希望大家多多支持。笨教程將支持為大家輸出全新的tensorflow2.0教程！歡迎關注！！

本文所有代碼開源在 (如果由於git倉庫定期清理原因找不到項目，參考這個平台：http://manaai.cn)：

https://github.com/jinfagang/ocrcn_tf2.git?

github.com

記得隨手star哦！！

我們的AI社區：

奇點AI社區?

talk.strangeai.pro

全球最大的開源AI代碼平台：

神力AI(MANA)-國內最大的AI代碼平台?

manaai.cn
推薦閱讀：