Keras: model實現固定部分layer,訓練部分layer操作

需求：Resnet50做調優訓練，將最後分類數目由1000改為500。

問題：網上下載了resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5，更改了Resnet50後，由於所有層均參加訓練，導致訓練速度慢。實際上只需要訓練最後3層，前面的層都不需要訓練。

解決辦法：

①將模型拆分為兩個模型，一個為前面的notop部分，一個為最後三層，然後利用model的trainable屬性設置只有後一個model訓練，最後將兩個模型合併起來。

②不用拆分，遍歷模型的所有層，將前面層的trainable設置為False即可。代碼如下：

  for layer in model.layers[:-3]:   print(layer.trainable)   layer.trainable = False

注意事項：

①儘量不要這樣：

layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)

因為容易出錯。。。

②加載notop參數時注意by_name=True.

補充知識：Keras關於訓練凍結部分層

設置凍結層有兩種方式。

（不推薦）是在搭建網絡時，直接將某層的trainable設置為false，例如:

layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)

在網絡搭建完成時，遍歷model.layer,然後將layer.trainable設置為False:

  # 凍結網絡倒數的3層  for layer in model.layers[:-3]:   print(layer.trainable)   layer.trainable = False

也可以根據layer.name來確定哪些層需要凍結,例如凍結最後一層和RNN層：

  for layer in model.layers:   layerName=str(layer.name)   if layerName.startswith("RNN_") or layerName.startswith("Final_"):   layer.trainable=False

可以在實例化之後將網絡層的 trainable 屬性設置為 True 或 False。為了使之生效，在修改 trainable 屬性之後，需要在模型上調用 compile()。

這是一個例子

  x = Input(shape=(32,))  layer = Dense(32)  layer.trainable = False  y = layer(x)     frozen_model = Model(x, y)  # 在下面的模型中，訓練期間不會更新層的權重  frozen_model.compile(optimizer='rmsprop', loss='mse')     layer.trainable = True  trainable_model = Model(x, y)  # 使用這個模型，訓練期間 `layer` 的權重將被更新  # (這也會影響上面的模型，因為它使用了同一個網絡層實例)  trainable_model.compile(optimizer='rmsprop', loss='mse')     frozen_model.fit(data, labels) # 這不會更新 `layer` 的權重  trainable_model.fit(data, labels) # 這會更新 `layer` 的權重

在網絡搭建時，可以考慮最後一個分類層命名和分類數量關聯，這樣當費雷數量方式變化時，model.load_weight(“weight.h5”，by_name=True)不會加載最後一層