► KerasHub：預訓練模型 / API 文件 / 模型架構 / MiT / MiTImageClassifier 模型

MiTImageClassifier 模型

[來源]

MiTImageClassifier 類別

keras_hub.models.MiTImageClassifier(
    backbone,
    num_classes,
    preprocessor=None,
    pooling="avg",
    activation=None,
    dropout=0.0,
    head_dtype=None,
    **kwargs
)

所有圖像分類任務的基礎類別。

ImageClassifier 任務封裝了 keras_hub.models.Backbone 和 keras_hub.models.Preprocessor，以建立可用於圖像分類的模型。ImageClassifier 任務接受額外的 num_classes 參數，用於控制預測輸出的類別數量。

若要使用 fit() 進行微調，請傳遞包含 (x, y) 標籤元組的資料集，其中 x 是字串，y 是來自 [0, num_classes) 的整數。所有 ImageClassifier 任務都包含 from_preset() 建構子，可用於載入預訓練的配置和權重。

引數

  • backbone：keras_hub.models.Backbone 實例或 keras.Model。
  • num_classes：整數。要預測的類別數量。
  • preprocessor：None、keras_hub.models.Preprocessor 實例、keras.Layer 實例或可呼叫物件。如果為 None，則不會對輸入套用任何預處理。
  • pooling："avg" 或 "max"。要對骨幹網路輸出套用的池化類型。預設為平均池化。
  • activation：None、字串或可呼叫物件。要在 Dense 層上使用的激活函數。設定 activation=None 以傳回輸出邏輯值。預設為 "softmax"。
  • head_dtype：None、字串或 keras.mixed_precision.DTypePolicy。用於分類頭部計算和權重的 dtype。

範例

呼叫 predict() 以執行推論。

# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
classifier = keras_hub.models.ImageClassifier.from_preset(
    "resnet_50_imagenet"
)
classifier.predict(images)

在單一批次上呼叫 fit()。

# Load preset and train
images = np.random.randint(0, 256, size=(2, 224, 224, 3))
labels = [0, 3]
classifier = keras_hub.models.ImageClassifier.from_preset(
    "resnet_50_imagenet"
)
classifier.fit(x=images, y=labels, batch_size=2)

使用自訂損失、優化器和骨幹網路呼叫 fit()。

classifier = keras_hub.models.ImageClassifier.from_preset(
    "resnet_50_imagenet"
)
classifier.compile(
    loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer=keras.optimizers.Adam(5e-5),
)
classifier.backbone.trainable = False
classifier.fit(x=images, y=labels, batch_size=2)

自訂骨幹網路。

images = np.random.randint(0, 256, size=(2, 224, 224, 3))
labels = [0, 3]
backbone = keras_hub.models.ResNetBackbone(
    stackwise_num_filters=[64, 64, 64],
    stackwise_num_blocks=[2, 2, 2],
    stackwise_num_strides=[1, 2, 2],
    block_type="basic_block",
    use_pre_activation=True,
    pooling="avg",
)
classifier = keras_hub.models.ImageClassifier(
    backbone=backbone,
    num_classes=4,
)
classifier.fit(x=images, y=labels, batch_size=2)

[來源]

from_preset 方法

MiTImageClassifier.from_preset(preset, load_weights=True, **kwargs)

從模型預設配置實例化 keras_hub.models.Task。

預設配置是一個目錄，其中包含用於儲存和載入預訓練模型的配置、權重和其他檔案資產。preset 可以作為以下其中一種傳遞

  1. 內建預設配置識別符，例如 'bert_base_en'
  2. Kaggle Models 代碼，例如 'kaggle://user/bert/keras/bert_base_en'
  3. Hugging Face 代碼，例如 'hf://user/bert_base_en'
  4. 本機預設配置目錄的路徑，例如 './bert_base_en'

對於任何 Task 子類別，您可以執行 cls.presets.keys() 以列出該類別上所有可用的內建預設配置。

此建構子可以透過兩種方式之一呼叫。從任務特定的基礎類別呼叫，例如 keras_hub.models.CausalLM.from_preset()，或從模型類別呼叫，例如 keras_hub.models.BertTextClassifier.from_preset()。如果從基礎類別呼叫，則傳回物件的子類別將從預設配置目錄中的配置推斷。

引數

  • preset：字串。內建預設配置識別符、Kaggle Models 代碼、Hugging Face 代碼或本機目錄的路徑。
  • load_weights：布林值。如果為 True，則儲存的權重將載入到模型架構中。如果為 False，則所有權重都將隨機初始化。

範例

# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
    "gemma_2b_en",
)

# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
    "bert_base_en",
    num_classes=2,
)
預設配置 參數 描述
mit_b0_ade20k_512 3.32M 具有 8 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b0_cityscapes_1024 3.32M 具有 8 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b1_ade20k_512 13.16M 具有 8 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b1_cityscapes_1024 13.16M 具有 8 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b2_ade20k_512 24.20M 具有 16 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b2_cityscapes_1024 24.20M 具有 16 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b3_ade20k_512 44.08M 具有 28 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b3_cityscapes_1024 44.08M 具有 28 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b4_ade20k_512 60.85M 具有 41 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b4_cityscapes_1024 60.85M 具有 41 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b5_ade20k_640 81.45M 具有 52 個 Transformer 區塊的 MiT (MixTransformer) 模型。
mit_b5_cityscapes_1024 81.45M 具有 52 個 Transformer 區塊的 MiT (MixTransformer) 模型。

backbone 屬性

keras_hub.models.MiTImageClassifier.backbone

具有核心架構的 keras_hub.models.Backbone 模型。

preprocessor 屬性

keras_hub.models.MiTImageClassifier.preprocessor

用於預處理輸入的 keras_hub.models.Preprocessor 層。

MiTImageClassifier 模型
MiTImageClassifier 類別
from_preset 方法
backbone 屬性
preprocessor 屬性