► KerasHub：預訓練模型 / API 文件 / 模型架構 / Segment Anything 模型 / SAMImageSegmenter 模型

SAMImageSegmenter 模型

[來源]

SAMImageSegmenter 類別

keras_hub.models.SAMImageSegmenter(backbone, preprocessor=None, **kwargs)

Segment Anything (SAM) 影像分割器模型。

SAM 的運作方式是提示輸入影像。提示方式有三種：(1) 標記點：前景點（標籤為 1 的點）經過編碼，使遮罩解碼器產生的輸出遮罩包含這些點，而背景點（標籤為 0 的點）經過編碼，使產生的遮罩不包含這些點。(2) 方框：方框告知模型要分割影像的哪個部分/裁剪區域。(3) 遮罩：輸入遮罩可用於精細化遮罩解碼器的輸出。這些提示可以混合搭配使用，但至少必須存在一個提示。若要關閉特定提示，只需從模型的輸入中排除它即可。(1) 對於點提示，預期形狀為 (batch, num_points, 2)。標籤必須具有對應的形狀 (batch, num_points)。(2) 對於方框提示，預期形狀為 (batch, 1, 2, 2)。(3) 同樣地，遮罩提示的形狀為 (batch, 1, H, W, 1)。

引數

範例

使用 from_preset 載入預訓練模型。

image_size=128
batch_size=2
input_data = {
    "images": np.ones(
        (batch_size, image_size, image_size, 3),
        dtype="float32",
    ),
    "points": np.ones((batch_size, 1, 2), dtype="float32"),
    "labels": np.ones((batch_size, 1), dtype="float32"),
    "boxes": np.ones((batch_size, 1, 2, 2), dtype="float32"),
    "masks": np.zeros(
        (batch_size, 0, image_size, image_size, 1)
    ),
}
sam = keras_hub.models.SAMImageSegmenter.from_preset('sam_base_sa1b')
outputs = sam.predict(input_data)
masks, iou_pred = outputs["masks"], outputs["iou_pred"]

載入具有自訂 backbone 的 Segment Anything 影像分割器

image_size = 128
batch_size = 2
images = np.ones(
    (batch_size, image_size, image_size, 3),
    dtype="float32",
)
image_encoder = keras_hub.models.ViTDetBackbone(
    hidden_size=16,
    num_layers=16,
    intermediate_dim=16 * 4,
    num_heads=16,
    global_attention_layer_indices=[2, 5, 8, 11],
    patch_size=16,
    num_output_channels=8,
    window_size=2,
    image_shape=(image_size, image_size, 3),
)
prompt_encoder = keras_hub.layers.SAMPromptEncoder(
    hidden_size=8,
    image_embedding_size=(8, 8),
    input_image_size=(
        image_size,
        image_size,
    ),
    mask_in_channels=16,
)
mask_decoder = keras_hub.layers.SAMMaskDecoder(
    num_layers=2,
    hidden_size=8,
    intermediate_dim=32,
    num_heads=8,
    embedding_dim=8,
    num_multimask_outputs=3,
    iou_head_depth=3,
    iou_head_hidden_dim=8,
)
backbone = keras_hub.models.SAMBackbone(
    image_encoder=image_encoder,
    prompt_encoder=prompt_encoder,
    mask_decoder=mask_decoder,
)
sam = keras_hub.models.SAMImageSegmenter(
    backbone=backbone
)

例如，若要傳入所有提示，請執行下列操作

points = np.array([[[512., 512.], [100., 100.]]])
# For labels: 1 means foreground point, 0 means background
labels = np.array([[1., 0.]])
box = np.array([[[[384., 384.], [640., 640.]]]])
input_mask = np.ones((1, 1, 256, 256, 1))
# Prepare an input dictionary:
inputs = {
    "images": image,
    "points": points,
    "labels": labels,
    "boxes": box,
    "masks": input_mask
}
outputs = sam.predict(inputs)
masks, iou_pred = outputs["masks"], outputs["iou_pred"]

輸出 masks 中的第一個遮罩（即 masks[:, 0, ...]）是模型根據提示預測的最佳遮罩。其他 masks（即 masks[:, 1:, ...]）是替代預測，如果需要，可以使用它們來取代第一個遮罩。現在，如果只有點和方框提示，只需排除遮罩

inputs = {
    "images": image,
    "points": points,
    "labels": labels,
    "boxes": box,
}

outputs = sam.predict(inputs)
masks, iou_pred = outputs["masks"], outputs["iou_pred"]

另一個範例是只有點提示存在。請注意，如果存在點提示但不存在方框提示，則必須使用零點和 -1 標籤來填補點

padded_points = np.concatenate(
    [points, np.zeros((1, 1, 2))], axis=1
)

padded_labels = np.concatenate(
    [labels, -np.ones((1, 1))], axis=1
)
inputs = {
    "images": image,
    "points": padded_points,
    "labels": padded_labels,
}
outputs = sam.predict(inputs)
masks, iou_pred = outputs["masks"], outputs["iou_pred"]

[來源]

from_preset 方法

SAMImageSegmenter.from_preset(preset, load_weights=True, **kwargs)

從模型預設實例化 keras_hub.models.Task。

預設是組態、權重和其他檔案資產的目錄，用於儲存和載入預訓練模型。preset 可以作為下列其中一種方式傳遞

  1. 內建預設識別碼，例如 'bert_base_en'
  2. Kaggle Models 句柄，例如 'kaggle://user/bert/keras/bert_base_en'
  3. Hugging Face 句柄，例如 'hf://user/bert_base_en'
  4. 本機預設目錄的路徑，例如 './bert_base_en'

對於任何 Task 子類別，您可以執行 cls.presets.keys() 來列出類別上所有可用的內建預設。

此建構函式可以透過兩種方式之一呼叫。從任務特定的基底類別（例如 keras_hub.models.CausalLM.from_preset()）呼叫，或從模型類別（例如 keras_hub.models.BertTextClassifier.from_preset()）呼叫。如果從基底類別呼叫，則傳回物件的子類別將從預設目錄中的組態推斷出來。

引數

  • preset：字串。內建預設識別碼、Kaggle Models 句柄、Hugging Face 句柄或本機目錄的路徑。
  • load_weights：布林值。如果為 True，則儲存的權重將載入到模型架構中。如果為 False，則所有權重將隨機初始化。

範例

# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
    "gemma_2b_en",
)

# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
    "bert_base_en",
    num_classes=2,
)
預設 參數 說明
sam_base_sa1b 93.74M 在 SA1B 資料集上訓練的基本 SAM 模型。
sam_huge_sa1b 312.34M 在 SA1B 資料集上訓練的巨型 SAM 模型。
sam_large_sa1b 641.09M 在 SA1B 資料集上訓練的大型 SAM 模型。

backbone 屬性

keras_hub.models.SAMImageSegmenter.backbone

具有核心架構的 keras_hub.models.Backbone 模型。

preprocessor 屬性

keras_hub.models.SAMImageSegmenter.preprocessor

用於預處理輸入的 keras_hub.models.Preprocessor 層。

SAMImageSegmenter 模型
SAMImageSegmenter 類別
from_preset 方法
backbone 屬性
preprocessor 屬性