SAM骨幹模型
SAMBackbone 類別
keras_hub.models.SAMBackbone(
image_encoder, prompt_encoder, mask_decoder, dtype=None, **kwargs
)
用於萬物分割模型 (SAM) 的骨幹。
參數
- image_encoder：
keras_hub.models.ViTDetBackbone。用於輸入影像的特徵提取器。 - prompt_encoder：
keras_hub.layers.SAMPromptEncoder。用於計算點、框和遮罩提示嵌入的 Keras 層。 - mask_decoder：
keras_hub.layers.SAMMaskDecoder。一個 Keras 層，用於生成骨幹和提示編碼器生成的嵌入所給定的分割遮罩。 - dtype：層權重的 dtype。
範例
image_size=128
batch_size=2
input_data = {
"images": np.ones(
(batch_size, image_size, image_size, 3),
dtype="float32",
),
"points": np.ones((batch_size, 1, 2), dtype="float32"),
"labels": np.ones((batch_size, 1), dtype="float32"),
"boxes": np.ones((batch_size, 1, 2, 2), dtype="float32"),
"masks": np.zeros(
(batch_size, 0, image_size, image_size, 1)
),
}
image_encoder = keras_hub.models.ViTDetBackbone(
hidden_size=16,
num_layers=16,
intermediate_dim=16 * 4,
num_heads=16,
global_attention_layer_indices=[2, 5, 8, 11],
patch_size=16,
num_output_channels=8,
window_size=2,
image_shape=(image_size, image_size, 3),
)
prompt_encoder = keras_hub.layers.SAMPromptEncoder(
hidden_size=8,
image_embedding_size=(8, 8),
input_image_size=(
image_size,
image_size,
),
mask_in_channels=16,
)
mask_decoder = keras_hub.layers.SAMMaskDecoder(
num_layers=2,
hidden_size=8,
intermediate_dim=32,
num_heads=8,
embedding_dim=8,
num_multimask_outputs=3,
iou_head_depth=3,
iou_head_hidden_dim=8,
)
backbone = keras_hub.models.SAMBackbone(
image_encoder=image_encoder,
prompt_encoder=prompt_encoder,
mask_decoder=mask_decoder,
)
backbone(input_data)
from_preset 方法
SAMBackbone.from_preset(preset, load_weights=True, **kwargs)
從模型預設實例化 keras_hub.models.Backbone。
預設是一個目錄，其中包含用於儲存和載入預訓練模型的組態、權重和其他檔案資產。preset 可以作為以下其中一種傳遞
- 內建預設識別符，例如
'bert_base_en' - Kaggle Models 句柄，例如
'kaggle://user/bert/keras/bert_base_en' - Hugging Face 句柄，例如
'hf://user/bert_base_en' - 本機預設目錄的路徑，例如
'./bert_base_en'
此建構子可以通過兩種方式之一調用。可以從基底類別（如 keras_hub.models.Backbone.from_preset()）調用，也可以從模型類別（如 keras_hub.models.GemmaBackbone.from_preset()）調用。如果從基底類別調用，則返回物件的子類別將從預設目錄中的組態推斷出來。
對於任何 Backbone 子類別，您可以運行 cls.presets.keys() 以列出該類別上所有可用的內建預設。
參數
- preset：字串。內建預設識別符、Kaggle Models 句柄、Hugging Face 句柄或本機目錄的路徑。
- load_weights：布林值。如果為
True，權重將載入到模型架構中。如果為False，權重將隨機初始化。
範例
# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
"gemma_2b_en",
)
# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
"bert_base_en",
load_weights=False,
)
| 預設 | 參數 | 描述 |
|---|---|---|
| sam_base_sa1b | 93.74M | 在 SA1B 資料集上訓練的基本 SAM 模型。 |
| sam_huge_sa1b | 312.34M | 在 SA1B 資料集上訓練的超大型 SAM 模型。 |
| sam_large_sa1b | 641.09M | 在 SA1B 資料集上訓練的大型 SAM 模型。 |