Inpaint

[來源]

Inpaint 類別

keras_hub.models.Inpaint()

用於影像到影像任務的基礎類別。

Inpaint 任務包裝了 keras_hub.models.Backbone 和 keras_hub.models.Preprocessor，以建立可用於生成和生成式微調的模型。

Inpaint 任務提供額外的高階 generate() 函數，可用於透過 (影像、遮罩、字串) 輸入和影像輸出的簽章來生成影像。

所有 Inpaint 任務都包含 from_preset() 建構子，可用於載入預訓練的設定和權重。

範例

# Load a Stable Diffusion 3 backbone with pre-trained weights.
reference_image = np.ones((1024, 1024, 3), dtype="float32")
reference_mask = np.ones((1024, 1024), dtype="float32")
inpaint = keras_hub.models.Inpaint.from_preset(
    "stable_diffusion_3_medium",
)
inpaint.generate(
    reference_image,
    reference_mask,
    "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k",
)

# Load a Stable Diffusion 3 backbone at bfloat16 precision.
inpaint = keras_hub.models.Inpaint.from_preset(
    "stable_diffusion_3_medium",
    dtype="bfloat16",
)
inpaint.generate(
    reference_image,
    reference_mask,
    "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k",
)

[來源]

from_preset 方法

Inpaint.from_preset(preset, load_weights=True, **kwargs)

從模型預設實例化 keras_hub.models.Task。

預設是一個目錄，其中包含用於儲存和載入預訓練模型的設定、權重和其他檔案資產。preset 可以作為下列其中一種傳遞

1. 內建預設識別符，例如 'bert_base_en'
2. Kaggle 模型句柄，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 句柄，例如 'hf://user/bert_base_en'
4. 本機預設目錄的路徑，例如 './bert_base_en'

對於任何 Task 子類別，您可以執行 cls.presets.keys() 以列出類別上所有可用的內建預設。

此建構子可以透過兩種方式之一呼叫。可以從特定任務的基礎類別呼叫，例如 keras_hub.models.CausalLM.from_preset()，也可以從模型類別呼叫，例如 keras_hub.models.BertTextClassifier.from_preset()。如果從基礎類別呼叫，則傳回物件的子類別將從預設目錄中的設定推斷出來。

引數

• preset：字串。內建預設識別符、Kaggle 模型句柄、Hugging Face 句柄或本機目錄的路徑。
• load_weights：布林值。如果為 True，則儲存的權重將載入到模型架構中。如果為 False，則所有權重將隨機初始化。

範例

# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
    "gemma_2b_en",
)

# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
    "bert_base_en",
    num_classes=2,
)

[來源]

compile 方法

Inpaint.compile(optimizer="auto", loss="auto", metrics="auto", **kwargs)

設定 Inpaint 任務以進行訓練。

Inpaint 任務使用 optimizer、loss 和 metrics 的預設值擴展了 keras.Model.compile 的預設編譯簽章。若要覆寫這些預設值，請在編譯期間將任何值傳遞給這些引數。

引數

• optimizer："auto"、最佳化器名稱或 keras.Optimizer 實例。預設為 "auto"，它使用給定模型和任務的預設最佳化器。有關可能的 optimizer 值的更多資訊，請參閱 keras.Model.compile 和 keras.optimizers。
• loss："auto"、損失名稱或 keras.losses.Loss 實例。預設為 "auto"，其中將套用 keras.losses.MeanSquaredError 損失。有關可能的 loss 值的更多資訊，請參閱 keras.Model.compile 和 keras.losses。
• metrics："auto"，或在模型訓練和測試期間要評估的指標列表。預設為 "auto"，其中將套用 keras.metrics.MeanSquaredError 以追蹤模型在訓練期間的損失。有關可能的 metrics 值的更多資訊，請參閱 keras.Model.compile 和 keras.metrics。
• **kwargs：有關編譯方法支援的完整引數列表，請參閱 keras.Model.compile。

[來源]

save_to_preset 方法

Inpaint.save_to_preset(preset_dir)

將任務儲存到預設目錄。

引數

• preset_dir：本機模型預設目錄的路徑。

preprocessor 屬性

keras_hub.models.Inpaint.preprocessor

用於預處理輸入的 keras_hub.models.Preprocessor 層。

backbone 屬性

keras_hub.models.Inpaint.backbone

具有核心架構的 keras_hub.models.Backbone 模型。

[來源]

generate 方法

Inpaint.generate(inputs, num_steps, strength, guidance_scale=None, seed=None)

根據提供的 inputs 生成影像。

通常，inputs 是一個字典，包含 "images"、"masks" 和 "prompts" 鍵。"images" 是值範圍為 [-1.0, 1.0] 內的參考影像，將調整大小為 self.backbone.image_shape 的高度和寬度，然後由 VAE 編碼器編碼為潛在空間。"masks" 是布林值 dtype 的遮罩影像，其中白色像素會重新繪製，而黑色像素會保留。"prompts" 是將由文字編碼器進行符號化的字串。

某些模型支援 "negative_prompts" 鍵，這有助於引導模型遠離生成某些樣式和元素。若要啟用此功能，請將 "negative_prompts" 新增至輸入字典。

如果 inputs 是 tf.data.Dataset，則輸出將「逐批次」生成並串聯。否則，所有輸入都將作為批次處理。

引數

• inputs：python 資料、張量資料或 tf.data.Dataset。格式必須是下列其中之一
  • 具有 "images"、"masks"、"prompts" 和/或 "negative_prompts" 鍵的字典。
  • 具有 "images"、"masks"、"prompts" 和/或 "negative_prompts" 鍵的 tf.data.Dataset。
• num_steps：整數。要採取的擴散步驟數。
• strength：浮點數。表示參考 images 被轉換的程度。必須介於 0.0 和 1.0 之間。當 strength=1.0 時，images 本質上被忽略，並且添加的雜訊最大，並且去雜訊過程會針對 num_steps 中指定的完整迭代次數執行。
• guidance_scale：可選的浮點數。在 Classifier-Free Diffusion Guidance 中定義的無分類器引導比例。較高的比例鼓勵生成與提示更密切相關的影像，通常以較低的影像品質為代價。請注意，某些模型不使用無分類器引導。
• seed：可選的整數。用作隨機種子。