StableDiffusion3ImageToImage 模型
StableDiffusion3ImageToImage 類別
keras_hub.models.StableDiffusion3ImageToImage(backbone, preprocessor, **kwargs)
用於圖像到圖像生成的端對端 Stable Diffusion 3 模型。
此模型具有 generate() 方法，可根據參考圖像和文字提示的組合來生成圖像。
引數
- backbone：
keras_hub.models.StableDiffusion3Backbone實例。 - preprocessor：
keras_hub.models.StableDiffusion3TextToImagePreprocessor實例。
範例
使用 generate() 進行圖像生成。
prompt = (
"Astronaut in a jungle, cold color palette, muted colors, "
"detailed, 8k"
)
image_to_image = keras_hub.models.StableDiffusion3ImageToImage.from_preset(
"stable_diffusion_3_medium", image_shape=(512, 512, 3)
)
image_to_image.generate(
{
"images": np.ones((512, 512, 3), dtype="float32"),
"prompts": prompt,
}
)
# Generate with batched prompts.
image_to_image.generate(
{
"images": np.ones((2, 512, 512, 3), dtype="float32"),
"prompts": [
"cute wallpaper art of a cat",
"cute wallpaper art of a dog",
],
}
)
# Generate with different `num_steps`, `guidance_scale` and `strength`.
image_to_image.generate(
{
"images": np.ones((512, 512, 3), dtype="float32"),
"prompts": prompt,
}
num_steps=50,
guidance_scale=5.0,
strength=0.6,
)
# Generate with `negative_prompts`.
text_to_image.generate(
{
"images": np.ones((512, 512, 3), dtype="float32"),
"prompts": prompt,
"negative_prompts": "green color",
}
)
from_preset 方法
StableDiffusion3ImageToImage.from_preset(preset, load_weights=True, **kwargs)
從模型預設實例化 keras_hub.models.Task。
預設是一個組態、權重和其他檔案資產的目錄，用於儲存和載入預訓練模型。preset 可以作為以下其中一種傳遞
- 內建預設識別碼，例如
'bert_base_en' - Kaggle Models 控制代碼，例如
'kaggle://user/bert/keras/bert_base_en' - Hugging Face 控制代碼，例如
'hf://user/bert_base_en' - 本機預設目錄的路徑，例如
'./bert_base_en'
對於任何 Task 子類別，您可以執行 cls.presets.keys() 以列出該類別上所有可用的內建預設。
此建構子可以透過兩種方式之一呼叫。可以從任務特定的基底類別呼叫，例如 keras_hub.models.CausalLM.from_preset()，或從模型類別呼叫，例如 keras_hub.models.BertTextClassifier.from_preset()。如果從基底類別呼叫，則傳回物件的子類別將從預設目錄中的組態推斷出來。
引數
- preset：字串。內建預設識別碼、Kaggle Models 控制代碼、Hugging Face 控制代碼或本機目錄的路徑。
- load_weights：布林值。如果為
True，則儲存的權重將載入到模型架構中。如果為False，則所有權重將隨機初始化。
範例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 預設 | 參數 | 描述 |
|---|---|---|
| stable_diffusion_3_medium | 2.99B | 30 億參數，包括 CLIP L 和 CLIP G 文字編碼器、MMDiT 生成模型和 VAE 自動編碼器。由 Stability AI 開發。 |
| stable_diffusion_3.5_medium | 3.37B | 30 億參數，包括 CLIP L 和 CLIP G 文字編碼器、MMDiT-X 生成模型和 VAE 自動編碼器。由 Stability AI 開發。 |
| stable_diffusion_3.5_large | 9.05B | 90 億參數，包括 CLIP L 和 CLIP G 文字編碼器、MMDiT 生成模型和 VAE 自動編碼器。由 Stability AI 開發。 |
| stable_diffusion_3.5_large_turbo | 9.05B | 90 億參數，包括 CLIP L 和 CLIP G 文字編碼器、MMDiT 生成模型和 VAE 自動編碼器。時間步蒸餾版本，消除了無分類器引導，並使用更少的步驟進行生成。由 Stability AI 開發。 |
backbone 屬性
keras_hub.models.StableDiffusion3ImageToImage.backbone
具有核心架構的 keras_hub.models.Backbone 模型。
generate 方法
StableDiffusion3ImageToImage.generate(
inputs, num_steps=50, strength=0.8, guidance_scale=7.0, seed=None
)
根據提供的 inputs 生成圖像。
通常，inputs 是一個字典，包含 "images" 和 "prompts" 鍵。"images" 是值範圍在 [-1.0, 1.0] 內的參考圖像，將被調整大小為 self.backbone.height 和 self.backbone.width，然後由 VAE 編碼器編碼為潛在空間。"prompts" 是將被 Tokenizer 化並由文字編碼器編碼的字串。
某些模型支援 "negative_prompts" 鍵，這有助於引導模型避開生成某些樣式和元素。若要啟用此功能，請將 "negative_prompts" 新增至輸入字典。
如果 inputs 是 tf.data.Dataset，則輸出將以「批次方式」生成並串聯。否則，所有輸入都將作為批次處理。
引數
- inputs：python 資料、張量資料或
tf.data.Dataset。格式必須是以下之一- 具有
"images"、"prompts"和/或"negative_prompts"鍵的字典。 - 具有
"images"、"prompts"和/或"negative_prompts"鍵的tf.data.Dataset。
- 具有
- num_steps：整數。要採取的擴散步驟數。
- strength：浮點數。指示參考
images被轉換的程度。必須介於0.0和1.0之間。當strength=1.0時，images基本上被忽略，新增的雜訊最大，且去噪過程會針對num_steps中指定的完整迭代次數執行。 - guidance_scale：選用浮點數。Classifier-Free Diffusion Guidance 中定義的無分類器引導尺度。較高的尺度鼓勵生成更密切相關於提示的圖像，通常以較低的圖像品質為代價。請注意，某些模型不使用無分類器引導。
- seed：選用整數。用作隨機種子。
preprocessor 屬性
keras_hub.models.StableDiffusion3ImageToImage.preprocessor
用於預處理輸入的 keras_hub.models.Preprocessor 層。