TextToImage

[來源]

TextToImage 類別

keras_hub.models.TextToImage()

文字轉圖像任務的基礎類別。

TextToImage 任務封裝了 keras_hub.models.Backbone 和 keras_hub.models.Preprocessor，以建立可用於生成和生成式微調的模型。

TextToImage 任務提供了一個額外的高階 generate() 函數，可用於透過輸入字串、輸出圖像的方式來生成圖像。

所有 TextToImage 任務都包含一個 from_preset() 建構子，可用於載入預訓練的配置和權重。

範例

# Load a Stable Diffusion 3 backbone with pre-trained weights.
text_to_image = keras_hub.models.TextToImage.from_preset(
    "stable_diffusion_3_medium",
)
text_to_image.generate(
    "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
)

# Load a Stable Diffusion 3 backbone at bfloat16 precision.
text_to_image = keras_hub.models.TextToImage.from_preset(
    "stable_diffusion_3_medium",
    dtype="bfloat16",
)
text_to_image.generate(
    "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
)

[來源]

from_preset 方法

TextToImage.from_preset(preset, load_weights=True, **kwargs)

從模型預設實例化 keras_hub.models.Task。

預設是一個目錄，其中包含用於儲存和載入預訓練模型的配置、權重和其他檔案資產。preset 可以作為以下其中一種傳遞

1. 內建預設識別符，例如 'bert_base_en'
2. Kaggle Models 句柄，例如 'kaggle://user/bert/keras/bert_base_en'
3. Hugging Face 句柄，例如 'hf://user/bert_base_en'
4. 本機預設目錄的路徑，例如 './bert_base_en'

對於任何 Task 子類別，您可以執行 cls.presets.keys() 以列出該類別上所有可用的內建預設。

此建構子可以透過兩種方式之一呼叫。可以從任務特定的基礎類別（如 keras_hub.models.CausalLM.from_preset()）呼叫，也可以從模型類別（如 keras_hub.models.BertTextClassifier.from_preset()）呼叫。如果從基礎類別呼叫，則返回物件的子類別將從預設目錄中的配置推斷出來。

引數

• preset：字串。內建預設識別符、Kaggle Models 句柄、Hugging Face 句柄或本機目錄的路徑。
• load_weights：布林值。如果為 True，則儲存的權重將載入到模型架構中。如果為 False，則所有權重將隨機初始化。

範例

# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
    "gemma_2b_en",
)

# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
    "bert_base_en",
    num_classes=2,
)

[來源]

compile 方法

TextToImage.compile(optimizer="auto", loss="auto", metrics="auto", **kwargs)

配置 TextToImage 任務以進行訓練。

TextToImage 任務使用 optimizer、loss 和 metrics 的預設值擴展了 keras.Model.compile 的預設編譯簽名。若要覆寫這些預設值，請在編譯期間將任何值傳遞給這些引數。

引數

• optimizer："auto"、最佳化器名稱或 keras.Optimizer 實例。預設為 "auto"，它使用給定模型和任務的預設最佳化器。有關可能的 optimizer 值的更多資訊，請參閱 keras.Model.compile 和 keras.optimizers。
• loss："auto"、損失名稱或 keras.losses.Loss 實例。預設為 "auto"，其中將套用 keras.losses.MeanSquaredError 損失。有關可能的 loss 值的更多資訊，請參閱 keras.Model.compile 和 keras.losses。
• metrics："auto" 或在模型訓練和測試期間要評估的指標列表。預設為 "auto"，其中將套用 keras.metrics.MeanSquaredError 以追蹤模型在訓練期間的損失。有關可能的 metrics 值的更多資訊，請參閱 keras.Model.compile 和 keras.metrics。
• **kwargs：有關 compile 方法支援的完整引數列表，請參閱 keras.Model.compile。

[來源]

save_to_preset 方法

TextToImage.save_to_preset(preset_dir)

將任務儲存到預設目錄。

引數

• preset_dir：本機模型預設目錄的路徑。

preprocessor 屬性

keras_hub.models.TextToImage.preprocessor

用於預處理輸入的 keras_hub.models.Preprocessor 層。

backbone 屬性

keras_hub.models.TextToImage.backbone

具有核心架構的 keras_hub.models.Backbone 模型。

[來源]

generate 方法

TextToImage.generate(inputs, num_steps, guidance_scale=None, seed=None)

根據提供的 inputs 生成圖像。

通常，inputs 包含用於引導圖像生成的文字描述（稱為提示）。

某些模型支援 negative_prompts 鍵，這有助於引導模型避開生成某些樣式和元素。若要啟用此功能，請將 prompts 和 negative_prompts 作為字典傳遞

prompt = (
    "Astronaut in a jungle, cold color palette, muted colors, "
    "detailed, 8k"
)
text_to_image.generate(
    {
        "prompts": prompt,
        "negative_prompts": "green color",
    }
)

如果 inputs 是 tf.data.Dataset，則輸出將「逐批次」生成並串聯。否則，所有輸入都將作為批次處理。

引數

• inputs：python 資料、張量資料或 tf.data.Dataset。格式必須是以下之一
  • 單個字串
  • 字串列表
  • 具有 "prompts" 和/或 "negative_prompts" 鍵的字典
  • 具有 "prompts" 和/或 "negative_prompts" 鍵的 tf.data.Dataset
• num_steps：整數。要採取的擴散步驟數。
• guidance_scale：可選浮點數。在 Classifier-Free Diffusion Guidance 中定義的無分類器引導比例。較高的比例鼓勵生成與提示更密切相關的圖像，通常以降低圖像品質為代價。請注意，某些模型不使用無分類器引導。
• seed：可選整數。用作隨機種子。