► KerasHub：預訓練模型 / API 文件 / 模型架構 / Gemma / GemmaBackbone 模型

GemmaBackbone 模型

[來源]

GemmaBackbone 類別

keras_hub.models.GemmaBackbone(
    vocabulary_size,
    num_layers,
    num_query_heads,
    num_key_value_heads,
    hidden_dim,
    intermediate_dim,
    head_dim,
    query_head_dim_normalize=True,
    use_post_ffw_norm=False,
    use_post_attention_norm=False,
    attention_logit_soft_cap=None,
    final_logit_soft_cap=None,
    use_sliding_window_attention=False,
    sliding_window_size=4096,
    layer_norm_epsilon=1e-06,
    dropout=0,
    dtype=None,
    **kwargs
)

具有超參數的 Gemma 核心網路。

此骨幹網路實作 Gemma 模型的基礎 Transformer 網路。它包含嵌入查找和 Transformer 層。此骨幹網路將輸出每個 Token 的最終隱藏狀態，而不是詞彙空間上的生成預測。如需用於文字生成的高階物件，請參閱 keras_hub.models.GemmaCausalLM。

預設建構函式提供完全可自訂、隨機初始化的 Gemma 模型，具有任意數量的層、頭和嵌入維度。若要載入預設架構和權重，請使用 from_preset 建構函式。

引數

  • vocabulary_size：int。Token 詞彙表的大小。
  • num_layers：int。Transformer 層的數量。
  • num_query_heads：int。注意力層中查詢投影的頭數。
  • num_key_value_heads：int。注意力層中鍵和值投影的頭數。
  • hidden_dim：int。每個 Transformer 層末端 Transformer 隱藏狀態的大小。
  • intermediate_dim：int。每個 Transformer 的雙層前饋網路中第一個密集層的輸出維度。
  • head_dim：int。每個注意力頭的大小。
  • layer_norm_epsilon：float。用於 Transformer 模型中每個層正規化的 epsilon 值。
  • dropout：float。Transformer 編碼器的 Dropout 機率。
  • query_head_dim_normalize：boolean。如果為 True，則在使用 head_dim 注意力之前正規化查詢。如果為 False，則使用 hidden_dim / num_query_heads 正規化查詢。預設值為 True。
  • use_post_ffw_norm：boolean。是否在前饋區塊後進行正規化。預設值為 False。
  • use_post_attention_norm：boolean。是否在注意力區塊後進行正規化。預設值為 False。
  • attention_logit_soft_cap：None 或 int。注意力 logits 的軟上限。預設值為 None。
  • final_logit_soft_cap：None 或 int。最終 logits 的軟上限。預設值為 None。use_sliding_window_attention boolean。是否使用滑動局部視窗注意力。預設值為 False。
  • sliding_window_size：int。滑動局部視窗的大小。預設值為 4096。
  • dtype：字串或 keras.mixed_precision.DTypePolicy。用於模型計算和權重的 dtype。請注意，某些計算（例如 softmax 和層正規化）將始終以 float32 精度完成，而與 dtype 無關。

範例

input_data = {
    "token_ids": np.ones(shape=(1, 12), dtype="int32"),
    "padding_mask": np.array([[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0]]),
}

# Pretrained Gemma decoder.
model = keras_hub.models.GemmaBackbone.from_preset("gemma_2b_en")
model(input_data)

# Randomly initialized Gemma decoder with custom config.
model = keras_hub.models.GemmaBackbone(
    vocabulary_size=50257,
    num_layers=12,
    num_query_heads=12,
    num_key_value_heads=1,
    hidden_dim=768,
    intermediate_dim=3072,
    head_dim=64,
)
model(input_data)

[來源]

from_preset 方法

GemmaBackbone.from_preset(preset, load_weights=True, **kwargs)

從模型預設實例化 keras_hub.models.Backbone。

預設是組態、權重和其他檔案資產的目錄，用於儲存和載入預先訓練的模型。preset 可以作為下列其中一種傳遞

  1. 內建預設識別碼，例如 'bert_base_en'
  2. Kaggle Models 句柄，例如 'kaggle://user/bert/keras/bert_base_en'
  3. Hugging Face 句柄，例如 'hf://user/bert_base_en'
  4. 本機預設目錄的路徑，例如 './bert_base_en'

可以透過兩種方式之一呼叫此建構函式。從基底類別呼叫，例如 keras_hub.models.Backbone.from_preset()，或從模型類別呼叫，例如 keras_hub.models.GemmaBackbone.from_preset()。如果從基底類別呼叫，則傳回物件的子類別將從預設目錄中的組態推斷出來。

對於任何 Backbone 子類別，您可以執行 cls.presets.keys() 以列出類別上所有可用的內建預設。

引數

  • preset：字串。內建預設識別碼、Kaggle Models 句柄、Hugging Face 句柄或本機目錄的路徑。
  • load_weights：bool。如果為 True，則權重將載入到模型架構中。如果為 False，則權重將隨機初始化。

範例

# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)
預設 參數 描述
gemma_2b_en 2.51B 20 億參數、18 層、基礎 Gemma 模型。
gemma_instruct_2b_en 2.51B 20 億參數、18 層、指令微調 Gemma 模型。
gemma_1.1_instruct_2b_en 2.51B 20 億參數、18 層、指令微調 Gemma 模型。1.1 更新提高了模型品質。
code_gemma_1.1_2b_en 2.51B 20 億參數、18 層、CodeGemma 模型。此模型已針對程式碼完成的填空中間 (FIM) 任務進行訓練。1.1 更新提高了模型品質。
code_gemma_2b_en 2.51B 20 億參數、18 層、CodeGemma 模型。此模型已針對程式碼完成的填空中間 (FIM) 任務進行訓練。
gemma2_2b_en 2.61B 20 億參數、26 層、基礎 Gemma 模型。
gemma2_instruct_2b_en 2.61B 20 億參數、26 層、指令微調 Gemma 模型。
shieldgemma_2b_en 2.61B 20 億參數、26 層、ShieldGemma 模型。
gemma_7b_en 8.54B 70 億參數、28 層、基礎 Gemma 模型。
gemma_instruct_7b_en 8.54B 70 億參數、28 層、指令微調 Gemma 模型。
gemma_1.1_instruct_7b_en 8.54B 70 億參數、28 層、指令微調 Gemma 模型。1.1 更新提高了模型品質。
code_gemma_7b_en 8.54B 70 億參數、28 層、CodeGemma 模型。此模型已針對程式碼完成的填空中間 (FIM) 任務進行訓練。
code_gemma_instruct_7b_en 8.54B 70 億參數、28 層、指令微調 CodeGemma 模型。此模型已針對與程式碼相關的聊天用例進行訓練。
code_gemma_1.1_instruct_7b_en 8.54B 70 億參數、28 層、指令微調 CodeGemma 模型。此模型已針對與程式碼相關的聊天用例進行訓練。1.1 更新提高了模型品質。
gemma2_9b_en 9.24B 90 億參數、42 層、基礎 Gemma 模型。
gemma2_instruct_9b_en 9.24B 90 億參數、42 層、指令微調 Gemma 模型。
shieldgemma_9b_en 9.24B 90 億參數、42 層、ShieldGemma 模型。
gemma2_27b_en 27.23B 270 億參數、42 層、基礎 Gemma 模型。
gemma2_instruct_27b_en 27.23B 270 億參數、42 層、指令微調 Gemma 模型。
shieldgemma_27b_en 27.23B 270 億參數、42 層、ShieldGemma 模型。

token_embedding 屬性

keras_hub.models.GemmaBackbone.token_embedding

用於嵌入 Token ID 的 keras.layers.Embedding 實例。

此層會將整數 Token ID 嵌入到模型的隱藏維度。

[來源]

enable_lora 方法

GemmaBackbone.enable_lora(rank)

在骨幹網路上啟用 Lora。

呼叫此方法將凍結骨幹網路上的所有權重，同時在注意力層的查詢和值 EinsumDense 層上啟用 Lora。

[來源]

get_layout_map 方法

GemmaBackbone.get_layout_map(
    device_mesh, model_parallel_dim_name="model", data_parallel_dim_name="batch"
)

取得用於模型平行分佈的 keras.distribution.LayoutMap。

傳回的 LayoutMap 包含 gemma 骨幹網路權重的分片規格，以便您可以使用它在加速器之間分佈權重。

範例

# Feel free to change the mesh shape to balance data and model
# parallelism
mesh = keras.distribution.DeviceMesh(
    shape=(1, 8), axis_names=('batch', 'model'),
    devices=keras.distribution.list_devices())
layout_map = GemmaBackbone.get_layout_map(
    mesh, model_parallel_dim_name="model")

distribution = keras.distribution.ModelParallel(
    layout_map=layout_map, batch_dim_name='batch')
with distribution.scope():
   gemma_model = keras_hub.models.GemmaCausalLM.from_preset()

若要查看版面配置圖如何套用，請載入模型，然後執行（針對一個解碼器區塊）

embedding_layer = gemma_model.backbone.get_layer("token_embedding")
decoder_block_1 = gemma_model.backbone.get_layer('decoder_block_1')
for variable in embedding_layer.weights + decoder_block_1.weights:
    print(
        f'{variable.path:<58}  {str(variable.shape):<16} '
        f'{str(variable.value.sharding.spec)}'
    )

引數

  • device_mesh：用於分佈的 keras.distribution.DeviceMesh 實例。
  • model_parallel_dim_name：裝置網格的軸名稱，權重應在此軸上分割。
  • data_parallel_dim_name：裝置網格的軸名稱，資料應在此軸上分割。

傳回：keras.distribution.LayoutMap，其中包含所有模型權重的分片規格。

GemmaBackbone 模型
GemmaBackbone 類別
from_preset 方法
token_embedding 屬性
enable_lora 方法
get_layout_map 方法