BytePairTokenizer

[來源]

BytePairTokenizer 類別

keras_nlp.tokenizers.BytePairTokenizer(
    vocabulary=None,
    merges=None,
    sequence_length=None,
    add_prefix_space=False,
    unsplittable_tokens=None,
    dtype="int32",
    **kwargs
)

位元組對編碼分詞器層。

此 BPE 分詞器提供與官方 GPT-2 分詞器相同的功能。給定相同的 vocabulary（將詞彙對應到 ID）和 merges（描述 BPE 合併規則），它應該提供與 OpenAI 實作（https://github.com/openai/gpt-2/blob/master/src/encoder.py）相同的輸出。與 OpenAI 不同的是，此實作與圖形相容，因此您可以在 tf.data 管道中使用它。

如果輸入是一批字串（秩 > 0）： 根據預設，此層將輸出 tf.RaggedTensor，其中輸出的最後一個維度是不規則的。如果設定了 sequence_length，此層將輸出一個密集的 tf.Tensor，其中所有輸入都已填充或截斷為 sequence_length。如果輸入是純量字串（秩 == 0）： 根據預設，此層將輸出一個靜態形狀為 [None] 的密集 tf.Tensor。如果設定了 sequence_length，則輸出將是一個形狀為 [sequence_length] 的密集 tf.Tensor。

參數

• vocabulary：字串或字典，將詞彙對應到整數 ID。如果是字串，則它應該是 JSON 檔案的路徑。
• merges：字串或清單，包含合併規則。如果是字串，則它應該是合併規則檔案的路徑。合併規則檔案的每一行應該包含一個合併規則。
• sequence_length：整數。如果設定，輸出將被填充或截斷為 sequence_length。預設為 None。
• add_prefix_space：布林值。是否在輸入的開頭添加空格。此分詞器會區分空格，並且會以不同的方式分詞具有前導空格的單詞。在第一個單詞添加前綴空格將導致它與序列中所有後續單詞等效地分詞。預設為 False。
• 不可分割詞彙 (unsplittable_tokens)：清單。在位元組對編碼前的詞彙層級分割過程中，永遠不會被分割的字串清單。這可用於確保特殊詞彙在詞彙表中對應到唯一的索引，即使這些特殊詞彙包含可分割的字元（例如標點符號）。特殊詞彙仍然必須包含在 vocabulary 中。預設值為 None。

範例

詞彙分割 (Tokenize)

>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_nlp.tokenizers.BytePairTokenizer(vocab, merge)
>>> outputs = tokenizer("butterfly")
>>> np.array(outputs)
array([1, 2], dtype=int32)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2])
>>> np.array(seq2)
array([1])
>>> tokenizer = keras_nlp.tokenizers.BytePairTokenizer(
...     vocab, merge, sequence_length=2)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2], dtype=int32)
>>> np.array(seq2)
array([1, 0], dtype=int32)

反詞彙分割 (Detokenize)

>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_nlp.tokenizers.BytePairTokenizer(vocab, merge)
>>> tokenizer.detokenize([[1, 2]])
['butterfly']

[來源]

tokenize 方法

BytePairTokenizer.tokenize(inputs)

將字串的輸入張量轉換為輸出詞彙。

參數

• 輸入 (inputs)：輸入張量，或輸入張量的字典/清單/元組。
• *args：額外的定位參數。
• **kwargs：額外的關鍵字參數。

[來源]

detokenize 方法

BytePairTokenizer.detokenize(inputs)

將詞彙轉換回字串。

參數

• 輸入 (inputs)：輸入張量，或輸入張量的字典/清單/元組。
• *args：額外的定位參數。
• **kwargs：額外的關鍵字參數。

[來源]

get_vocabulary 方法

BytePairTokenizer.get_vocabulary()

以字串詞彙的清單形式取得詞彙分割器的詞彙表。

[來源]

vocabulary_size 方法

BytePairTokenizer.vocabulary_size()

取得詞彙分割器詞彙表的整數大小。

[來源]

token_to_id 方法

BytePairTokenizer.token_to_id(token)

將字串詞彙轉換為整數 ID。

[來源]

id_to_token 方法

BytePairTokenizer.id_to_token(id)

將整數 ID 轉換為字串詞彙。