BytePairTokenizer
BytePairTokenizer 類別
keras_hub.tokenizers.BytePairTokenizer(
vocabulary=None,
merges=None,
sequence_length=None,
add_prefix_space=False,
unsplittable_tokens=None,
dtype="int32",
**kwargs
)
位元組對編碼分詞器層。
此 BPE 分詞器提供與官方 GPT-2 分詞器相同的功能。給定相同的 vocabulary（將詞彙映射到 ID）和 merges（描述 BPE 合併規則），它應該提供與 OpenAI 實作相同的輸出（https://github.com/openai/gpt-2/blob/master/src/encoder.py）。與 OpenAI 不同，此實作與圖形相容，因此您可以在 tf.data 管道中使用它。
如果輸入是一批字串（階數 > 0）：預設情況下，該層將輸出一個 tf.RaggedTensor，其中輸出的最後一個維度是不規則的。如果設定了 sequence_length，則該層將輸出一個密集的 tf.Tensor，其中所有輸入都已填充或截斷為 sequence_length。如果輸入是一個純量字串（階數 == 0）：預設情況下，該層將輸出一個具有靜態形狀 [None] 的密集 tf.Tensor。如果設定了 sequence_length，則輸出將是一個形狀為 [sequence_length] 的密集 tf.Tensor。
引數
- vocabulary：字串或字典，將詞彙映射到整數 ID。如果它是字串，則應為 JSON 檔案的路徑。
- merges：字串或列表，包含合併規則。如果它是字串，則應為合併規則檔案的路徑。合併規則檔案應每行有一個合併規則。
- sequence_length：整數。如果設定，輸出將會被填充或截斷為
sequence_length。預設為None。 - add_prefix_space：布林值。是否在輸入中添加初始空格。此分詞器會感知空白字元，並會以不同的方式分詞帶有前導空格的單字。在第一個單字中添加前綴空格將使其被分詞的方式與序列中所有後續單字相同。預設值為
False。 - unsplittable_tokens：列表。在位元組對編碼之前應用於單字層級分割期間，永遠不會被分割的字串列表。這可用於確保特殊詞彙對應到詞彙表中的唯一索引，即使這些特殊詞彙包含可分割的字元（例如標點符號）。特殊詞彙仍必須包含在
vocabulary中。預設值為None。
範例
分詞
>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(vocab, merge)
>>> outputs = tokenizer("butterfly")
>>> np.array(outputs)
array([1, 2], dtype=int32)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2])
>>> np.array(seq2)
array([1])
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(
... vocab, merge, sequence_length=2)
>>> seq1, seq2 = tokenizer(["butterfly", "butter"])
>>> np.array(seq1)
array([1, 2], dtype=int32)
>>> np.array(seq2)
array([1, 0], dtype=int32)
反分詞
>>> vocab = {"butter": 1, "fly": 2}
>>> merge = ["b u", "t t", "e r", "bu tt", "butt er", "f l", "fl y"]
>>> tokenizer = keras_hub.tokenizers.BytePairTokenizer(vocab, merge)
>>> tokenizer.detokenize([[1, 2]])
['butterfly']
tokenize 方法
BytePairTokenizer.tokenize(inputs)
將字串的輸入張量轉換為輸出詞彙。
引數
- inputs：輸入張量，或輸入張量的字典/列表/元組。
- *args：額外的定位引數。
- **kwargs：額外的關鍵字引數。
detokenize 方法
BytePairTokenizer.detokenize(inputs)
將詞彙轉換回字串。
引數
- inputs：輸入張量，或輸入張量的字典/列表/元組。
- *args：額外的定位引數。
- **kwargs：額外的關鍵字引數。
get_vocabulary 方法
BytePairTokenizer.get_vocabulary()
將分詞器詞彙表作為字串詞彙列表取得。
vocabulary_size 方法
BytePairTokenizer.vocabulary_size()
取得分詞器詞彙表的整數大小。
token_to_id 方法
BytePairTokenizer.token_to_id(token)
將字串詞彙轉換為整數 ID。
id_to_token 方法
BytePairTokenizer.id_to_token(id)
將整數 ID 轉換為字串詞彙。