WordPieceTokenizer
WordPieceTokenizer 類別
keras_hub.tokenizers.WordPieceTokenizer(
vocabulary=None,
sequence_length=None,
lowercase=False,
strip_accents=False,
split=True,
split_on_cjk=True,
suffix_indicator="##",
oov_token="[UNK]",
special_tokens=None,
special_tokens_in_strings=False,
dtype="int32",
**kwargs
)
WordPiece 分詞器層。
此層提供 BERT 和其他模型使用的 WordPiece 演算法的高效能、圖內實作。
為了使此層更易於直接使用，此層將會預先分詞輸入，選擇性地將輸入轉換為小寫、移除重音符號，並依據空白字元和標點符號分割輸入。這些預先分詞步驟皆不可逆。detokenize 方法會以空格連接詞語，且不會完全反轉 tokenize。
如果需要更客製化的預先分詞步驟，可以將此層配置為僅應用嚴格的 WordPiece 演算法，方法是傳遞 lowercase=False、strip_accents=False 和 split=False。在這種情況下，輸入應為預先分割的字串張量或參差不齊張量。
分詞器輸出可以透過 sequence_length 參數進行填充和截斷，或保持不截斷。確切的輸出將取決於輸入張量的階數。
如果輸入是字串批次（階數 > 0）：預設情況下，此層將輸出 tf.RaggedTensor，其中輸出的最後一個維度是參差不齊的。如果設定 sequence_length，此層將輸出密集 tf.Tensor，其中所有輸入都已填充或截斷至 sequence_length。
如果輸入是純量字串（階數 == 0）：預設情況下，此層將輸出具有靜態形狀 [None] 的密集 tf.Tensor。如果設定 sequence_length，則輸出將為形狀 [sequence_length] 的密集 tf.Tensor。
輸出 dtype 可以透過 dtype 參數控制，該參數應為整數或字串類型。
引數
- vocabulary：字串列表或字串檔案路徑。如果傳遞列表，列表中的每個元素都應為單個 WordPiece 符記字串。如果傳遞檔案名稱，則檔案應為純文字檔案，每行包含一個 WordPiece 符記。
- sequence_length：整數。如果設定，輸出將轉換為密集張量，並填充/修剪，使所有輸出的長度皆為 sequence_length。
- lowercase：布林值。如果為
True，輸入文字將在分詞前轉換為小寫。預設值為False。 - strip_accents：布林值。如果為
True，所有重音符號將在分詞前從文字中移除。預設值為False。 - split：布林值。如果為
True，輸入將依據空白字元和標點符號分割，且所有標點符號都將保留為符記。如果為False，輸入應在呼叫分詞器之前分割（「預先分詞」），並作為完整詞語的密集或參差不齊張量傳遞。預設值為True。 - split_on_cjk：布林值。如果為 True，輸入將依據 CJK 字元分割，即中文、日文、韓文和越南文字元 (https://en.wikipedia.org/wiki/CJK_Unified_Ideographs_(Unicode_block))。請注意，這僅在
split為 True 時適用。預設值為True。 - suffix_indicator：字串。前置於 WordPiece 的字元，以指示其為另一個子詞的後綴。例如「##ing」。預設值為
"##"。 - oov_token：字串。用於替換未知符記的字串值。它必須包含在詞彙表中。預設值為
"[UNK]"。 - special_tokens_in_strings：布林值。布林值，指示分詞器是否應預期輸入字串中包含特殊符記，這些特殊符記應正確分詞並對應到其 ID。預設值為 False。
參考文獻
範例
參差不齊輸出。
>>> vocab = ["[UNK]", "the", "qu", "##ick", "br", "##own", "fox", "."]
>>> inputs = "The quick brown fox."
>>> tokenizer = keras_hub.tokenizers.WordPieceTokenizer(
... vocabulary=vocab,
... lowercase=True,
... )
>>> outputs = tokenizer(inputs)
>>> np.array(outputs)
array([1, 2, 3, 4, 5, 6, 7], dtype=int32)
密集輸出。
>>> vocab = ["[UNK]", "the", "qu", "##ick", "br", "##own", "fox", "."]
>>> inputs = ["The quick brown fox."]
>>> tokenizer = keras_hub.tokenizers.WordPieceTokenizer(
... vocabulary=vocab,
... sequence_length=10,
... lowercase=True,
... )
>>> outputs = tokenizer(inputs)
>>> np.array(outputs)
array([[1, 2, 3, 4, 5, 6, 7, 0, 0, 0]], dtype=int32)
字串輸出。
>>> vocab = ["[UNK]", "the", "qu", "##ick", "br", "##own", "fox", "."]
>>> inputs = "The quick brown fox."
>>> tokenizer = keras_hub.tokenizers.WordPieceTokenizer(
... vocabulary=vocab,
... lowercase=True,
... dtype="string",
... )
>>> tokenizer(inputs)
['the', 'qu', '##ick', 'br', '##own', 'fox', '.']
反分詞。
>>> vocab = ["[UNK]", "the", "qu", "##ick", "br", "##own", "fox", "."]
>>> inputs = "The quick brown fox."
>>> tokenizer = keras_hub.tokenizers.WordPieceTokenizer(
... vocabulary=vocab,
... lowercase=True,
... )
>>> tokenizer.detokenize(tokenizer.tokenize(inputs))
'the quick brown fox .'
客製化分割。
>>> vocab = ["[UNK]", "the", "qu", "##ick", "br", "##own", "fox", "."]
>>> inputs = "The$quick$brown$fox"
>>> tokenizer = keras_hub.tokenizers.WordPieceTokenizer(
... vocabulary=vocab,
... split=False,
... lowercase=True,
... dtype='string',
... )
>>> split_inputs = tf.strings.split(inputs, sep="$")
>>> tokenizer(split_inputs)
['the', 'qu', '##ick', 'br', '##own', 'fox']
tokenize 方法
WordPieceTokenizer.tokenize(inputs)
將字串的輸入張量轉換為輸出符記。
引數
- inputs：輸入張量，或輸入張量的 dict/list/tuple。
- *args：其他位置引數。
- **kwargs：其他關鍵字引數。
detokenize 方法
WordPieceTokenizer.detokenize(inputs)
將符記轉換回字串。
引數
- inputs：輸入張量，或輸入張量的 dict/list/tuple。
- *args：其他位置引數。
- **kwargs：其他關鍵字引數。
get_vocabulary 方法
WordPieceTokenizer.get_vocabulary()
取得分詞器詞彙表作為字串符記列表。
vocabulary_size 方法
WordPieceTokenizer.vocabulary_size()
取得分詞器詞彙表的整數大小。
token_to_id 方法
WordPieceTokenizer.token_to_id(token)
將字串符記轉換為整數 ID。
id_to_token 方法
WordPieceTokenizer.id_to_token(id)
將整數 ID 轉換為字串符記。