字节对编码

class pylibcudf.nvtext.byte_pair_encode.BPEMergePairs

BPE 编码器的合并对表。

有关详细信息，请参阅 cudf::nvtext::bpe_merge_pairs。

pylibcudf.nvtext.byte_pair_encode.byte_pair_encoding(Column input, BPEMergePairs merge_pairs, Scalar separator=None) → Column

对输入字符串进行字节对编码。

有关详细信息，请参阅 cpp:func:cudf::nvtext::byte_pair_encoding

参数:

inputColumn

要编码的字符串。

merge_pairsBPEMergePairs

用于重构每个字符串的子字符串。

separatorScalar

编码后用于构建输出的字符串。默认为空格。

返回值:

列

编码后的字符串列。