19.9

这里所代指的字典是Python中的样子，本节内容我们将通过使用Boost中自带的`Tokenizer`分词器实现对特定字符串的切割功能，使用Boost Tokenizer，可以通过构建一个分隔符或正则表达式的实例来初始化`tokenizer`。然后，可以使用该实例对输入字符串进行划分。`tokeni... ......