tiktoken

强迫症表示必须要看到token数量，所以~~自己~~用GPT写一个玩 import tkinter as tk import pyperclip import tiktoken class TokenCounter: def __init__(self): # GUI Setup self.root ......

OpenAI在其官方GitHub上公开了一个开源Python库：tiktoken，这个库主要是用力做字节编码对的。 字节编码对（Byte Pair Encoder，BPE）是一种子词处理的方法。其主要的目的是为了压缩文本数据。主要是将数据中最常连续出现的字节（bytes）替换成数据中没有出现的字节的 ......