大型语言模型(如ChatGPT)使用Token(令牌)处理文本,这些Token是在文本中发现的常见字符序列。这些模型通过训练理解这些令牌之间的统计关系,并擅于产生一个令牌序列中的下一个令牌,所以也被称为生成式人工智能。

你可以使用下面的工具来了解一段文本可能如何被语言模型分词,以及文本的Token数量。

Tokens
0
字符
0