总结而言，该研究提出了一种新的 LLM 思想。传统的语言模型依赖于 tokenizer 来预处理数据，但 tokenization 有其固有的局限性，包括固定的词汇表、处理多语言或噪声数据的效率低下，以及由压缩启发式方法引入的偏见。

为了解决这个问题，Meta、美国华盛顿大学和美国芝加哥大学的科学家们共同开发出了一种突破性的新型 AI 架构，取名为字节潜在 Transformer（BLT，Byte Latent Transformer）。 近日，相关论文以《 字节潜在 ...