研究团队最近带来了一个令人兴奋的新方法,叫做 T-FREE,让大型语言模型的运作效率直线上升。来自 Aleph Alpha、达姆施塔特工业大学、hessian.AI 和德国人工智能研究中心(DFKI)的科学家们联合推出了这个令人惊叹的技术,它的全名是 “无需标记器的稀疏表示,可实现内存高效嵌入”。

传统上,我们使用标记器将文本转化为计算机能理解的数字形式,但 T-FREE 选择了一条不同的路。它利用字符三元组,也就是我们称之为 “三元组” 的东西,通过稀疏激活的方式直接将单词嵌入模型中。这一创新举措的结果是,嵌入层的参数数量减少了惊人的85% 以上,同时在处理文本分类和问答等任务时,模型的性能丝毫未受影响。

T-FREE 的另一大亮点在于它非常聪明地对单词间的形态相似性进行了建模。就像我们在日常生活中经常碰到的 “house”、“houses” 和 “domestic” 这些词,T-FREE 能更有效地将这些相似的词在模型中表示出来。研究人员认为,相似的词在嵌入时应该彼此靠得更近,从而实现更高的压缩率。因此,T-FREE 不仅减小了嵌入层的体积,还将文本的平均编码长度减少了56%。

更值得一提的是,T-FREE 在不同语言之间的迁移学习方面表现得尤为出色。在一项实验中,研究人员使用一个拥有30亿参数的模型,先用英语进行训练,再用德语进行训练,结果发现 T-FREE 的适应性远超传统的基于标记器的方法。

不过,研究人员也对目前的成果保持谦虚。他们承认,至今为止的实验仅限于多达30亿参数的模型,未来还计划在更大的模型和更庞大的数据集上进行进一步评估。