Sally's Cafe

宇宙,时间,空间,猫,思考,咖啡,游戏,爱,人生全部的意义,只是为了经历所有不曾遇到和灵光乍现那一刻的喜悦,最美好的,永远是现在。

View the Project on GitHub sherryuuer/SallysCafe

27 February 2024

一个优秀的死读书的人,基本和LLM的原理差不多

by s

也是在和笑笑的聊天中意识到的一些想法。

一个以考试为主导的人,而且考的很好,是如何做到的。有两种途径。

一个就是通过深入学习,实践,融会贯通,所以使用考试进行检测。考试结果可能不会特别理想,但是考试的合格分数应该是符合某种统计分布的,这个区间的人代表掌握了技能和知识。

还有一种则是考试为导向的学习,这种学习其实和LLM的原理很像,通过刷题技能提升考试。这其实和大模型训练出的词嵌入表很像,大模型在人类考试中可以取得很高的成绩也是归功于此。

这种情况下的考试往往有很多策略,比如排除法,关键词联系法,词嵌入也是同样的,甚至是多头注意力机制,也是通过找到题目和答案中最接近的选项,或者是像生成式AI那样通过关联性的高低,找到最有可能的生成结果。

但是无论如何,这样的考试攻略,只是在找知识点关键词的关联,这让我想起自己考AWS考试的场景,很多知识点明明没有理解,但是却能选出正确答案,最后却不会应用,这个时候大模型会跳出来了,告诉你,没有理解也没关系,只要通过余弦相似度,就能找到最有可能的答案,无非就是向量相似度和概率的问题。

当然不可以做第二种人了,为什么,因为通过这种方法进化,干不过大模型。人类的优势在于创新,想象力,和真正的知识迁移。

tags: study