11月25日，周二。
陈林昨天采访的内容，经过各大媒体的加工和传播，迅速在网上发酵。
围脖、编乎、哆嗦音......
几乎所有的社交平台上，都能看到关于陈林的新闻。
而其中最引人关注的，就是陈林透露的那个消息——
演海公司要做AI大模型了！
这个消息一出，立刻在科技圈引起了巨大的轰动。
知乎上，有人专门开了个问题：
【如何看待陈林透露演海公司将进军AI大模型训练领域？】
这个问题下面，短短一天时间，就涌入了上千个回答。
有人看好：
【陈林在算法上的实力有目共睹，如果他真的亲自下场训练大模型，我觉得成功的概率很大。】
【演海虽然是小公司，但架不住陈林牛逼啊！别的公司拼资金拼算力，陈林直接从算法层面降维打击！】
也有人质疑：
【训练大模型可不是闹着玩的，光是数据清洗和标注，就需要海量的人力和资金。演海这种小公司，真的撑得起来吗？】
【我觉得陈林有点膨胀了。他在数学上确实很强，但做AI大模型，不只是数学问题，还涉及到工程实现、算力调度、数据处理等等一系列问题。这些东西，不是一个数学天才就能搞定的。】
还有人调侃：
【陈林：我随便搞搞。CloseAI：？？？】
【奥特曼和贾斯克看到这个新闻，估计要睡不着觉了哈哈哈！】
【坐等陈林把整个AI行业卷死！】
网络上的讨论如火如荼，但陈林本人，却已经不再关注这些了。
此刻的他，正坐在演海公司的办公室里，全神贯注地盯着电脑屏幕。
屏幕上，密密麻麻全是关于神经网络和Transformer架构的技术文档。
陈林已经花了小半年时间，自学人工智能大模型的知识。
而现在，他惊喜地发现，这些知识，居然可以和【小小数学家】的能力结合起来！
以前，陈林在解决客户问题的时候，往往需要沈妍或者黄依依这些学应用数学的人，先把工程问题“翻译“成纯数学问题，他才能用【小小数学家】的能力去解决。
但现在，在人工智能神经网络这个领域，陈林发现自己已经不需要“翻译“了。
他可以直接理解那些神经网络的结构和原理，可以直接思考如何从数学角度去优化这些结构。
而一旦他开始思考，【小小数学家】的能力就会自动启动，在他脑海中生成完整的解答过程。
这种感觉，简直太爽了！
陈林越想越兴奋，恨不得立刻就开始研究。
不过，他还是让自己冷静下来，继续把剩下的一些技术文档看完。
当前主流的Transformer架构，是一种基于自注意力机制的特征提取网络结构，主要用于自然语言处理领域。
自注意力机制可以对输入序列中的每个位置进行注意力计算，从而获取全局上下文信息。
Transformer的核心，就是self-attention机制。
它能够整句处理自然语言，因此训练效率较高，可以并行化处理。
但Transformer也有明显的缺点——
计算复杂度高，时间复杂度是O(N²·d)，其中N是序列长度，d是token嵌入的维度。
这个时间复杂度，对长序列非常不友好。
举个例子，如果要处理一篇一万字的文章，那么计算量就是一万的平方，也就是一亿次计算。
如果要处理十万字的长文本呢？