白迁没有继续和陈林交流。
他刚刚只是太过震惊于文档居然是陈林写的。
但他也不好意思打扰陈林。
毕竟陈林除了演海的大模型项目以外,还有一大堆别的工作要忙。
毕竟陈林除了是演海的老板兼技术骨干之外,还是燕南大学的教授、很多项目的数学顾问......
白迁默默地回到了自己的座位上。
刚才他只是粗略地把整个文档扫了一遍。
很多细节都没来得及仔细看。
现在他打算静下心来,认真透彻地把这份文档吃透。
他刚坐下,就发现旁边的潘思也在盯着屏幕。
两个人对视了一眼。
都从对方眼里看到了同样的想法。
“一起看?“
白迁开口问道。
潘思点了点头。
“正好,有不明白的地方可以互相讨论。“
两个人都是技术出身。
虽然研究方向略有不同——白迁偏向算法架构创新,潘思偏向工程落地——但基础知识都是相通的。
一起学习讨论这份文档,效率肯定比各看各的高。
就在两人准备开始的时候。
一个身影凑了过来。
“两位大佬。“
孙宇满脸堆笑地站在两人身后:
“可以带带我吗?“
白迁和潘思对视了一眼。
孙宇这人吧……
怎么说呢。
知识水平确实一般。
毕竟是半路入行的。
之前在魔都设计院做的是偏应用数学的工作。
对于深度学习、神经网络这些前沿技术,了解得并不深。
但这人有一个优点。
勤快。
而且求生欲极强。
之前演海公司那么多工作量。
数据清洗、代码测试、文档整理……
都是孙宇和沈妍两个人在给白迁和潘思打下手。
虽然写的代码含金量不算太高。
但没有他们两个帮忙分担那些繁琐的工作。
白迁和潘思根本不可能在计划时间内完成任务。
从这个角度来说,孙宇算是他们的得力手下了。
“当然可以。“
白迁点了点头:
“一起看。“
“有不懂的地方就问。“
孙宇顿时眉开眼笑。
“谢谢两位大佬!“
他赶紧搬了把椅子过来,挤在白迁和潘思中间。
三个人正准备开始。
白迁突然想到了什么。
他下意识地抬起头,朝陈林的工位看了一眼。
果然。
沈妍不知道什么时候,已经走到了陈林的工位旁边。
她推了一把椅子过去,坐在陈林身边。
两个人的距离很近。
沈妍侧着身子,看着陈林的电脑屏幕。
陈林正在给她讲解什么。
一边讲,一边用手指着屏幕上的内容。
沈妍听得很认真。
时不时点点头。
偶尔开口问一句。
两个人之间的氛围……
怎么说呢。
白迁朝身边看了看,发现孙宇和潘思也正好从那个方向收回目光。
三个人很默契地把注意力重新放回到了眼前屏幕上的文档上。
“咳……“
白迁清了清嗓子:
“我们开始吧。“
“好。“
……
……
这一学,就是好几天时间。
三个人几乎把所有的精力都投入到了这份文档上。
在办公室的时候。
除了吃午饭和上厕所。
其他时间都是三个脑袋凑在一起,对着屏幕研究。
时不时还互相讨论交流几句。
当然,主要是白迁和潘思在交流。
而孙宇基本上是遇到不会的地方就赶紧发问。
“这个消息传递是什么意思?“
“这里的嵌入向量是怎么更新的?“
“这个公式是怎么推导出来的?“
……
几天高强度的学习下来,成果是极其显著的。
白迁和潘思原本以为,陈林这文档顶多是把那篇“神经发育程序(NDP)”的论文给细化了一下,可越看他们越觉得,这哪是细化,这简直是给这套理论搞出了一套落地方案。
文档开头部分,陈林确实致敬了那篇先驱论文,论述了“基因瓶颈”理论和“自组织生长”的可能性。
但到了中段,陈林直接甩出了一套极为完整的算法架构。
按照陈林的表述,NDP本质上就是一个分布式模型,运行在策略网络的每一个神经元中。它通过四个循环步骤进行“发育”:
1.信息聚合(Graph Convolution):利用图神经网络(GNN)的原理,每个节点的嵌入向量(Embedding)通过 n步消息传递来更新其局部状态。
2.节点复制(Replication):基于更新后的节点嵌入,由一个 MLP模型决定哪些节点该分裂、该什么时候生出“子孙”。
3.权重预测(Weight Prediction):另一个 MLP根据节点连接情况,精准预测它们之间的边缘权重。
4.循环演化:上述过程不断循环,直到生成最终的功能性网络。
而且陈林居然在文档里提供了两种完全不同的实现路径,并且贴心地做好了优劣对比:
第一种是进化版 NDP (Evolutionary-based)。采用 CMA-ES进化策略,网络拓扑是可生长的无向图。初始状态是单个节点或极小网络
这种路径的优势在于:无需考虑可微性,探索能力强
第二种是梯度版 NDP (Gradient-based)。这是陈林的重头戏,采用 Adam和 PPO优化。初始状态是输入/输出层全连接,网络拓扑是严格的向前反馈。
这种路径的优势在于:样本效率高得惊人,而且支持大规模并行训练。
......
几天过去。
三个人终于把整份文档完整地过了一遍。
孙宇揉了揉太阳穴。
感觉脑子还是有点懵。
这倒也不奇怪。
他本就是半路入行。
很多东西都不熟悉。
虽然这几天很努力地学习和请教。
但短时间内不能完全掌握,也是正常的。
“我先消化消化……“
孙宇有些不好意思地说:
“很多东西还没完全理解。“
“正常。“
潘思摆了摆手:
“这份文档的信息密度太高了。“
“一遍肯定看不透。“
“我和白迁也还要再琢磨琢磨。“
孙宇点了点头。
然后识趣地起身,回到了自己的工位上。
他打算先把这几天记的笔记整理一下。