“等他们有了新的成果。“
“让他来帝都一趟。“
“我亲自和他聊聊。“
......
......
3月9日。
周一。
上午十点。
演海公司。
办公区。
今天是神经发育程序文档发出后的第一次正式讨论会。
公司的核心技术成员都到齐了。
白迁、潘思、孙宇、沈妍。
还有云清和黄依依。
虽然后两位不是技术人员。
但陈林说了,大家是一个整体。
所以她们也在旁听。
众人围坐在那张大办公桌旁。
陈林站在白板前。
手里拿着一支马克笔。
“好,人都到齐了。“
他环顾了一圈:
“我们开始吧。“
说着,他在白板上写下了几个大字:
【神经发育程序-第一次正式讨论】
“这份文档发出去已经一周了。“
陈林转过身来:
“我知道大家这段时间都在研究。“
“今天这个会议的目的,就是把各自的理解同步一下。“
“然后讨论具体怎么落地。“
他看向白迁和潘思:
“你们两个先说说,文档看下来有什么感受?“
白迁清了清嗓子。
“我先说吧。“
他的语气很认真:
“这份文档我前后看了差不多五六遍。“
“坦白说,里面的内容对我冲击挺大的。“
他顿了顿:
“不是说难度有多高——里面涉及的大部分计算机方面的知识点,其实本科毕业就能学到。“
“真正让我震撼的,是陈总把这些东西组合在一起的方式。“
“以及最终呈现出来的那个架构设计。“
潘思点了点头。
“我同意。“
他接过话头:
“尤其是梯度版NDP的那部分。“
“用稀疏注意力机制来近似完整的消息传递。“
“再结合我们已有的线性复杂度架构......“
“这个思路真的很巧妙。“
陈林笑了笑。
“理解得挺透彻的。“
他转向白板。
开始画示意图。
“我先简单说一下核心理念吧。“
他一边画,一边讲:
“神经发育程序的核心思想,是让网络自己'长'出来。“
“而不是像传统方法那样,预先设计好架构再训练。“
他在白板上画了两个对比图。
“传统方法是这样的——“
他指着第一个图:
“先定义网络结构。“
“多少层,每层多少神经元,用什么激活函数......“
“这些都是预先定好的。“
“然后喂数据,调参数。“
“架构是死的,只有权重是活的。“
他又指向第二个图:
“而神经发育程序不一样。“
“它从很小的种子网络开始。“
“根据数据的特点,自己决定要长成什么样子。“
“遇到什么问题,就长出什么结构来解决。“
白迁点了点头。
“这个理念我理解。“
他说:
“但问题是,怎么和我们现有的YanHai架构结合?“
这个问题问到了点子上。
陈林放下马克笔。
“这就是我想和大家讨论的核心问题。“
他看向白迁和潘思。
“我的想法是分两步走。“
他伸出两根手指:
“第一步,先用我们已经验证过的YanHai架构作为'基础骨架'。“
“这个骨架是固定的。“
“保证了基本的性能和稳定性。“
“第二步,在这个骨架之上,引入神经发育程序的机制。“
“让网络在训练过程中,自己'长出'一些额外的模块来处理特定类型的问题。“
潘思若有所思。
“你是说......混合架构?“
“可以这么理解。“
陈林点头:
“YanHai提供了低复杂度的计算框架。“
“神经发育程序提供了自适应的生长能力。“
“两者结合,理论上能实现1+1大于2的效果。“
白迁陷入了思考。
作为架构创新派的代表。
他对这个想法非常感兴趣。
“如果真的能做到......“
他喃喃道:
“那这个模型就不只是一个静态的大模型了。“
“它会是一个能够持续进化的系统。“
“没错。“
陈林说:
“这才是我真正想做的事情。“
他的目光扫过在场的每一个人。
“训练一个很强的模型,然后部署上线——“
“这是现在所有大模型公司都在做的事情。“
“但我想做的不止于此。“
他的语气变得郑重:
“我想做一个能够自我进化的系统。“
“今天的模型和明天的模型不一样。“
“它会根据新的数据、新的交互,自己变得更强。“