挂断电话后。
陈林靠在椅背上。
没有马上有所行动。
他看着窗外的天空。
思绪有些飘远。
这几个月，演海公司关于大模型的工作进展速度已经算是非常快了。
从最开始的YanHai-1.5B。
到现在的YanHai-30B。
每一步都走得很扎实。
测试数据也确实亮眼。
同等参数量级下，碾压所有开源模型。
甚至和国际顶尖的闭源模型相比，也能缩小一部分原来的差距。
但是......
陈林心里很清楚。
想要真正追赶上大漂亮那些主流大模型的差距。
道阻且长。
他想起了去年11月份的事情。
那时候他研究出的那套可以大幅降低大模型幻觉率的算法。
一度把华尔街和大漂亮股市搅得天翻地覆。
AI板块暴跌。
市值蒸发超万亿美元。
然而几个月过去了。
情况已经完全不一样了。
大漂亮那边不断有新消息放出来。
这个巨头发布新模型。
那个巨头宣布技术突破。
一波接一波的利好消息。
之前那一波大跌的跌幅早就收回来了。
股市甚至还创出了新高。
好像什么都没有发生过一样，只有那些上了过高杠杆导致爆仓的散户，成为了巨大波动的牺牲品
陈林对此并不意外。
大漂亮毕竟是蓝星第一的金融强国。
对于金融市场的掌控能力是其他国家望尘莫及的。
而且更关键的是......
大漂亮那些科技巨头在AI硬件上的垄断式领先。
陈林想起了一个多月前的新闻。
NVDA发布了一个叫做“Context Memory Platform“的新架构。
4个DPU支持100TB/net。
每个GPU分配的存储增加到了16GB。
消息一出。
大漂亮股市的存储板块迎来一波疯涨。
连泡菜国的叁丧电子都跟着喝了汤。
直接创了股价新高。
这就是硬件优势带来的话语权。
无论软件层面多么努力。
硬件上的差距始终是一道难以逾越的鸿沟。
陈林深吸了一口气。
收回了飘远的思绪。
他在心里给自己打气。
正是因为这样。
自己的努力才更为重要。
华夏在硬件上暂时追不上。
那就在软件和算法上多下功夫。
用更好的算法架构来弥补算力的不足。
这正是演海一直在做的事情。
“行了。“
陈林自言自语道：
“感慨归感慨，该干活还得干活。“
他站起身。
朝白迁和潘思的工位走去。
......
......
白迁和潘思正在讨论刚才会议上的内容。
看到陈林走过来。
两人都抬起头。
“陈总，有什么事？“
白迁问道。
陈林在他们旁边找了把椅子坐下。
“计划有变。“
他直接说道：
“刚才廖部长打电话来了。“
白迁和潘思对视了一眼。
都露出了好奇的神色。
陈林简单说明了一下情况。
YanHai-30B要在全国范围内推广。
科技蔀那边非常重视。
津门超算中心会提供算力支持。
他们演海这边需要尽快把推理服务开发好。
白迁听完，若有所思地点了点头。
“推理服务的开发不算复杂。“
他说：
“但如果要支持大规模并发的话......“
“确实需要花点时间做优化。“
潘思也点了点头。
“主要是部署和运维那块。“
他补充道：
“大规模集群的推理服务，稳定性是第一位的。“
“不能出任何岔子。“
陈林笑了笑。
“所以......“
他看着两人：
“之前定下的神经发育程序融合YanHai-1.5B的研发计划，暂停一下。“
“先把推理服务这块搞定。“
他顿了顿：
“计划不如变化嘛。“
白迁和潘思都没有异议。
毕竟推广YanHai-30B是一件大事。
某种程度上比神经发育程序的研发还要紧迫。
“那人员怎么安排？“
潘思问道。
陈林想了想。
“推理服务这个项目不算大。“
他说：
“潘思你来当项目经理。“
“白迁当架构师。“
“我、沈妍、孙宇三个人打下手。“
他笑着补充道：
“够用了。“
潘思和白迁都点了点头。
这个配置确实够用。
推理服务的开发虽然需要一定的技术功底。
但和从零开始训练一个大模型相比。
难度完全不是一个量级的。
“那就这么定了。“
陈林站起身：
“尽快开干吧。“
“目标是一周之内完成开发和测试。“
“下周一正式部署上线。“
“没问题。“
白迁和潘思异口同声地回答。
......
项目正式启动。
白迁作为架构师。
很快就把整体框架拿了出来。
大模型推理服务这块。
各大科技巨头其实已经做得非常成熟了。
有很多现成的开源方案可以参考。
什么vLLM、TensorRT-LLM、TGI......
每一个都有大量的生产环境验证。
白迁没有闭门造车。
而是在这些成熟方案的基础上进行改造。
针对YanHai-30B的特殊架构做了一些定制化的优化。
“我们的架构天然适合做推理优化。“
白迁一边画图，一边解释：
“因为计算复杂度本身就比Transformer低。“
“再加上一些工程层面的trick......“
“推理速度应该能做到非常可观。“
他在白板上画了一个大致的系统架构图。
分为几个核心模块：
模型加载模块、请求分发模块、推理计算模块、结果返回模块。
还有一些辅助模块：
日志模块、监控模块、安全模块......
“整体架构就是这样。“
白迁放下马克笔：
“接下来我细化一下每个模块的技术方案。“
“然后交给潘思来分配任务。“
潘思点了点头。
“我这边已经在准备任务拆解了。“
他说：
“等白迁的方案出来，我就开始分工。“
效率很高。
毕竟都是老手了。
......
大约一个小时后。
白迁把详细的技术方案整理好了。
发到了公司内部的协作平台上。
潘思看完之后。
开始进行任务拆解和分配。
“白迁负责核心的推理计算模块。“
他一边说，一边在任务管理工具上创建卡片：
“这块技术难度最高，需要你来把关。“
白迁点了点头。
“没问题。“
“我负责请求分发模块和结果返回模块。“
潘思继续说道：
“这两块和系统架构关系比较大，我来处理。“
他看向孙宇：
“孙宇，你负责日志模块和监控模块。“
“这两块相对简单，但很重要。“
“一定要做得细致。“
孙宇立刻挺直了腰板。
“保证完成任务！“
他的声音很响亮。
态度很端正。
潘思满意地点了点头。
然后他看向沈妍：
“沈妍......“
他想了想：
“你负责模型加载模块吧。“
“这块涉及到一些数学层面的优化。“
“正好发挥你的特长。“
沈妍点了点头。
“好。“
最后，潘思看向陈林。