那就是一百亿次计算。
这对算力的消耗,简直是天文数字。
所以,业界一直在寻找能够降低Transformer计算复杂度的方法。
而陈林的研究目标,就是希望结合线性模型和注意力机制的优势,让模型可以进行并行计算,在取得Transformer相近效果的情况下,改进计算复杂度。
这个目标听起来很简单,但实现起来,难度极大。
因为这相当于要重新设计一种全新的神经网络架构。
不过,陈林有信心。
因为他有【小小数学家】。
只要他能把问题想清楚,把目标定明确,剩下的数学推导不成问题。
想到这里,陈林深吸了一口气,调整了一下工作计划。
从今天开始,他每天上午会继续学习人工智能大模型相关的知识,顺便和潘思、白迁讨论一下他们的工作进展。
下午,则进行2小时40分钟的数学研究。
这个时间安排,和之前准备数学大会演讲的时候一样。
事实证明,这种节奏对陈林来说是最合适的。
既能保证学习和研究的效率,又不会让【小小数学家】的能力过度消耗,导致自己直接睡死过去。
陈林看了一眼时间,上午十点。
潘思和白迁应该都已经在公司了。
他站起身,来到潘思和白迁的办公桌旁边。
潘思正坐在电脑前,盯着屏幕上密密麻麻的代码。
白迁则坐在另一边,面前摊着一堆草稿纸,上面写满了数学公式。
“陈总。“潘思抬起头,冲陈林点了点头。
白迁也停下手里的笔,推了推眼镜:“陈总,有事吗?“
“我就是过来看看你们的进展。“陈林拉了把椅子坐下,“潘博士,你那边怎么样了?“
潘思闻言,脸上露出一丝兴奋的神色。
“陈总,我这边进展还不错!“
他转过电脑屏幕,让陈林能看到上面的内容。
“我已经把数据清洗的流程搭建好了,现在沈妍和孙宇正在帮忙做数据标注。“
“目前我们已经清洗了大概两千万条高质量的中英文语料。“
“按照这个进度,再有两周时间,应该就能积累到五千万条左右。“
“到那时候,我们就可以开始第一轮的预训练了。“
陈林听到这话,满意地点了点头。
“很好。服务器那边呢?方案想好了吗?“
“想好了。“潘思笑着说道,“我和白博士商量了一下,决定采用租云服务器的方案。“
“项目起步阶段,我们训练验证的都是小参数量的模型,模型参数控制在30B以内。“
“这样的话,租用云服务器就够了,每个月成本在10万美元左右。“
“虽然价格不算便宜,但因为我和白博士可以共用算力资源,所以其实还算划算。“
陈林点了点头。
10万美元一个月,折合人民币差不多70万。
对于演海公司现在的财力来说,完全可以承受。
“那就按这个方案执行吧。“陈林说道,“需要的费用,你们统计好以后报给黄助理,她会安排打款。“
“好的,陈总。“潘思应道。