“没错。“陈林点头,“而且,我希望这个模型,能够在各方面都超越目前市面上的主流大模型。“
潘思闻言,笑了笑,语气里带着几分调侃:
“陈总,您这个目标,可不小啊。“
“要知道,现在全世界做AI大模型的公司,没有一千也有八百。“
“想要做到'全面超越',难度可不是一般的大。“
陈林也笑了:“我知道难度大,但我相信,只要方向对了,资金和人才到位了,就一定能做出来。“
潘思微微点头,没有反驳。
他沉吟了片刻,缓缓开口道:
“陈总,我能问一下,您对于模型的技术路线,有什么具体的想法吗?“
陈林坦然地摇了摇头:“说实话,我对AI这块还不够专业。所以,我希望能听听你的意见。“
潘思听到这话,眼睛微微一亮。
“那我就直说了。“
他推了推眼镜,语气变得认真起来。
“我在狗狗工作的这几年,参与过好几个大模型的训练项目。“
“根据我的经验,我认为,目前业界主流的模型架构,比如Transformer、MoE这些,其实已经够用了。“
“它们在理论上,都已经被证明是有效的。“
“真正决定一个模型效果好坏的,不是架构本身,而是两个东西——“
潘思伸出两根手指。
“第一,数据质量。“
“第二,对齐。“
陈林听到这话,微微挑了挑眉。
“能详细说说吗?“
“当然。“潘思点了点头,接着解释道:
“数据质量,指的是你用来训练模型的数据,到底有多干净、多高质量。“
“很多人以为,做AI大模型,就是把海量的数据塞进去,让模型自己学就行了。“
“但实际上,如果你的数据里有大量的噪声、错误、偏见,那么训练出来的模型,效果一定不会好。“
“所以,数据清洗,是一个非常非常重要的环节。“
“甚至可以说,“潘思的语气变得无比郑重,“一个模型能不能成功,50%以上,都取决于数据质量。“
陈林听到这里,若有所思地点了点头。
潘思接着说道:
“至于对齐,指的是让模型的输出,符合人类的价值观和期望。“
“比如说,你问模型一个问题,它给你的答案,应该是有用的、准确的、无害的。“
“而不是胡说八道,或者输出一些有害信息。“
“这就需要通过RLHF(基于人类反馈的强化学习)这种技术,对模型进行对齐训练。“
潘思说到这里,忽然话锋一转。
“不过,陈总,您在数学大会上推导出的那个算法,其实已经从数学层面,解决了模型幻觉的问题。“
“这相当于,直接从源头上,提升了模型的可靠性。“
“所以,如果您这边能把那个算法融入到模型训练里去的话......“
潘思的眼睛里,闪过一丝兴奋的光芒。
“我相信,我们训练出来的模型,在内容生成质量和可靠性上,一定能超越目前市面上所有的竞品!“
陈林听完潘思的这番话,心中微微一动。
他忽然发现,白迁和潘思,虽然对于模型架构的看法不太一样,但两个人的观点,其实是可以互补的。
白迁更关注模型架构的创新,而潘思更关注数据和对齐。
如果能把这两个人都招进来,让他们各自发挥所长......