“这得感谢黄桦,”周胜铉语气诚恳,“是他建议彻底抛弃原有的底层架构,采用一种全新的架构,我们才得以快速突破。”
虽然自己这个搭档看上去懒散有些不靠谱,甚至夸夸其谈、自我标榜,但干起活来确实没得说,尤其是脑瓜子聪明,虽然只是硕士,但团队里有些博士还聪明。
不过一向爱自夸的黄桦这次却格外谦虚:“我也是站在巨人的肩膀上——开个玩笑。其实是受到谷歌那篇《Attention Is All You Need》的启发……之前我们走错了路。”
原来,周胜铉的团队在方青叶的安排下从三年前就开始秘密对AI大模型的研发。
用的是国际上所流行的循环神经网络(RNN)和卷积神经网络(CNN)架构,但研发到最后总无法达成预定目标,因为无论是RNN或者CNN都有没办法克服的问题:无法有效处理序列数据尤其是长序列!
这个缺陷是致命的!
黄桦打了个比方:“它就像一个试图解读整本《红楼梦》的学者,却被强制要求每次只能通过一个钥匙孔去看一个单词。”
“他或许能理解当前的词汇,却永远无法把握段落间的逻辑,更无从知晓:“夏金桂”的登场如何影响了整个故事的命运——信息的支离破碎,注定了其对整体语境的理解从根源上就是扭曲与徒劳的。”
“直到六月份,谷歌发表的一篇名叫《Attention Is All You Need》文章,提出了Transformer架构。它完全摒弃了之前RNN)和CNN,用的是完全基于自注意力(Self-Attention)机制,我大受启发,就建议胜铉推倒重来。”
“结果,我们就成功了。”周胜铉最后插话进来。
呵?
还有这段故事?
虽然方青叶在重生前也用各种大模型,什么GPT、BERT、DEEPseek等,但那很少注意他的底层架构。
“今天晚上,我请客给大家庆功!”方青叶笑道。
“好啊,方哥,吃完饭,要去夜店消食啊....”黄桦马上提出要求。
“行,没问题!”方青叶一口答应。
“你也得来,不准中途开溜!”黄桦说着又看向白藕,“嫂子,你可别拦着方哥啊?”
“我什么时候说过他?!”
白藕瞥了黄桦一眼,随即正色道:“事情还没讨论完呢,青叶,我们现在正在给N.O.V.A.起个正式名字呢,这个只是它的内部代号。”
名字?deepseek多好听啊。
方青叶第一个想到这个名字。
但一想算了。
给人家小梁同学留条路吧......
于是就问,“你们想好没有?”
“嗯.....有好几个备选。”
白藕说着拿出一份清单递给方青叶。
呵?挺多
Heavenly Genesis(乾元)、Nexus(联结)Promethea(先觉者)NewMind(新思)......
“就用NewMind(新思)吧,“全新的思维”,简洁、干净。”方青叶提出自己的建议。
“OK,那就NewMind,这是第一代全称可以叫NewMind—MK I”周胜铉立刻决定。
方青叶听了点点头,抬头又看了看墙上挂着的钟表,然后对周胜铉说道。
“今天是11月20日……你们能不能在十天内完成优化调试,然后对外发布?”
“方哥,其实这些都是小问题,两三天时间足够,为什么非要等到月底?”黄桦不解。
“因为,第五届乌镇互联网大会要在12月3日召开,我要在那天让NewMind—MK I露一小脸.....”方青叶一脸微笑。