“DeepSeek在基座大模型上做出的突破,是天才级别的。”
近,国产大模型公司深度求索(DeepSeek)引发的舆论震动,让今年春节成为“最有AI味的年”。谈到DeepSeek旗下标志性大模型DeepSeek-R1,多位业内人士向澎湃新闻记者表达了高度赞赏。
1月28日,大洋彼岸的人工智能巨头Open AI CEO山姆·奥特曼(Sam Altman)发文回应DeepSeek带来的挑战:“DeepSeek推出的R1令人影响深刻,我们当然会推出更好的模型,有新的竞争对手也令人振奋。”
国内某Top2 AI初创企业也对记者坦言,他们感受到了同行带来的压力:“后续我们会加快产品研发的角度。”
与之对比的是在产品上的快速迭代:除夕当天,DeepSeek悄无声息地发布开源多模态模型Janus-Pro。此前1月27日早间,DeepSeek应用曾登顶苹果中国地区和美国地区应用商店免费APP下载排行榜,在美区下载榜上超越ChatGPT。
“多模态考验的是对人类世界和环境的认知,相信DeepSeek在此刻发布多模态大模型,一定有自己的信心和底气。”1月28日,360创始人周鸿祎告诉澎湃新闻记者,“中国大模型技术复仇者联盟战队里一定有DeepSeek的一份,因为这家公司和它的创始人非常低调,他们技术能力和未来前景被市场严重低估了。”
“现在硅谷都把DeepSeek叫做来自东方的神秘力量,中国AI公司的创造力已经刹不住车了。”周鸿祎表示。
AI军备竞赛已进入深水期,曾有观点认为,在字节、阿里、腾讯等大厂包围下,AI创业公司将面临洗牌,难逃被并购的命运,而杀出重围的却是似乎“名不见经传”的DeepSeek。DeepSeek走红的秘密是什么,为国内大模型行业带来哪些启示?
DeepSeek优秀在哪?
“DeepSeek公司高层明确对商业化不感兴趣,只想做技术研究,这样的高度一般人达不到。”
有了解DeepSeek人士向记者透露,自己曾经面试过一些AI领域的人才,最后拒绝了自己的公司,去了DeepSeek,理由是他们科研氛围好,是一个真正做事的团队。
“从薪资来看,其实他们只是业内中流水平,高,但并不是最高的。”他向记者坦言,“如果说人才密度,可能还比不上头部大厂。并不是大厂的人不聪明,而是大厂的聪明人花了太多精力在技术之外。大厂虽然薪资高,但是内部斗争也多,想要真正专心做事,反而不如这样的技术公司纯粹。”
尽管在外界眼中,DeepSeek仿佛是一夜爆红,但此前早有多项成就引发行业关注。2024年,在大模型行业率先发起价格战的正是DeepSeek,但并未引起外界关注,此后智谱、字节跳动等跟进,才引发整个行业的降价潮流。
当时的DeepSeek,还未真正让他人看到它的实力。2024年,智谱AI COO张帆在接受采访时曾开玩笑说:“我们是主流厂商中第一个降价的。”当时有人提醒,首个降价的厂商其实是DeepSeek,张帆表示:“我说的是主流厂商”。 DeepSeek最引人瞩目的,是其显著降低了大模型开发成本。1月20日,DeepSeek正式发布推理模型R1,其API(编程接口)服务定价为每百万输入tokens(词元)仅需1元(缓存命中)/4 元(缓存未命中),每百万输出tokens为16元。DeepSeek的定价约等于Meta旗下Llama 3-70B的七分之一,GPT-4 Turbo的七十分之一。 因此,DeepSeek也被戏称为AI界的“拼多多”,实现高效低价背后的原因是什么?国内某知名AI公司董事长向记者解释称,这主要得益于DS-V3的多项技术创新。首先,DeepSeek采用MoE架构(Mixture of Experts,混合专家模型),通过将大模型变成多个稀疏的专家小模型,并通过多个模型聚合来达到和传统大模型相当的能力,有效降低了计算成本。 其次,DS-V3在训练方法上进行了重要创新。采用FP8混合精度训练,效率是常规BF16精度的约1.6倍;同时优化了并行流水线,提升了训练和推理效率。这些优化加上训练的一次成功,使得V3的训练成本降至约550万美元。 而在最新发布的DS-R1中,DeepSeek采用了创新性的GRPO(组相关策略优化)强化学习方法,无需庞大的人类标注数据库。通过让模型自主生成并验证结果的方式,R1展现出了强大的推理能力。随着训练步数增加,其思维链(Chain-of-Thought,CoT)的长度不断增长,模型甚至开始在推理过程中进行自我反思。
“DeepSeek R1的成功意味着,如果基础模型能力够强,在强化学习过程中它就能自己学会推理。这也是为什么国外AI圈的人看到DS-R1后惊呼AGI竟然离我们如此之近的原因:因为R1证明了能力足够强的模型是可以不依靠人类自己进化的,尽管现阶段的reward还是需要标签。”上述人士表示。
《麻省理工科技评论》分析称,DeepSeek R1 采用类似ChatGPT o1使用的“思维链”方法,它可以通过逐步处理查询来解决问题。这可能是美国对华高端AI芯片出口管制带来的意外结果,迫使中国的初创企业“优先考虑效率”。
有意思的是,如果问DeepSeek自己R1模型相比OpenAI有哪些特点,DeepSeek的回答是,创新点可能在“注意力机制”和“参数效率”,R1在处理长文本时更聚焦关键部分(比如法律合同中的条款),减少计算量,类似“读书时用荧光笔划重点,只反复看关键段落”。在参数效率方面,用类似MoE(混合专家系统)的结构,把模型分成多个“子专家”,不同任务激活不同部分,既节省算力又提升效果(类似“看病时分科室挂号,心脏问题找心内科专家,不用让全科医生从头学到尾”)
DeepSeek自我评价道,“DeepSeek像一家精品店,在特定领域更专精;OpenAI像大型超市,啥都有但价格高。”