推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型

| 2024-11-01| 5

大模型热两年后,将大模型融入业务场景、组织流程,提高产品和服务质量,已经成为越来越多企业的共识。

不仅如此,员工们也希望能用AI提升工作效率,甚至打破职业发展的天花板

然而,许多企业在落地的具体过程中,却面临着众多痛点,困难重重。

AI正以意想不到的规模融入工作场所:帮助节省时间(90%),专注于最重要的工作(85%),变得更有创造力(84%),并且更享受工作(83%)

AI商业落地困难重重,何解?

首先,成本就是一大难关。

现实问题是,该给大模型买多少算力?投多少人做数据治理、训练模型?需要多少人做运维?

第二,数据隐私与安全,也是让不少企业望而却步的重要原因。

B端企业往往对数据隐私要求较高,但大模型通常是由第三方提供,这个过程中就存在数据泄露的风险。

比如,一家医疗公司计划将大模型用于患者诊断,但担心数据传输到第三方模型提供商的服务器,会泄露患者隐私。虽然可以进行数据脱敏,但脱敏后的数据精度降低,也会降低模型效果。

第三,模型的集成与部署复杂,需要专业技术团队的支持。

B端用户的技术栈各不相同,现有的大模型可能需要大量调整,才能与企业现有系统集成。

比如某零售公司想要将大模型嵌入到内部CRM系统中,但由于API接口与现有系统不兼容,他们就需要开发大量中间接口,在内部数据安全防护上花费额外资源。结果就是项目推进极慢,还需要大量技术支持。

还有一种情况是,通用模型虽然有全领域能力,但是很多具有独特专业知识的行业和场景却无法直接应用。

比如在大模型落地工业场景上,施耐德电器数字化就提出了这样的「两难问题」——制造业企业的数据、知识、经验无法分享,导致数据流动差,难以出现垂直行业大模型;单个企业出面做私有化垂直的微调大模型,则会成本过高、维护难度过大。

此时,就需要结合客户领域和场景对通用大模型进行定向调优和增强。

然而,这个过程更是存在诸多痛点:缺少全链路增强的训练工具和框架;缺少与原模型匹配的通用训练预料;缺少模型训练的超参数、数据标注、数据清洗、配比等训练经验……

显然,今天的AI仍处于钻木取火的阶段,谁能攻破以上难题,让企业可靠、经济、易用地使用大模型,谁就能率先拿下一城。

这时,我们需要的是一套完整的工业级解决方案。

而就在昨天,百川智能正式面向企业用户,发布了「1+3」一站式大模型商业化解决方案,包括全链路优质通用训练数据、Baichuan4-Turbo、Baichuan4-Air两款模型,以及全链路领域增强工具链。

「1+3」的组合,覆盖了从数据构建、模型训练到强化调优、部署运营的全流程。

通过这个产品矩阵,企业既能保障自身数据和隐私安全,还能以较低成本高效实现效果最佳的大模型私有化部署,用大模型赋能多种业务场景。

一言以蔽之,工具多、部署快、效果好、成本低。

搭配自用通用优质训练数据,多场景可用率高达96%

当前,AI社区已经有很多高质量的LLM可以免费获取,诸如Llama、Gemma等等。

它们具备了强大的通用泛化能力,然而,由于每个企业都拥有自身独特的专业知识和应用场景,直接应用通用模型难以达到理想效果,因此必须对模型进行定制化优化从而适应特定领域和场景的需求。而优化后模型在多场景下的可用率是评估其价值的关键标准。

目前,行业主流的定制化优化方式有两种:用场景数据微调;场景数据混合开源通用数据微调。

数据显示,仅用专业数据微调模型,多场景可用率是84%。

若是利用行业公开的通用数据,或者自建通用数据集,外加专有数据进行领域增强训练,可用率会有所提升,但也只能提升2%。

以上这些还不是最优解,因为对于很多企业来说,多场景可用率低于90%基本上就是不可用的状态。

导致这种情况的主要原因是,受限于诸多因素,企业在混合微调时只能自建或者使用开源的通用数据,很难获得与原模型高度匹配的通用训练数据,因此即便经过调优,模型也有很大概率会失去通用性,变成无法应对多个场景的专用模型。

这次,百川智能直接给出了其自用的预训练通用数据、SFT微调通用数据以及强化学习过程中的通用数据。

同时,自研的超参自动化搜索和调优技术、数据动态自适应配比技术等训练经验和技术,也都一并封装成工具,给到企业使用。

用白话说就是,Baichuan4-Turbo、Baichuan4-Air用到的高质量通用训练数据和训练技巧,都在里面!

评测结果显示,在使用百川智能优质通用训练数据与企业专有数据混合微调后,模型在金融、教育、医疗等场景下的专业细分任务的平均可用率高达96%。

相比不混合通用数据提升12%,混合开源通用数据提升10%。

相较于其他行业解决方案,百川智能取得了最新的SOTA,这也从侧面证明了模型想要在企业场景下取得优秀表现,需要的是专有数据与和原模型高度匹配的通用数据的「混合增强」。

模型升级:Baichuan4-Turbo两张4090即可部署,Baichuan4-Air推理成本下降99%

接下来,如何将Baichuan4-Turbo、Baichuan4-Air应用在实际场景中?

从名字中不难看出,它们都是Baichuan4系列基础模型的升级。

对于企业来说,在不同场景阶段,对模型性能和成本要求各不相同。

在复杂场景探索阶段,他们更加关注模型性能、部署成本。

而在已验证过的大规模落地阶段,他们更侧重模型推理成本、响应速度。

这次新发布的两款模型,分别应对不同阶段的客户落地场景,效果更好,成本更低。

复杂场景探索:Baichuan4-Turbo

其中,Baichuan4-Turbo属于旗舰模型升级版。

它适合复杂场景的初期探索阶段,尤其适用于对于初始部署成本(比如显存)较为敏感的场景。

对于B端企业用户,大模型时常会遇到极为复杂的场景,这时就对模型能力提出了很高的要求。

比如在一个金融机构中,需要实时分析海量交易和市场数据,还要检测异常交易、反欺诈,预测信用风险等等。

此时就需要大模型能够整合动态数据与多模态处理、具有强大的模型识别与实时预测能力。

这样它才能快速集成结构化(交易记录)和非结构化数据(文本),并进行跨模态的信息分析。并且,它还能对数据中的微小变化做出快速响应,识别风险信号。

针对以上场景,Baichuan4-Turbo就是一个极具性价比的选择。

相比Baichuan4,Baichuan4-Turbo在B端客户高频应用场景上,效果均有显著提升。具体来说,分聚类提升了9.09%、多语言提升了31.43%、信息摘要提升了50%、生成提升了12.77%。

而在成本上,通过w4kv4等infra量化,Baichuan4-Turbo仅需2张4090,即可达到GPT-4o效果。

可以说达到了旗舰模型的行业最低,仅为Baichuan4的15%。

在响应速度上也更快,其中首token速度提升了51%、token流速提升了73%。

广泛应用:首个MoE模型Baichuan4-Air

Baichuan4-Air则是Baichuan4系列中的低成本极速版,同时也是百川智能发布的首款MoE模型。

它适合中等复杂及简单场景的广泛应用阶段,尤其是请求量大、推理成本敏感型的场景。

比如电商搜索和推荐、智能客服与对话机器人,都属于这一类。

电商平台的用户访问量大,产品浏览和搜索请求频繁发生,此时模型无需深层理解用户的全部行为,只需提供较高相关性的推荐即可。

而在智能客服场景,银行、零售、物流等企业的在线客服系统往往有高并发的用户咨询,用户问题相对简单、重复性高,不涉及复杂情感理解和多轮对话。

此时,相比复杂大模型,轻量化的模型就能实时响应海量请求,在不牺牲速度的情况下回答大量简单的用户咨询,企业也不必承受复杂模型带来的高计算成本。

Baichuan4-Air,正是为这类用户量身打造。

它的效果和Baichuan4基本持平,但价格只有后者的1%——0.98厘/千tokens,目前行业最低

同时,它的响应也更快,首token速度提升了77%、token流速提升了93%。

值得一提的是,作为百川智能的首个MoE模型,Baichuan4-Air 行业首创了PRI架构,巧妙融合了Pyramid(金字塔架构)、Residual(残差结构)、Interval(区间结构)三种配置方式。

与标准的MoE架构相比,Baichuan4-Air的MoE架构保持了MLP(多层感知机)和Attention(注意力机制)的内部结构不变,仅对混合专家MLP层的配置方式进行优化,通过合理配置专家数量和激活策略,能够更好地平衡计算负载,减少计算量,提高推理速度。

正是由于这种MoE架构上的创新,Baichuan4-Air在时效率和模型性能上均表现优异。

在相同训练数据下,Baichuan4-Air不仅时效率更高,性能也大幅领先于GPT4-style、Mixtral-style结构的MoE模型。

至此,所谓停止预训练模型的谣言,也就不攻自破了。

全链路领域增强工具链,覆盖模型部署全流程

作为「1+3」产品矩阵中的「1」,从数据处理、增量预训练、模型微调、强化学习、提示词优化,到评测、量化、部署,「全链路领域增强工具链」全面覆盖了私有化部署的所有关键环节。

模型训练经验+高效训练框架

值得一提的是,百川团队基于数万亿token的训练实战经验,全部开放。

这其中,微调数据自动化增强、标注工具、数据配比搜索策略等,全部被封装到全生命周期工具包中,企业直接可用。

在整套工具链中,还包含了百川开放的高效训练框架。

相较于开源方案,基于百川成熟的训练框架,能在相同收敛结果下,将训练速度提升数倍。

与此同时,它还支持RAG、Agent能力定制化,以及超长窗口训练等高级功能。

这些能力,能够帮助企业在更短时间内,完成复杂模型训练任务。

得到微调模型后,在部署前还需进行全面的模型评测。

「全链路领域增强工具链」中提供了一站式模型评测方案,不仅包含了行业标准的基准测试,还包含了全面自动评测功能。

一方面,能够帮企业了解模型相对表现;另一方面,还能为其模型优化提供精确指导。

不仅如此,通过大量的适配工作,百川智能还实现了多平台适配的私有化部署方案,和英伟达、华为、寒武纪、高通、MTK、天数等主流芯片都能适配。

多、快、好、省,深受合作伙伴好评

那些拿到内测资格的客户,纷纷对百川智能两款新模型、全链路领域增强工具链,给出了好评。

新致软件称,百川的工具包为LLM开发带来了革命性的提升。

这套工具不仅能够有效处理私有数据资产,还可以与百川优质通用数据融合训练,从而显著提升了最终模型的表现效果。

另一个案例来自信雅达。

他们的实践表明,Baichuan4-Turbo在硬件需求方面实现了重大突破——仅需2张4090显卡即可流畅运行,大幅降低了基础设施投入成本。

更令人瞩目的是,自部署该模型以来,他们在业务层面取得了显著成效:客户满意度提升15%,运营效率更是实现了近30%的增长。

以上,这些数据充分证明了百川智能的一站式解决方案,在实际应用场景中的卓越表现。

截至目前,百川智能已经服务了数千家客户,不仅有北电数智、完美世界游戏等行业领军企业,还与多家行业生态伙伴,以及运营商达成合作,携手构建百川大模型生态。

随着生态朋友圈不断壮大,百川的实践证明,LLM的落地不是遥不可及的未来,而是触手可及的现实。

最终实现,让更多企业以更低门槛、更高效率拥抱AI时代,推动各行各业的升级。

点击「阅读原文」即可访问官网,查看更多信息。

参考资料:

https://platform.baichuan-ai.com/homePage

Tags: , ,

上一篇

已是最后文章

下一篇

已是最新文章

相关推荐相关推荐

美国汽车行业联名致信:亲爱的特朗普 请不要停止电动车补贴

美国汽车行业联名致信:亲爱的特朗普 请不要停止电动车补贴

燃油车坚定支持者特朗普曾承诺,将在正式就任美国总统后取消对电动车行业的税收抵免,这一举动也得到了电动车龙头企业特斯拉首席执行官马斯克的赞同,但却引发了其它从业者的集体哀嚎。

科技 4 2024-11-22
余承东亲自爆料!华为Mate 70 Pro+正面揭晓:独一无二的三挖孔

余承东亲自爆料!华为Mate 70 Pro+正面揭晓:独一无二的三挖孔

11月22日消息,余承东今天在视频中首次展示了华为Mate 70 Pro+的正面外观,依然沿用了上一代的三挖孔设计,这也是目前全行业独一无二的造型,辨识度极高。

科技 4 2024-11-22
支付宝新技术斩获浙江科技进步一等奖:节省成本16.9亿元

支付宝新技术斩获浙江科技进步一等奖:节省成本16.9亿元

11月22日,浙江省2023年度科学技术进步奖公布。 支付宝联合浙江大学、谐云科技、阿里云共同研发的基于云原生的大规模云边协同关键技术及应用,获得科学技术进步一等奖! 据悉,这是一套大规模的云边协同计算技术,是分布式计算、云计算等领域的底层核心关 ...

科技 7 2024-11-22
第18个冠军!清华大学获得2024全球大学生超算竞赛总冠军

第18个冠军!清华大学获得2024全球大学生超算竞赛总冠军

在美国亚特兰大,当地时间11月21日下午,2024全球大学生超算竞赛(SC24)总决赛圆满落幕。

科技 5 2024-11-22
iPhone 16禁令悬而未决!苹果砸下1亿美元不够:印尼还想要更多

iPhone 16禁令悬而未决!苹果砸下1亿美元不够:印尼还想要更多

11月22日消息,苹果为了解决在印尼市场的iPhone 16销售禁令,已提出一项高达1亿美元的投资计划。

科技 7 2024-11-22
于东来炮轰电商和汽车企业家:一个比一个傻 整天就比卖了多少

于东来炮轰电商和汽车企业家:一个比一个傻 整天就比卖了多少

11月22日消息,在近日的一场直播中,胖东来创始人于东来在谈及调改步步高、永辉时表示,调改完成后,他们未来发展需要注意的是‘坚定真诚’,坚定用科学的经营方法。

科技 5 2024-11-22
《黑神话》获金摇杆年度游戏!有网友吐槽:没少刷贴、根本不配

《黑神话》获金摇杆年度游戏!有网友吐槽:没少刷贴、根本不配

11月22日消息,在今天凌晨举办的2024金摇杆颁奖仪式上,《黑神话:悟空》成功斩获年度终极游戏最佳视觉设计两项大奖!在获奖感言中,主创冯骥多次提到了金摇杆证明了自己的含金量,多一件袈裟也不嫌多等知名段子,引发网友们热议。

科技 7 2024-11-22
芒果TV用户开通VIP只看了1个月 却被连续扣费5年 结局皆大欢喜

芒果TV用户开通VIP只看了1个月 却被连续扣费5年 结局皆大欢喜

11月22日消息,自2023年起,广电总局携手多部门共同发起的治理电视套娃收费及操作复杂性的行动已取得显著成效。

科技 6 2024-11-22
宁德时代发布2024年10月战报:磷酸铁锂、三元双料第一!

宁德时代发布2024年10月战报:磷酸铁锂、三元双料第一!

11月22日消息,宁德时代近日公布了2024年10月的业绩报告,显示其动力电池出口量同比增长超过三分之一。

科技 6 2024-11-22
何同学抄袭原作者已接受道歉:不想毁掉他

何同学抄袭原作者已接受道歉:不想毁掉他

11月22日消息,最近何同学抄袭的问题引发不少关注,其本人已发布致歉说明,称这是失误。

科技 5 2024-11-22