豆包说要「普惠」,于是大模型处理图片按「厘」计价了

| 2024-12-23| 6

这段时间,OpenAI 宣告连续12轮轰炸,让2024年底的大模型领域热闹起来了。

但坚持每个凌晨看直播的话会发现,越到后面的发布越平淡,内心的波动也越少了。

今年的大模型就卷到这里了吗?并没有,国产大模型又卷起来了,还给 OpenAI 来了一记「重拳」。

就在前几天,2024冬季火山引擎 FORCE 原动力大会上,字节跳动的豆包大模型家族,来了一场爆发式上新。

最受关注的是豆包大模型家族的新成员 ——豆包・视觉理解模型。顾名思义,它让豆包有了「看懂」世界的能力。更重要的是,这款新模型一千个 token 的输入价格仅3厘钱,也就是说花一块钱就能处理284张720P 的图片,比行业价格便宜了85%。

价格官宣的那一刻,或许众多企业用户在心里默念了一句:太好了,是豆包,我们有救了。

至于这款模型的理解能力有多强,请看 VCR:

火山引擎,赞4054

与此同时,三位成员豆包通用模型 Pro、豆包・音乐生成模型、豆包・文生图模型宣布升级,一起发布的还有豆包・3D 模型。

回想年中的时候,豆包还是国产大模型中的「新秀」。短短半年多,竟然已经红透了半边天,成为了众多用户首选的生产力工具。

七个月的时间,能发生什么?对于 OpenAI 来说,可能只是一项新功能从「期货」到「全量上线」的准备时长。

但对于豆包大模型,这段时间已经足以拿下日均 tokens 使用量超4万亿的优秀成绩,比最初发布的那天增长了33倍。

经过此次升级后,豆包大模型家族的实力又壮大了一波。

据智源研究院12月19日发布的国内外100余个开源和商业闭源的大模型综合及专项评测结果,「大语言模型评测能力榜单」中,豆包通用模型 pro 在重点考察中文能力的主观评测中排名第一,「多模态模型评测榜单」中,豆包·视觉理解模型在视觉语言模型中排名第二,仅次于 GPT-4o,是得分最高的国产大模型。「FlagEval 大模型角斗场榜单」中,豆包通用模型 pro 在大语言模型榜单中位居第一梯队,评分排名第二,仅次于 OpenAI 的 o1-mini,是得分最高的国产大模型。

不得不说,国产 AI 进化的速度是真的惊人。

会读论文、看梗图

豆包的「秒懂」能力强得可怕

回望2024年的大模型技术发展,除了文本能力的继续提升外,从单模态过渡到多模态也是基础模型的演进趋势之一。

一个关键方向是,增加对视觉模态输入的支持。这就像是给 LLM 装上了「眼睛」和「大脑」,使其能够理解图像并进行相应的自然语言生成。

在不断进化的豆包大模型中,我们也看到了惊人的「秒懂」能力。

具体来说,豆包・视觉理解模型具备精准的指令理解能力,能够精准提取图像文本信息,因此可应用于更复杂、更广泛的视觉问答任务,比如描述图片中的内容以及对图片中包含的内容进行提问。另一方面,该模型可完成深度的图片理解与推理,在表格图像、数学问题、代码图像等复杂推理场景下都能发挥所长。

豆包・视觉理解模型接入豆包 App 和 PC 端产品已经有段时间了,机器之心也测试了一番,实际体验很不错。

在此之前,人们公认体验比较好的是 GPT-4o 模型,但这次测试下来,豆包・视觉理解模型毫不逊色。

首先能感受到,豆包的内容识别能力很强,比如对于视觉内容中的知识、文化背景、状态、数量、文字等信息都识别得很准确,特别是能理解中国传统文化知识。

比如问一个生活化的问题。站在超市货架前,每个人都有过难以抉择的时刻。但显然,大模型比我们更懂传统食物:

当然,它不只是擅长识别现实中的物品,即使图片只有光影、轮廓、位置这些特征,也能一眼辨别:

其次,豆包对于视觉内容信息的推理能力也很强,包括数学、逻辑、代码等。

就拿难懂的论文架构图来说吧,在没有给出任何论文背景信息的前提下,豆包不仅能看懂、讲透,特别是针对整体流程的解读,将阶段1和阶段2的因果逻辑表达得非常清楚,还能如数列出背景知识:

假如同事交接给你一些代码,别焦虑,叫上豆包一起看能效率加倍:

再说到视觉描述能力,它也非常擅长「看图说话」,完全可以用来编写社交媒体文案,或者任何你需要启发灵感的创作任务:

还有一个很巧妙的用途 —— 帮助2G 冲浪的「老年人」看懂新梗:

多模态能力的突破,让今年的大模型应用给用户带来了诸多惊喜。此次视觉理解能力的增强,也将是豆包大模型打开更多落地场景的关键一步。当模型能够将图像和文字信息相结合,我们就能够获得更自然、直观的交互体验。例如,在产品推荐、教育辅助或虚拟助手场景中,用户可以通过图片与模型互动,获得更丰富的反馈。此外,结合视觉和文本信息,模型对输入的洞察水准也会更上一层楼。例如,在新闻分析或知识图谱构建中,模型能够关联文字和图片,提供更完整的背景和见解。

加上以「厘」为单位的定价,这些应用场景的解锁速度会比想象中更快。秉承「让每家企业都用得起好模型」的原则,豆包一发力,实实在在是把视觉理解模型的应用成本打下来了,将以更低成本推动 AI 技术普惠和应用发展。

三大主力模型升级

视频模型下月上线

在新成员诞生的同时,豆包大模型家族的三位重要成员也迎来了本年度的最后一次重大升级。

首先是大语言模型 ——豆包通用模型 Pro。对比今年5月最初公开发布的版本,这款模型在综合能力上已经提升了32%,与 GPT-4o 持平,但价格仅是其八分之一。

此外,豆包通用模型 Pro在指令遵循、代码、专业知识、数学层面全面对齐了 GPT-4o 水平。其中指令遵循能力提升9%,代码能力提升58%,GPQA 专业知识方面能力提升54%,数学能力提升43%,推理能力提升13%。

然后是语音,豆包・音乐模型的生成水平已经从「高光片段」跃升到「完整乐章」。

现在,用户只需要简单描述或上传一张图片,就能生成一首长达3分钟的包含旋律、歌词和演唱的高质量音乐作品,包括前奏、主歌、副歌、间奏、过渡段等复杂结构。并且,豆包・音乐模型提供了局部修改功能,在针对部分歌词修改后仍能在原有旋律的节奏框架内适配。

体验地址:https://www.haimian.com/create (APP 端:海绵音乐)

从原来的1分钟,升级为现在的3分钟,豆包・音乐模型克服了挑战,在较长的时间跨度内容保持了音乐元素的连贯性。

最后,在视觉层面,豆包・文生图模型本次也迎来了新一波升级,在通用性、可控性、高质量三方面取得了新突破。具体来说,豆包・文生图模型2.1新增了「一键海报」和「一键 P 图」能力,目前已接入即梦 AI 和豆包 App。

一键海报的关键点在于「写字」。在实际体验中,我们可以感受到,豆包・文生图模型对文字细节的指令遵循能力很强,特别是非常擅长「写汉字」:

Prompt:生成一张卡通土拨鼠的图片 衣服上的文字图案是 “机器之心”

背后的技术源自豆包・文生图模型原生的文字渲染能力,豆包大模型团队通过打通 LLM 和 DiT 架构和构建高质量文字渲染数据,大幅提升了模型在文字生成方面的准确率,尤其是结构复杂、字符数量较多的汉字场景。

一键 P 图功能的实现,则基于豆包大模型团队近期在图像编辑技术上取得的重大突破:SeedEdit。

近年来,基于扩散模型的图像生成技术进展飞速,然而,图像编辑技术还难以满足人们对于生成内容可控性的需求,关键挑战在于实现「维持原始图像」和「生成新图像」之间的最优平衡。

SeedEdit 框架在不引入新参数的前提下,将图像生成扩散模型转为图像编辑模型,也是国内首个产品化的通用图像编辑模型。无需描边涂抹,用户只需要给出简单的自然语言指示,就能换背景、转风格,或者在指定区域进行元素的增删和替换。

Prompt:驴打滚变成拿破仑

相比于传统涂抹选中的方法,这种编辑方式更加精准,不会误伤无关区域。还有一点好处是,这种编辑技术能够一次性完成多项编辑任务,效率大大提升。

关于最近非常火热的3D 赛道,豆包家族也添加了一位新成员:豆包・3D 生成模型。将这款模型与火山引擎数字孪生平台 veOmniverse 结合使用,可以高效完成智能训练、数据合成和数字资产制作,成为一套支持 AIGC 创作的物理世界仿真模拟器。

如视频所示,通过叠加一句一句的文字 Prompt,就能搭建起一个工厂车间场景:

后来居上,一飞冲天

「豆包」凭借的是什么?

自2024年5月发布至今,只用了七个月,豆包大模型就成为了国产大模型中当之无愧的顶流。

后来者如何居上?在豆包家族做大做强的道路上,为其提供底层支撑的火山引擎云服务平台的价值不可忽视。

一直以来,字节跳动的豆包大模型都通过火山引擎对外提供服务,「更强模型、更低价格、更易落地」,这三个关键词成为了其别于众多大模型服务平台的特质。

除了不断升级的模型能力之外,火山引擎还解决了「成本太高」和「落地太难」两项大模型应用挑战。目前,这个平台提供从云计算、技术引擎、智能应用到行业解决方案的全栈服务。

模型层面,豆包大模型家族已经有十几位成员,覆盖了常见应用场景。

特别地,火山引擎为大模型落地提供了一系列覆盖全流程的工具,包括一站式大模型服务平台火山方舟、大模型应用开发平台扣子、企业专属 AI 应用创新平台 HiAgent。这些工具,在本次大会上也都同步升级。

火山引擎这次一口气推出了Prompt 优解、大模型记忆应用等产品,持续保障企业级 AI 应用的落地。Prompt 优解是全新一代提示词工具,通过自动 + 互动的方式,解决了人工编写 Prompt 难度高、耗时写、重新适配的问题。大模型记忆应用基于知识库 RAG 技术和上下文缓存技术,能够帮助企业用户打造灵活的大模型记忆方案,并推出 prefix cache 和 session cache API,降低延迟和成本。

扣子也在这次大会上升级到了1.5版本,还公布了开发者生态方面的亮眼成绩:目前平台已有超过100万的活跃开发者,共发布过200万个智能体。包括最新发布的豆包多模态模型们,用户们都能第一时间在扣子平台通过插件的方式体验。

最新发布的HiAgent1.5版本中,火山引擎提供了100多个行业应用模板,提供给企业用户一键复制,实现低代码构建智能体。同步发布的 GraphRAG 则通过连接知识图谱为大模型提供知识及关系信息,以此增强回答质量、支持多跳问题回答。再通过 Reranker,进一步提升回答的准确性和完整性。如此一来,企业就能构建专家级别的 AI 应用。

在云服务层面,基于当前企业使用大模型推理对计算效率的新要求,火山引擎已经完成了从 Cloud Native 到 AI Cloud Native 的转型,打造以 AI 负载为中心的基础架构新范式。

GPU 在并行处理能力和高吞吐量方面更适合大规模推理使用,然而,传统 GPU 加 CPU 的异构计算中,GPU 从存储加载数据进行处理都必须由 CPU 控制。近年来的一个趋势是计算从 CPU 转移到 GPU,GPU 计算在整个系统的比例越来越大,因此过去的 I/O 流程成为巨大的效率瓶颈,某种程度上造成了 GPU 资源的浪费。

基于 AI 云原生的理念,火山引擎这次推出了新一代计算、网络、存储和和安全产品。在计算层面,新一代的火山引擎 GPU 实例,通过 vRDMA 网络,支持大规模并行计算和 P/D 分离推理架构,显著提升训练和推理效率,降低成本。存储上,新推出的 EIC 弹性极速缓存,能够实现 GPU 直连,使大模型推理时延降低至1/50;成本降低20%。安全层面,火山将推出 PCC 私密云服务,构建大模型的可信应用体系。基于 PCC,企业能够实现用户数据在云上推理的端到端加密,而且性能很好,推理时延比明文模式的差异在5% 以内。

「今年是大模型高速发展的一年。当你看到一列高速行驶的列车,最重要的事就是确保自己要登上这趟列车。通过 AI 云原生和豆包大模型家族,火山引擎希望帮助企业做好 AI 创新,驶向更美好的未来。」火山引擎总裁谭待表示。

面向2025,我们期待什么?

这一年,从技术研发的角度,豆包大模型团队在研究者和从业者圈子中影响力的增长是有目共睹的。2024年,团队发布了一系列「出圈」成果,包括近期的图像编辑模型 SeedEdit、代码评估数据集 FullStack Bench、新型神经网络架构 FAN 等。在突破前沿命题之外,这些成果也对豆包大模型产品层面的进化起到了关键的推动作用。

正是基于技术驱动下的产品迅速迭代,让豆包坐稳了国产大模型顶流的宝座。大模型技术爆发两年后,不管是个人用户还是企业用户都能感知到,豆包大模型在应用层的优势已经非常明显。

根据大会 One More Thing 环节的透露,本文开头 VCR 中所展示的端到端实时语音功能,以及具备更长视频生成能力的豆包・视频生成模型1.5也会在不久后上线。

站在2024年的末尾,无论是相关从业者还是大众都会好奇:2025年的大模型会变成什么样?

我们看到、听到了很多关于大模型前进方向的预判,比如 Scaling Law 即将撞墙,预训练已经走到尽头等等。

但这些并不意味着大模型的能力已经到达天花板,推理 Scaling Law 来了,AI 的智能水平可能会在短时间内跃升到一个新的高度。同时在图像生成、视频生成等多模态任务上,大模型仍有相当充足的发展空间。在未来的12个月,大模型进化的曲线可能会非常陡峭。

新的一年,豆包大模型还有哪些惊喜?值得每一个人期待。

Tags: , ,

上一篇

已是最后文章

下一篇

已是最新文章

相关推荐相关推荐

算力荒缓解,自主化智算还有必要吗?

算力荒缓解,自主化智算还有必要吗?

2023年大炼模型兴起,全球范围内都出现了算力供不应求、一卡难求的情况。各地纷纷兴建数据中心、智算中心,来解决国产大模型的算力短缺问题。

业界 8 2024-12-23
智联安亮相第二届移动物联网大会

智联安亮相第二届移动物联网大会

在科技飞速发展的当下,移动物联网作为推动各行业数字化转型的关键力量,正受到广泛关注。第二届移动物联网大会近日于安徽省合肥市隆重召开,此次大会由中国互联网协会、中国信息通信研究院、中国通信标准化协会等联合主办,众多业务监管部门、行业精英、 ...

业界 4 2024-12-23
大模型下的新风口,AI耳机带飞存储!

大模型下的新风口,AI耳机带飞存储!

电子发烧友网报道(文/黄晶晶)最近各大厂商发力AI智能硬件,包括AI智能眼镜、AI耳机等新产品陆续推出。例如,字节跳动(豆包)发布AI耳机、百度发布小度AI眼镜,以及三星、小米等头部厂商 2025 年也将在AI 智能眼镜发力等。这不仅将带动AI智能硬件销量的 ...

业界 8 2024-12-23
IPC发布双重重要性评估白皮书

IPC发布双重重要性评估白皮书

IPC近日隆重推出了其最新白皮书——《双重重要性评估为何重要:合规性与竞争优势》。此份白皮书旨在为电子行业的企业提供一份详尽的指南,帮助他们深入理解并应对欧盟的《企业可持续发展报告指令》(CSRD),同时利用双重重要性评估(DMA)这一工具,实现企业的 ...

业界 4 2024-12-23
格力“造芯”:MCU、AIoT SoC、SiC全布局

格力“造芯”:MCU、AIoT SoC、SiC全布局

电子发烧友网报道(文/黄晶晶)12月17日晚间,格力电器发布相关视频,公布了碳化硅芯片工厂建设进展。格力电器董事长兼总裁董明珠表示,我们芯片成功啦。从自主研发、自主设计、自主制造、到整个全产业链已经完成。

业界 3 2024-12-23
来京东先人一步预约OPPO A5 Pro 下单享三年全保修

来京东先人一步预约OPPO A5 Pro 下单享三年全保修

  【btna科技消息】OPPO A5 Pro将于12月24日正式发布,这款被称为“耐用战神”的新机引发不少消费者关注。为满足用户第一时间到手新机的需求,京东携手OPPO打造“先人一步”计划,提供限量新品现货提前发货,最快发布会第二天就能到手新机,还可享三年全保 ...

数码 7 2024-12-23
智己汽车累计交付达10万辆 连续两月销量过万

智己汽车累计交付达10万辆 连续两月销量过万

  【btna科技消息】12月23日,智己汽车官方宣布达成了一项新的里程碑——累计交付量达10万辆。据BTNA了解,目前,智己汽车旗下共有四款新车,包括L7、LS7、L6以及LS6。  根据官方早前公布的数据,智己汽车在11月份实现了10007台的销量,无论是同比还是 ...

数码 3 2024-12-23
博主称iPhone 17信号有望赶上国产手机 外挂基带无了?

博主称iPhone 17信号有望赶上国产手机 外挂基带无了?

  【btna科技消息】12月23日,博主@智慧皮卡丘 表示,苹果iPhone外挂基带有所受制,所以信号不如国产手机,不过iPhone的自研基带已经提上日程了,明年发布的iPhone SE 4和iPhone 17很有希望。据此前消息,苹果为降低对高通的依赖,正自主研发5G基带。预 ...

数码 7 2024-12-23
卢伟冰:REDMI Turbo 4小旋风将首发天玑8400-Ultra

卢伟冰:REDMI Turbo 4小旋风将首发天玑8400-Ultra

  【btna科技消息】12月23日,联发科带来了全新的天玑8400。紧接着,卢伟冰宣布:REDMI携手MediaTek和ARM,共同打造出天玑8400-Ultra旗舰平台。这款芯片将由Turbo 4小旋风全球首发,采用罕有全大核架构,以超高能效重塑中高端性能格局。新机将于今天17 ...

数码 8 2024-12-23
世界显示产业创新发展大会举行 海信8K激光电视获创新成果奖

世界显示产业创新发展大会举行 海信8K激光电视获创新成果奖

  【btna科技消息】BTNA了解到,世界显示产业创新发展大会近日在成都举行,大会发布了世界显示产业创新发展大会创新成果——十大创新技术(产品)、十大创新应用。据悉,海信8K激光电视,凭借在全色激光光源模组、8K光学系统设计、光谱选择抗光屏等关键技 ...

数码 5 2024-12-23