年轻的母亲5在线火山引擎谭待:大模型的超低定价,来自对技术的信心

年轻的母亲5在线 2024-05-16 13:43:56 来源: 原创

第1 《妻子》在线观看免费韩剧巴黎男装周

第2 交换的日子2浙江 2023 年高考分数线公布,普通一段线 488,二段线 274,还有哪些信息值得关注?

第3 年轻的邻居保罗被交易至勇士t

第4 年轻的儿媳莫斯科街头出现俄装甲运兵车

第5 我的小后妈中文翻译邓稼先原子弹氢弹奖金各10元

第6 年轻的女医生中国电信广东地区崩了

第7 年轻儿媳妇存款被朋友看到了很不开心

第8 年轻的表妹纽卡斯尔接近签下 AC 米兰中场核心托纳利,转会费预计 7000 万欧,如何评价这笔转会交易?

第9 超级教师2免费版电视剧如何评价 2023.6.21 任天堂直面会,长达 40 分钟,有哪些值得关注的游戏或消息?

第10 单身妈妈韩剧电视剧免费观看董事长开私家车进金山岭长城被拒,于是将大门强拆了

  “降价的基本逻辑是,我们有信心用技术手段降低成本,市场也需要更低价的大模型。”

  5月15日,字节跳动豆包大模型在火山引擎原动力大会上正式发布。火山引擎总裁谭待在接受媒体采访时,谈到了大模型的定价策略。

  豆包大模型的超低价格引发行业震动。据悉,豆包主力模型的推理输入价格只有0.0008元/千Tokens,比行业便宜99.3%。对此,谭待坦言,“降价是用技术优化成本来实现的。如果只是补贴,用亏损换收入是不可持续的,火山引擎不会走这条路。”

  据介绍,大模型推理成本的优化,技术上有很多手段。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。

  其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样的底层算力用得更好,推理成本就会大大降低。

  谭待进一步解释说,豆包大模型平均每天处理1200亿Tokens文本、生成3000万张图片,这里有不同的负载,可以把不同任务混合在一起,互相错峰,通过智能调度把它们的利用率都跑得很高,就能极大地提升资源利用率,实现整体成本的优化。

  另外以字节内部业务为例,飞书的主要流量高峰在工作时间,抖音在下班后休闲时间的流量更高,这些不同业务的大模型推理,也能根据业务特点错峰使用,就可以降低成本。

  对于“大模型开始价格战”的说法,谭待认为,大模型市场仍在发展初期,远远没到激烈竞争的阶段。“池塘有多大,鱼就有多大,现在整个池塘还在培养的过程。”

  “一个人现在创业,如果要花1万块钱调用大模型,可能会觉得有点贵。我们把价格降到1%都不到,100块钱就能用起来,他的想法也就更容易尝试。”谭待表示,企业的AI转型充满不确定性,试错成本要尽量低,才能更快更多地实现大模型的应用落地,从而让整个行业受益。

推荐内容

精彩推荐

产品推荐

豆瓣8.7!四起罪案复杂交错,凶杀嫌疑人竟高达13个!悬疑英剧《伯特伦旅馆之谜》
¥
268.00
4.9分
十年UP主,七年公司,亏了还是赚了?
¥
1399.00
4.9分
鹿晗演唱会上不敢读的灯牌
¥
49.00
4.8分
瓦格纳叛乱?俄罗斯发生了什么
¥
1469.00
4.5分
披荆斩棘的哥哥
¥
198.00
4.9分
专家谈鸭脖争议:80% 概率为鼠头
¥
3299.00
4.9分

最新评论

天天健康
孙千评论赵丽颖说你跑我追| 洛子商恨顾九思的原因| 最牛逼的几位“二次元”大佬,你都认识谁| 莫斯科街头出现俄装甲运兵车