腾讯云TencentOS Server AI,助力荣耀打造高性能AI底座
2025-06-09 18:06:05爱云资讯928
随着生成式AI技术的爆发式增长,AI大模型开始渗透至手机领域,一线厂商已经把AI应用集成到各自最新的产品中,并且在以惊人的速度迭代。为了进一步提升大模型部署的效能,荣耀基于应用腾讯云TencentOS Server AI中提供的TACO-LLM加速模块部署DeepSeek-R1等开源大模型,并应用荣耀企业内部等场景,稳定性、可靠性、推理性能均大幅提升。
在推理平台场景中,荣耀侧重关注框架效能、稳定性、运行状态监控及应急预案等特性。使用TACO-LLM进行推理任务后,在DeepSeek-R1 满血版场景下,相对于荣耀原始线上业务性能,TTFT(首Token 延迟)P95 的响应时间最高降低6.25倍,吞吐提升2倍,端到端延迟降低100%。在社区最新版本sglang场景下,TTFT P95的响应时间最高降低12.5倍。
腾讯云TACO-LLM之所以能够对荣耀业务的性能提升如此明显,主要的得益于多种投机采样技术核心能力:大语言模型的自回归解码属性无法充分利用GPU的算力,计算效率不高,解码成本高昂。而TACO-LLM通过投机采样的方式,从根本上解决了计算密度的问题,让真正部署的大模型实现“并行”解码,从而大幅提高解码效率。
荣耀大数据平台部相关负责人表示:“荣耀使用腾讯云 TACO-LLM 打造高性能的AI底座,部署稳定可靠,提升了性能加速体验。”
TencentOS Server AI加速版中提供的TACO-LLM加速模块,针对企业级AI模型私有化部署挑战,对大语言模型业务进行了专门的内核运行优化,用于提高大语言模型的推理效能,提供兼顾高吞吐和低延时的优化方案,能够“无缝”整合到现有的大模型部署方案中。
相关文章
- 腾讯云副总裁王麒:全链路AI技术帮助企业拥抱大模型新机遇
- 腾讯云青岛峰会:已服务2万家山东企业,助力山东打造数字经济发展新高地
- 腾讯云TencentOS Server AI,助力荣耀打造高性能AI底座
- 年度攻防演练专题 | 历经挑战赛锤炼,腾讯云安全RASP2.0版本即将上线!
- PPIO与腾讯云达成战略合作,共同推动AI基础设施升级
- 腾讯云推出云开发AI Toolkit,国内首个面向智能编程的后端服务
- 腾讯云安全发布云上红蓝对抗防护神器,破解重保盲区与溯源难题
- 腾讯云天御发布海外交易风控解决方案,AI+情报双擎护航企业全球化安全
- 腾讯云TVP走进泸州老窖,解码AI数智未来
- 腾讯云入选Gartner®《如何建设实施网络检测与响应》报告全球代表厂商
- 印象笔记与腾讯云战略合作升级,推动AI普惠,拓展全球布局
- 海亮科技集团与腾讯云达成战略合作 共筑AI教育新生态
- 2天开发一款复杂应用,腾讯云代码助手推动软件工程进入AI驱动时代
- 腾讯云智算全新升级,相关技术能力刚获DeepSeek公开点赞
- 腾讯云吴运声:加速AI原生应用落地,让技术创新转化为实际生产力
- 腾讯云副总裁李学朝:智能体驱动“AI+营销”迈入全链路智能时代