安霸发布 N1 系列生成式 AI 芯片,支持前端设备运行本地 LLM 应用
2024/01/11 13:46AI云资讯11614
单颗SoC 支持 1 至 340 亿参数的多模态大模型(Multi-Modal LLM)推理,实现前端低功耗生成式 AI。
美国加利福尼亚州圣克拉拉市,2024年1月8日-Ambarella (下称“安霸”,专注AI视觉感知的半导体公司,纳斯达克股票代码:AMBA)于当天宣布,在2024国际消费电子展(CES)期间,展出在其新款N1系列SoC上运行多模态大模型(Multi-Modal LLM),其每次推理的功耗显著低于当前市场的通用GPU解决方案。生成式AI是为了处理大规模数据集而最早应用于服务器上的变革性技术,而安霸的目标是将生成式AI部署于终端设备和本地硬件上,从而将其广泛应用于视频安防分析、机器人以及众多工业领域。

安霸将在中高端SoC上提供已优化的生成式AI处理。这些AI SoC包含了功耗低于5瓦的CV72芯片,以及最新的可应用于服务器端,功耗低于50瓦的N1芯片。与GPU及其他AI加速器相比,安霸提供了完整的SoC解决方案,每生成一个token的能效比最高可提高3倍,并可快捷、低成本地部署在终端产品中。
安霸首席技术官兼联合创始人Les Kohn表示:“生成式AI在我们的目标市场上实现了突破,之前无法想象的功能得以实现。使用我们的N1系列SoC来进行多模态大模型推理,将使所有的前端设备变得更智能,更低功耗,和更低成本。”
市场研究公司Omdia高级计算首席分析师Alexander Harrowell表示:“在未来18个月内,几乎所有设备前端应用都将被生成式AI增强。把生成式AI的计算转移到设备前端的要点,就在于每瓦的AI性能,以及它与前端生态系统其余部分的集成,而不仅仅是原始数据的吞吐量。”
所有安霸的AI SoC均可搭配全新的Cooper™开发平台。此外,为了缩短客户新产品上市的时间,安霸已预先移植和优化了Llama-2等流行的大语言模型。其在N1芯片上运行的大语言和视觉助手LLava模型,可对多达32个摄像头同时进行多模态视觉分析。这些经过预训练和调优的模型可从Cooper Model Garden下载。
在现实世界的众多应用里,除了语言,视觉输入也是一种关键模式。安霸SoC的特有架构非常适合以超低功耗同时运行视频处理和AI计算。安霸的AI SoC并不是单一的AI加速器,它不仅能够高效处理多模态大模型,还能同时执行各种系统功能。
生成式AI将成为计算机视觉处理中跨越式的新技术,它可将上下文学习和场景理解应用于各种设备,从而涵盖安防设施、自主机器人以及众多工业应用。基于安霸AI芯片的设备端通过运行大语言模型和多模态处理可实现以下功能:安防视频的上下文智能搜索、通过自然语言命令控制的机器人、以及多才多艺的AI助手,比如代码、文本和图像的生成等。
这些依赖摄像头和自然语言理解的系统,大部分将受益于设备前端的生成式AI处理,其处理速度得以提高,隐私保护得到加强,并且总成本也会降低。安霸解决方案支持的本地处理也非常适合垂直领域大语言模型,这些大语言模型通常需要针对每个具体应用场景进行调整;而传统的集中式服务器方案则是使用更大、功耗更高的大语言模型来满足不同用例的要求。
基于安霸最初为自动驾驶开发的CV3-HD架构,N1系列SoC对总算力资源进行了针对性的优化,从而以超极低功耗运行多模态大模型。例如,N1 SoC在单流模式下以低于50瓦的功耗运行Llama2-13B,每秒可推理25个token。N1解决方案自带移植好的大模型,使系统整合更容易,因此它可快速帮助OEM厂商部署生成式AI,特别是要求低功耗的各种应用,比如自带本地应用的AI智能盒子、送货机器人等,不一而足。
本周,安霸将在CES展会期间持续演示N1 SoC及其多模态大模型功能。
相关文章
- 汇专超声机床实现无氧铜微通道液冷板高精加工 助力AI芯片散热
- 全球首款RISC-V数据流物理AI芯片高光D35正式量产 数贸会首发首秀引关注
- 安谋科技荣获“边缘AI芯片领军企业奖”,全场景AI技术获行业认可
- 台积电高管重磅宣布:CoWoS封装AI芯片良率确认达98%
- 六岳微亮相2026苏州智博会,工控AI芯片迎来“场景定义”新玩家
- WAIC 2026 | 科华数据算力基础设施与AI芯片协同发展论坛圆满落幕!
- 科华数据与多家主流AI芯片厂商携手亮相2026WAIC,全面展示人工智能时代的科华实力!
- Anthropic将采用三星2纳米芯片制造工艺技术代工AI芯片
- 苹果向博通投入300亿美元,用于自研AI芯片Baltra ASIC及无线和射频组件
- 韩国AI芯片企业FuriosaAI下一代AI加速器采用2nm芯粒架构,支持HBM4/E内存
- AI芯片散热告急!三安光电解锁先进封装“降温密码“
- AI芯片竞争战火升级,特斯拉/Meta/微美全息自研硬核实力发起行业冲锋革命!
- OpenAI新模型发布,Meta/微美全息以AI芯片+模型布局加速行业创新进程
- 中昊芯英“刹那®”TPU AI芯片Day0适配智谱GLM-5
- OpenAI首次采用Cerebras的AI芯片运行Codex模型,成功实现了每秒1000次事务处理量
- 英伟达已瞄准台积电1.6nm产能,特斯拉/微美全息加速扩展AI芯片集群生态!
AI企业
更多>>AI硬件
更多>>AI产业
更多>>AI技术
更多>>- 云知声 U2-Flash-1118 全新升级:打造国产第一梯队Flash 级别模型中的性价比标杆
- 可灵AI发布全新Kling Image 4.0 AA榜单排名超越Nano Banana
- 探索具身智能新路径,商汤科技实测 GPT-6-Astra
- 华为×华东师大联合研发时序预测基础模型,登顶国际权威时序测评双榜单
- 阶跃这次够狠:AA 全球开源前二,价格打到 Claude 的 1/8
- 科大讯飞发布Spark-Audio-1.0-Preview,全国产语音基座大模型实现从“听清”到“听懂”
- 全球最强开源模型 Kimi K3 发布,参数规模 3 万亿,真的是强!
- 范式变革!东软发布AI原生软件工程白皮书,重构软件产业底层逻辑









