腾讯混元文生图开源模型推出小显存版本,仅需6G显存即可运行
2024-07-06 15:07:18爱云资讯阅读量:68,127
7月4日,腾讯混元文生图大模型(混元DiT)宣布开源小显存版本,仅需6G显存即可运行,对使用个人电脑本地部署的开发者十分友好,该版本与LoRA、ControlNet等插件,都已适配至Diffusers库;并新增对Kohya图形化界面的支持,让开发者可以低门槛地训练个性化LoRA模型;同时,混元DiT模型升级至1.2版本,在图片质感与构图方面均有所提升。
模型易用性再提升,个人电脑可轻松运行
基于DiT架构的文生图模型生成图片质感更佳,但对显存的要求却非常高,让许多开发者望而却步。这也是新版本Stable Diffusion模型无法快速普及的原因之一。
应广大开发者的需求,混元DiT推出小显存版本,最低仅需6G显存即可运行优化推理框架,对使用个人电脑本地部署的开发者非常友好。经过与Hugging Face合作,小显存版本、LoRA与ControlNet插件,都已经适配到Diffusers库中。开发者无需下载原始代码,仅用简单的三行代码仅可调用,大大简化了使用成本。
同时,混元DiT宣布接入Kohya,让开发者可以低门槛地训练专属LoRA模型。
Kohya是一个开源的、轻量化模型微调训练服务,提供了图形化的用户界面,被广泛用于扩散模型类文生图模型的训练。用户可以通过图形化界面,完成模型的全参精调及LoRA训练,无需涉及到代码层面的细节。训练好的模型符合Kohya生态架构,可以低成本与 WebUI 等推理界面结合,实现一整套“训练-生图”工作流。
此外,腾讯宣布混元文生图打标模型”混元Captioner“正式对外开源。该模型支持中英文双语,针对文生图场景进行专门优化,可帮助开发者快速制作高质量的文生图数据集。
相比起业界的开源打标模型,混元Captioner模型能更好的理解与表达中文语义,输出的图片描述更为结构化、完整和准确,并能精准识别出常见知名人物与地标。模型还支持开发者自行补充和导入个性化的背景知识。
混元Captioner模型开源之后,全球的文生图研究者、数据标注人员,均可使用混元Captioner高效地提升自身图像描述质量,生成更全面、更准确的图片描述,提升模型效果。混元Captioner生成的数据集不仅能用于训练基于混元DiT的模型,亦可用于其他视觉模型训练。
众多开发者关注,成最受欢迎国产DiT开源模型
在提升模型易用性的同时,腾讯宣布混元文生图打标模型”混元Captioner“正式对外开源。该模型支持中英文双语,针对文生图场景进行专门优化,可帮助开发者快速制作高质量的文生图数据集。
相比起业界的开源打标模型,混元Captioner模型能更好的理解与表达中文语义,输出的图片描述更为结构化、完整和准确,并能精准识别出常见知名人物与地标。模型还支持开发者自行补充和导入个性化的背景知识。
作为首个中文原生DiT开源模型,混元DiT自全面开源以来,一直持续建设生态。6月,混元DiT发布的专属加速库,可将推理效率进一步提升,生图时间缩短75%;并进一步开源了推理代码;发布LoRA和ControlNet等插件。于此同时,模型易用性大幅提升,用户可以通过Hugging Face Diffusers快讯调用混元DiT模型及其插件,或基于Kohya和ComfyUI等图形化界面训练与使用混元DiT。
目前,在众多开发者的支持下,混元DiT发布不到2个月,Github Star数已经超过2.6k,成为最受欢迎的国产DiT开源模型。
相关文章
- 育碧回应可能被腾讯收购的传闻:将在适当的时候告知市场
- 模型对抗时代,腾讯智能风控解决方案助力金融企业业务安全增长
- 腾讯里约荣获2024中国网安优秀创新成果大赛优胜奖
- 走进灯塔工厂,腾讯云携手业界专家共筑AI智造未来
- 腾讯钟翔平:以数字地图技术,驱动产业新生态
- 腾讯安全攻击面管理、嵌入式安全审计平台两大产品荣膺网络安全优秀创新成果优胜奖
- 腾讯音乐与东风汽车深化合作,开启座舱AI音乐新时代
- 东风汽车与腾讯云签署战略协议,共建车云一体智能化创新生态
- 钛动科技助力新爆款《暗区突围》破圈,见证腾讯游戏出海“新范式”
- 深化合作!Tapestry再次携手腾讯智慧零售探索技术新突破
- 腾讯音乐亮相2024华为全联接大会,带来自研MuseLight大模型加速解决方案
- 乐视与腾讯云达成战略合作为高清影音视频生态转型“上云”
- 2024腾讯云云南融合创新产品研讨会:持续投入助力产业数字化升级
- 2024北京互联网大会|拥抱AI+,腾讯云助力运营商打造产业升级新引擎
- 人工智能核心产业规模达6000亿,腾讯/微美全息抢先布局全力构筑AI底座基石
- 深圳几米物联与腾讯云开启合作,加速创新升级
人工智能技术
更多>>人工智能公司
更多>>- 小马智行已完成D轮,中阿&五源&卓源亚洲等持续追加
- 智能网联汽车技术发展重塑价值链与产业链,芯驰科技携手全球伙伴协同创新
- Google Cloud北亚区AI产品总负责人确认出席钛动科技AI产品发布会
- Meta、零一万物、沐瞳科技、Markable.AI、非凡产研强势加盟钛动科技年度峰会
- Meta商业技术负责人出席“2024中国企业出海高质量发展创新大会暨钛动科技秋季AI产品发布会”
- 零一万物联合创始人谷雪梅重磅出席钛动科技AI产品发布会,拥抱AI 2.0时代全新发展机遇
- 镭神智能LXK12-B三向叉式无人叉车:窄通道密集仓储,高位堆垛新选择
- 扬帆出海!九章云极DataCanvas公司惊艳亮相迪拜GITEX Global 2024