zhuanlan.zhihu.com

情比金贱

IDEA研究院认知计算与自然语言研究中心（简称IDEA研究院CCNL）开源了首个中文版本Stable Diffusion AIGC模型——太乙，让中文世界得以拥有具备中国文化内核的AIGC模型，未来更好地助力中国AIGC文化产业数字化转型的创新发展。
（以下文章来自于机器之心）
生成内容一直被视为AI领域中最具有挑战性的能力，最近大火的AI绘画背后，是Stable Diffusion模型的开源，催生了众多AI绘画的应用，得益于Stability AI的开源精神，这一创变推动了整个以英文为主的下游文生图生态的蓬勃发展。
然而在国内，目前大部分团队主要是基于翻译API+英文Stable Diffusion模型进行开发，但由于中英文之间存在文化差异，这种模型遇到中文独特的叙事和表达时，很难给出正确匹配的图片内容。IDEA研究院CCNL开源了第一个中文版本的Stable Diffusion模型“太乙Stable Diffusion“，让中文的世界真正拥有具备中国文化内核的AIGC模型。

• 太乙Stable Diffusion纯中文版本：https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1
  
• 太乙Stable Diffusion中英双语版本：https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1
  

中文运笔，意境浮现



君不见黄河之水天上来，唯美，油画



滔滔江水，连绵不绝，唯美，插画



飞流直下三千尺，唯美，插画



长城，清晨，朦胧，唯美，插画



梦回江南，中国古代小镇，唯美，插画



云南苗家古寨，原始森林，鸟语花香，唯美，插画



中国的未来城市，科幻插画

中文vs英文的图片生成







中文指导的特定风格生成



小桥流水人家，水彩（Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1）



小桥流水人家，Van Gogh style（Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1）

太乙系列文本生成图像模型技术揭秘
第一个开源中文CLIP模型
2022年7月，IDEA研究院CCNL开源了第一个中文CLIP模型，目前已经有4个版本。

• Taiyi-CLIP-Roberta-102M-Chinese：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-102M-Chinese
  
• Taiyi-CLIP-Roberta-large-326M-Chinese：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese
  
• Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese
  
• Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese：https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese
  

以Taiyi-CLIP-Roberta-large-326M-Chinese为例，IDEA研究院CCNL用中文语言模型替换了开源的英文CLIP中语言编码器，在训练过程中冻结了视觉编码器并且只微调这个中文语言模型，在1亿级别的中文数据上训练了24个 epoch，一共过了约30亿中文图文数据，得到了这个包含图片信息的中文表征语言模型，为后续训练中Diffusion相关的模型奠定了重要的基础。
第一个开源中文Disco Diffusion模型
2022年10月，IDEA研究院CCNL开源了第一个中文Disco Diffusion模型Taiyi-Diffusion-532M-Nature-Chinese，该模型由Katherine Crowson's的无条件扩散模型在自然风景图上微调而来。结合Taiyi-CLIP-Roberta-large-326M-Chinese可以实现中文生成各种风格的风景图。



东临碣石，以观沧海，水何澹澹，山岛竦峙

第一个开源中文Stable Diffusion模型
2022年11月，IDEA研究院CCNL开源了第一个中文Stable Diffusion的模型和中英双语Stable Diffusion模型。
太乙Stable Diffusion纯中文版本（Taiyi-Stable-Diffusion-1B-Chinese-v0.1）
该模型利用已经开源的太乙CLIP模型(Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese)替换了英文Stable-Diffusion-v1-4中的语言编码器，因为太乙CLIP模型已经具备了很强的中文图文概念，所以直接冻结英文Stable Diffusion的生成模型部分，在亿级别的高质量数据上微调语言编码器，调整学习率等超参数，将太乙CLIP模型理解的中文图文概念与Stable Diffusion生成能力对齐。
太乙Stable Diffusion中英双语版本（Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1）
不同于太乙Stable Diffusion纯中文版本，这个模型希望在支持中文的情况下，同时能保留Stable-Diffusion-v1-4的英文生成能力。由于Stable-Diffusion-v1-4原有语言模型不具备太乙CLIP模型强大的中文图文概念，IDEA研究院CCNL希望在它的基础上增加了中文数据训练，这里采取了两阶段的训练。第一阶段也是冻住Stable-Diffusion-v1-4的生成模型部分，在亿级别的高质量数据上微调语言编码器，调整学习率等超参数，训练语言模型中文部分的表征。第二阶段放开Stable-Diffusion-v1-4的生成模型部分，增强中文引导图片生成的能力，目前训练中的一个checkpoint已取得不错的效果并进行了开源。
使用方法
如果需要进行古诗场景、中文概念生成，建议尝试中文版本Taiyi-Stable-Diffusion-1B-Chinese-v0.1。如果需要一些通用场景和概念的生成，尤其是有中文混合英文需要，建议尝试中英双语版本Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1。



中文版本



中英双语版本

太乙：中文Stable Diffusion的未来
目前在庞大的中国市场中，有将近10亿的文化产业正在被AIGC冲击并快速创新发展，也有更多的新机遇在裂变中产生。
由于此前的AIGC模型还无法和特殊的中国文化背景相结合，致力于成为中文认知智能的基础设施的IDEA研究院CCNL，希望通过推出太乙模型，助力加快在AIGC全球市场化中中国的文化产业数字化转型的创新发展，促进各个相关行业的升级。而太乙所在的封神榜预训练模型开源体系，已经开源80个模型，覆盖AIGC、自然语言理解、受控文本生成等多个领域，成为中文最大的预训练模型开源体系。基于封神榜模型的GTS模型生产平台，自动生产的1亿参数模型，击败众多百亿千亿参数模型，进入FewCLUE榜单前三名，机器自动化生成模型的能力达到了算法专家水平，AI 生产AI的时代正在到来。
IDEA研究院CCNL认为，在AIGC中，人的作用是更为重要的，生成式AI应悄无声息地融入大众生活中并更好地帮助人类拓展想象力边界。所以，与AI互动生产的内容，是帮助AIGC走向下一个生产力阶段的关键。除了基础模型和基础算法的研究之外，团队还在研究更精准的文本生成和基于中文文本的交互式图片编辑。以太乙为核心的AIGC模型会持续更新和升级，敬请期待。
欢迎对太乙感兴趣的小伙伴们，一起共建中文AIGC的新世界。（可添加封神榜团队交流微信：fengshenbang-lm）
<hr/>封神榜相关链接
1.封神榜总论文（中英双语）：https://arxiv.org/abs/2209.02970
2.封神榜主页：https://github.com/IDEA-CCNL/Fengshenbang-LM
3.huggingface地址：https://huggingface.co/IDEA-CCNL
4.封神榜doc：https://fengshenbang-doc.readthedocs.io/zh/latest/
<hr/>关于 IDEA研究院CCNL
IDEA研究院认知计算与自然语言研究中心（Cognitive Computing and Natural Language,CCNL）致力于推动预训练大模型为代表的新一代认知与自然语言基础前沿技术的进一步发展，力图解决大模型实际落地过程中的全部技术问题，构建对话机器人、知识抽取、知识体系等自然语言领域的新的技术架构，打造认知人工智能的新技术范式。
欢迎点击链接https://idea.zhiye.com/，加入IDEA研究院！