您当前的位置: 首页 > 宏观 > > 内容页

世界看点:GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型

来源:程序员客栈 2023-04-25 09:54:20


(相关资料图)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。

GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/
上一篇 下一篇
x
推荐阅读 更多
世界看点:GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型

点蓝色字关注“机器学习算法工程师”设为星标,干货直达!自从DALL·E2之后,在图像生成方面扩散模型替代GA

2023-04-25
每日消息!中信证券:小米在机器人领域的加注将为整个行业带来诸多机遇

证券时报e公司讯,中信证券研报认为,4月21日,小米在北京投资设立北京小米机器人技术有限公司,持续加注在

2023-04-25
全球速看:断桥铝合金封阳台价格多少钱一平方米_为什么断桥铝封阳台价格相差这么大呢 断桥铝多少钱一平米 如何

1、断桥铝是目前做门窗最好一种材料,也是最多选择一种,隔热断桥铝合金门窗的突出优点是强度高、保温隔热

2023-04-25
焦点日报:骨质疏松患者运动要科学

许多被确诊患有骨质疏松症的患者都恐惧运动,认为运动会增加骨折的风险。事实上,这种担忧大可不必。规律及

2023-04-25
2023广州灵活就业人员最新社保缴费基数比例一览(表)

企业职工基本养老保险上限24930元,下限4588元;职工社会医疗保险7214元。具体缴费基数比例详见正文!社保网

2023-04-25
每日动态!ping端口通不通_ping端口

1、ping是ICMP协议,并没有指定通常所说的TCP UDP端口。2、Ping是Windows、Unix和Linu

2023-04-25
焦点速读:乐华公布上市后首份年报 艺人管理收入下滑27.5%

搜狐娱乐讯 4月24日,乐华娱乐公布了上市后的首份年报。年报显示,2022年乐华娱乐总收入为9 8亿元,较2021

2023-04-25
2022年巴中市收容救护野生动物1158只

2022年,巴中市共计收容救护野生动物1158只(头 条),其中哺乳类22头、鸟类60只、两栖爬行类1076条,涵盖黑麂

2023-04-25
每日关注!科大讯飞发布2022年报,“星火”认知大模型彰显长期主义理念

4月20日晚,科大讯飞(002230 SZ)发布2022年报及2023年一季报,2022年科大讯飞实现营业收入188 2亿元,同

2023-04-25
动态:点外卖竟然是警察来送餐_民警:外卖小哥被我抓了

原标题:点外卖竟然是警察来送餐?警察:外卖员被我抓了近日,北京一外卖小哥看路边一辆电动车电瓶不错,便

2023-04-25