中科大家长论坛

 找回密码
 加入论坛

QQ登录

只需一步,快速开始

查看: 3806|回复: 7
打印 上一主题 下一主题

[转帖] 中国科大在生成对抗网络的模式崩溃机理研究取得重要突破

[复制链接]
跳转到指定楼层
1#
闲庭漫步 发表于 2024-2-26 18:21:25 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
中国科大在生成对抗网络的模式崩溃机理研究取得重要突破

中国科学技术大学九韶团队研究了模式崩溃发生的根本机理,基于数学理论分析提出了一种新方法定量检测和解决生成对抗网络(GANs)中的模式崩溃问题。该成果以“DynGAN: Solving Mode Collapse in GANs with Dynamic Clustering”为题发表在国际知名学术期刊IEEE Transactionson Pattern Analysis and Machine Intelligence。

图1:什么是模式崩溃现象。

(注:图截取自文献:Goodfellow, Ian. "NIPS 2016 tutorial: Generative adversarial networks." arXiv preprint arXiv:1701.00160 (2016).)

生成对抗网络(GAN)是广泛使用的生成模型,通过学习真实样本的分布用于合成复杂逼真的数据。然而,模式崩溃(mode collapse)是生成对抗网络面临的一个重要挑战,即生成样本的多样性明显低于真实样本的多样性,这对进一步应用造成了困扰。由于生成对抗网络及其训练过程的复杂性,涉及多种可能的因素和环节,一直无法明确究竟是何种机理导致模式崩溃的发生。

图2:模式崩溃发生的根本机理。

经过深入研究,研究团队发现了生成对抗网络产生模式崩溃的根本机理。理论分析表明,当真实数据存在多个模式时,生成器损失函数关于其参数是非凸的。具体地,导致生成分布仅覆盖真实分布的部分模式的参数,是生成器损失函数的局部极小点。

图3:解决模式崩溃的新方法。

为了解决模式崩溃问题,我们提出了一个统一的框架,称为动态生成对抗网络(Dynamic GAN,DynGAN)。该方法通过对可观察的判别器输出设置相应阈值,检测出生成器无法生成的样本(崩溃样本),根据这些崩溃样本划分训练集,然后在这些划分上训练动态条件的生成模型。

图4:DynGAN在合成数据集上的表现。

图5:DynGAN在现实世界数据集上的效果。

研究结果理论确保了所提新方法DynGAN的渐进式模式覆盖。合成数据集和现实世界数据集的实验表明,DynGAN在克服模式崩溃方面超过了现有GAN及其变体。该研究工作不仅推进了生成对抗网络的理论研究,也为完善生成模型的模式覆盖提供了重要的实现手段。

中国科学技术大学罗翌新博士、杨周旺教授分别是该工作的第一作者和通讯作者。本项研究获得了国家自然科学基金委重大研究计划、科技部国家重点研究计划“数学和应用研究”重点专项、中国科学院战略性先导科技专项、安徽省重大科技攻关专项等基金项目的支持。

论文链接:[backcolor=transparent !important]https://doi.org/10.1109/TPAMI.2024.3367532

Yixin Luo,Zhouwang Yang*. DynGAN: Solving Mode Collapse in GANs with Dynamic Clustering.IEEE Transactions on Pattern Analysis and Machine Intelligence,p1-12, 20 February 2024.


(数学科学学院、科研部)




评分

4

查看全部评分

分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 分享分享 分享淘帖 支持支持 反对反对
回复

使用道具 举报

8#
大路 发表于 2024-3-2 17:30:04 | 只看该作者
成果显著

评分

1

查看全部评分

回复 支持 反对

使用道具 举报

7#
 楼主| 闲庭漫步 发表于 2024-3-2 17:25:47 | 只看该作者
回复 支持 反对

使用道具 举报

6#
 楼主| 闲庭漫步 发表于 2024-3-2 17:25:03 | 只看该作者
开口便笑 发表于 2024-2-29 21:12
你的帖子已被中科大家长论坛微信公众平台采用,谢谢!

笑编辛苦了
回复 支持 反对

使用道具 举报

5#
 楼主| 闲庭漫步 发表于 2024-3-2 17:24:37 | 只看该作者
回复 支持 反对

使用道具 举报

4#
自动套料 发表于 2024-3-1 21:37:11 | 只看该作者
回复 支持 反对

使用道具 举报

3#
开口便笑 发表于 2024-2-29 21:12:11 | 只看该作者

你的帖子已被中科大家长论坛微信公众平台采用,谢谢!

评分

1

查看全部评分

回复 支持 反对

使用道具 举报

2#
菓菓 发表于 2024-2-29 16:24:01 | 只看该作者
谢谢前辈分享

评分

1

查看全部评分

回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 加入论坛

本版积分规则

渝ICP备19009968号|公安备案号50010502000023|手机版|中科大家长网

GMT+8, 2024-11-1 07:55 , Processed in 2.217675 second(s), 27 queries .

Powered by Discuz! X3.4

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表