援用超 85000 次的经典论文GAN 获 NeurIPS2024 时期磨真金不怕火奖后，它的发祥和背后故事也被抛了出来。

要从Yoshua Bengio 实践室的一次头脑风暴提及。

Bengio 召集实践室成员，建议了一个富足挑战性的遐想：

西席一个笃定性的生成网罗 g，该网罗仅在输入 z 中包含赶紧噪声。这个网罗的输出 x=g ( z ) 应该是从某个散布 p ( x ) 中抽取的样本。输出不错是任何阵势：图像、音频、文本。

耿介世东说念主齐无脉络之时，一个在那时看似滑稽且简直无真谛的想法揭开了 GAN 的序幕：

如果能有另一个神经网罗充任判别器，会若何？

作家之一 Sherjil Ozair，一边论说着这段经验，一边还披露曾有 DeepMind 接洽员向他开打趣，说他可能还是完成了最伟大的职责，不错告成退休了。

但他合计事实并非如斯。

CNN 嗅觉像是临了的发明，但并不是。

GAN 嗅觉像是临了的发明，但也不是。

LSTM、ResNet、DQN、AlphaGo、AlphaZero、MuZero 都并非闭幕。

Transformer 和大谈话模子，亦不是临了的发明。

这项出自 Yoshua Bengio、lan Goodfellow 等一众大佬，援用特出 85000 次，被 NeurIPS2024 官方评价为"生成建模的基础部分之一，在昔时 10 年中引发了许多接洽发达"的接洽。

究竟是如何真金不怕火成的？

Sherjil Ozair 论说背后故事

以下是 Sherjil Ozair 的好意思满自述：

相等闲适听到 GAN（生成抵御网罗）在 2024 年 NeurIPS 大会上获取时期磨真金不怕火奖。

NeurIPS 时期磨真金不怕火奖是授予那些在十年时期里摄取住考验的论文。

"我"花了一些时期记忆 GAN 是如何产生的以及昔时十年中东说念主工智能的发展。

2012 年头，当"我"照旧印度理工学院德里分校的本科生时，"我"未必发现了 Geoffrey Hinton 在 Coursera 上的一门深度学习课程。

深度学习那时是机器学习中一个旯旮化且小众的分支范畴，它喜悦能结束更多的"端到端"学习，况兼更接近东说念主类大脑的职责面貌。

这门课相等精彩。它不仅很好地讲明了深度学习的旨趣，还充满了 Hinton 独到的英式幽默和非传统想维。

比如，他建议"咱们"这样可视化高维空间：

要处理 14 维空间中的超平面，瞎想一个 3 维空间，然后高声对我方说" 14 "，每个东说念主都是这样作念。

但请记着，从 13 维到 14 维的转动，其增多的复杂性与从 2 维到 3 维的转动相同大。

出于酷爱兴隆地想学习更多学问，"我"开动仔细接洽通盘能找到的贵寓。

那时主淌若一些特出接洽者发表的学术论文，比如Yoshua Bengio，其中许多都保存在他实践室的网站上。

2012 年，Quora 相等火爆，Yoshua 平方在 Quora 上回答关系深度学习的问题。

"我"诚笃地感谢他匡助像"我"这样的本科生结实深度学习。"我"通过 Quora 琢磨他，抒发感激。

令"我"相等惊喜的是，"我"不仅收到了复兴，还收到了一份他实践室的实习邀请。

这是一次幸运的再见，而那时的"我"对此次疏导和行将张开的旅程的紧迫性和影响力还唯有少量点朦胧的意志。

"我"忠诚地感激 Yoshua Bengio 为这个天下和为"我"所作念的一切。

"我"通过了口试获取了实习契机，2014 年夏天，将在 Yoshua 的 LISA 实践室实习。

本想 2013 年就实习的，但印度理工学院的轨制要修业生必须在第三学年的暑假在他们招供的公司实习。

2014 年 5 月，"我"飞抵蒙特利尔，来到了实践室。

刚见到 Yoshua，他就立马把"我"拉进了一个房间，内部坐着的还有 Ian Goodfellow 和 Aaron Courville。

Yoshua 不息讲明着他最近一直在想考的一个新想法：

遐想构建一个笃定性的生成网罗 g，只在输入 z 中包含赶紧噪声。这个网罗的输出 x=g ( z ) 应该是来自某个散布 p ( x ) 的样本，不错是任何阵势：图像、音频或文本。

他强调这即是"咱们"需要西席的概念。

但若何西席呢？在这种"隐式"网罗中，概率 p ( x ) 并莫得明确抒发。

他建议应该对生成器的输出（生因素布）和某个样本数据集（不错是图像、音频等）进行"双样本散布疋配"。

但如何进行这种散布疋配仍然不解确。

行为一个年青机动的本科生，"我"建议了矩匹配，但"咱们"都知说念矩匹配可能无法应酬高维数据。小组里也琢磨了其他想法，也都嗅觉不够有劝服力。

不外，Yoshua 对西席一个笃定性的、浪费噪声并产生样本的生成神经网罗的愿景和温暖令东说念主印象真切且富足启发性。

团队决定擅自不息想考这个问题。

在 Les Trois Brasseurs 餐厅的一次实践室聚餐中，Ian Goodfellow 转眼猜度了一个在那时看似滑稽且简直毫无真谛的主意：

如果让另一个神经网罗来充任判别器会若何？

这是一个开发前沿的手艺。

那时，神经网罗的西席还畸形"原始"。平方作念法是：

修复一个主神经网罗，输入数据，得到一个推测落幕，对其愚弄一个数学死亡函数，然后使用梯度下落来优化这个网罗。

而 Ian 的想端正把死亡函数自身遐想成一个可学习的神经网罗。不是优化一个固定的数学死亡，而是用另一个"判别器"神经网罗来提供死亡值和梯度，用于西席"生成器"神经网罗。

这个想法当然招致质疑。通盘系统会不会崩溃到退化输出？判别器从何而来？处处都是先有鸡照旧先有蛋的逆境。

但 Ian 对此也早有腹案。他建议让判别器和生成器在一个零和博弈中抵御：

生成器试图产生与真实数据"难以分歧"的输出，而判别器则要设法分辨看到的是生成样本照旧真实样本。

也许这能行？第二天，实践室通盘成员都收到了一封邮件。

在一个充斥着编程和运行实践的永夜，Ian 见效让第一个生成抵御网罗运行起来。

这些是在 MNIST 数据集上产生的第一批样本。

那时"我"正在接洽雷同的东西，用非神经网罗判别器进行西席，但效用远不足预期。

于是"我"决定转而匡助 Ian 接洽 GAN。距离 NeurIPS 2014 的提交死心日历唯有一周了。"咱们"决定负重致远，应该能赶上提交一篇论文。

在接下来的几天里，"咱们"设置了评估方法来与现存的生成模子进行比拟，尝试了不同的架构、噪声函数和博弈公式。

Jean、Yoshua 和"我"发现 GAN 博弈是拘谨的，况兼在均衡现象下最小化了 Jensen-Shannon 散度。

"咱们"坚捏了下来，在临了一周完成了通盘职责，并提交了一篇论文到 NeurIPS。

GAN 被摄取为海报展示论文（posted presentation）。

"我"铭刻固然全球都很兴隆，但也都知说念 GAN 的西席动态相等不结实。大部分配合者开动接洽其它模子架构，试图责罚在 GAN 中发现的问题。

GAN 在 12 月份进行了展示，却基本上莫得引起留意。

几个月后，2015 年 8 月，Alec Radford开动发布他一直在接洽的卷积 GAN 的样本。

没错，即是阿谁简直参与了 OpenAI 通盘首要冒失的 Alec Radford。2015 年，他正在接洽卷积神经网罗、批量归一化和 GAN。

"我"无法系数展现 DCGAN 之后 GAN 引发的远大关注。

但"我"想强调的是，GAN 的演进经由被哀感顽艳地用来象征 AI 举座的逾越。

这张展示图像生成惊东说念主发展的图片还是落伍了，因为当今的图像生成模子还是能生成百万像素级的图像，以致不错生成视频。

至于"我"个东说念主的故事，GAN 行为"我"的第一篇学术论文既是福亦然祸。一位 DeepMind 的接洽员曾开打趣说，"我"可能还是不错退休了，因为"我"可能还是完成了我方最伟大的职责。

然则"合计历史还是闭幕"可能是 AI 范畴最大的转折。"咱们"老是倾向于合计"即是这个了，这是临了的发明"。但事实从来都不是这样。

CNN 也曾嗅觉像是临了的发明，但并不是。

GAN 也曾嗅觉像是临了的发明，但并不是。

LSTM 也曾嗅觉像是临了的发明，但并不是。

ResNets、DQN、AlphaGo、AlphaZero、MuZero 都不是临了的谜底。

回过火来看，这些想法老是显得很滑稽。然则想想当今，Transformer 和大谈话模子被合计是临了的发明。

但它们也不是。

"我"最近离开了前沿 AI 实践室的圈子，开动创办一家公司来构建一些果然令东说念主咋舌的东西。"我"很快会共享更多关系信息。敬请关注。

感谢 NeurIPS Conference 授予 GAN 时期磨真金不怕火奖，也感谢这些抵御者们：Ian Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Aaron Courville、Yoshua Bengio

也为 Seq2Seq 论文作家们暗示道贺。

Ian Goodfellow 开麦

Mehdi Mirza 将这段经验共享出来后勾引到不少网友围不雅，网友们看得风趣勃勃：

没猜度论文一周就写出来了。

好一段精彩的历史记忆！在" Attention is all you need "之前，GAN 才是主流。

GAN 论文一作 Ian Goodfellow 也心绪开麦：

如果你是阿谁时间的亲历者，值得一读以怀旧；如果你不是，也能通过这些笔墨一窥当年的情形。

对于 GAN 论文的更多细节，不错点击这里检察：。

参考聚拢：https://x.com/sherjilozair/status/1864013580624113817

—  完  —

点这里� � 关注我，铭刻标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿发达日日相见 ~