Chameleon：混合模态early-fusion基础模型
多模态基础模型通常利用特定的编码器或解码器独立的对不同模态建模。然而，这种方式限制了整合模态之间信息的能力，以及生成多模态文本的能力。Chameleon是一系列混合模态基础模型，能够生成和推理文本-图片交织的内容，即该模型以端到端的统一架构处理混合模态数据。
分类 基础模型 下的文章
哪种训练方法导致GANs真实的拟合 (二)？
在上一篇哪种训练方法导致GANs真实的拟合(一)？中，表示了对于低维流形数据，GAN的训练往往无法拟合到Nash均衡点，这是训练不稳定性造成的。接下来，这篇文章将分析不稳定性的来源，且提出降低不稳定性的方法。
哪种训练方法导致GANs真实的拟合 (一)？
GANs属于强有力的隐变量模型，可以用于学习复杂的真实世界数据的分布。然而，实践中发现，GANs很难训练，且观测到基于梯度下降方法的GAN优化无法拟合。因此，研究人员对GANs的训练，提出了更好的训练算法。同时，这些算法拥有更好的理论理解。尽管如此，对于GANs的训练动力学仍没有完全理解。
可提升GANs的训练方法
GANs属于一类基于博弈理论学习生成模型的方法。GANs由两个网络构成，分别是生成器和判别器，生成器用于生成样本，判别器用于判别样本是真实样本还是生成样本，也就是说生成器需要利用判别器提供的信号学习，且需要学会欺骗判别器。本质上来说，GANs模型的训练属于两个玩家的零和博弈问题，需要寻找非凸博弈的Nash均衡。由于梯度下降方法属于寻找成本函数的最小值，而不是找到博弈的Nash均衡，因此GANs的训练往往无法很好的收敛。
Improved Techniques for Training GANs作者们基于对非收敛问题的启发式理解，提出了一系列鼓励GANs博弈收敛的技术。
FreeU：扩散U-Net的免费午餐
FreeU是研究人员通过研究U-Net网络的骨架和skip连接对去噪过程产生的影响之后，在不需要再训练、额外参数、以及内存或采样时间增加的情况下提升扩散模型而提出的网络架构。如图1所示，FreeU的模型效果。这种改进可以很方便的整合到各种扩散模型，例如：Stable Diffusion, DreamBooth, ModelScope, Rerender and Reversion。
Mamba：具有选择性状态空间的线性时间序列模型
为了提高Transformer处理长序列的效率，研究人员们提出了线性注意力、门控卷积、循环模型、以及SSMs。其中，SSMs模型虽然能够高效的处理长序列数据，但是性能却没有基于注意力的优越。Mamba作者们发现这种模型性能不足的主要原因是无法执行基于内容的推理