随机微分方程与扩散模型
阅读了很多扩散模型的论文，根本不理解其数学原理，因此通过理解相关数学概念，对其原理进行探寻。
分类 基础理论 下的文章
再谈LLM逻辑推理的三大谬误
本着学术诚信的精神，我想要撰写这篇简短的后续文章，来回应那些最相关的反驳观点，并且重申，尽管存在这些反驳观点，我为何仍然支持大语言模型至今无法真正推理这一基本论断。
Notes on "An Observation on Generalization"
原文链接： https://sumanthrh.com/post/notes-on-generalization/
Ilya Sutskever' Lecture: https://www.youtube.com/live/AKMuA_TVz3A
通过最大编码率缩减原则学习多样化和有区别的表征
机器学习中最基本的问题是：如何有效地且高效地从有限独立同分布的样本集中学习数据分布？对于该问题，可转化为寻求捕获了样本内在结构的表示的问题。
对于表示学习，在有监督学习中把样本标签表示为one-hot编码，以交叉熵为损失函数学习表示。尽管这种方式很常用，但是它的学习方式与标签有关。由于标签的准确性无法保证，那么也无法保证学习的准确性。同时，该有监督学习的方式无法清楚的知晓表示捕获数据内在结构的程度，即可解释性很差。
在信息瓶颈中，把深度网络的中间层输出视为选择特定隐式特征的过程。其中，输出可理解为表示。进一步来说，信息瓶颈假设网络为学习预测标签的最小充分统计，可把该统计量理解为数据的表示。在形式上，通过最大化表示与标签之间的互信息和最小化样本与表示之间互信息的方式实现，例如：VAE。由于只是针对特定标签$\mathbf{y}$，因此这种方式的泛化性、鲁棒性、以及迁移性不佳。
基于稀疏率缩减的白盒Transformer (一)
深度学习的黑盒特性赋予了AI的神秘面纱，有种“巫术”感。在过去数10年的快速发展下，黑盒神经网络展现了惊人的能力，也使研究人员对神经网络有了更深的理解。为了破除神经网络的神秘感，论文White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?的作者们表明表示学习的目标是把数据的分布变为一个非连续子空间支持的低维混合高斯。这种表示的性能可被稀疏率缩减度量，它不仅最大化表示的内在信息增益，也最的外部稀疏性。根据此理论，推导出了CREATE网络架构，不仅在数学上可被完全解释，也弥补了深度学习理论与实践之间的间隔。
深度持续学习的可塑性损失
深度学习网络基于随机梯度下降方法训练后，把网络权重冻结，再进行模型部署推理。然而，世界处于动态变化的，每天都有新的数据产生，从而导致数据分布发生变化。那么，若每次重新训练模型会产生很大的成本，而模型在新的数据上训练往往性能不如重新训练，这是因为学习过程中神经网络的可塑性降低。然而，深度学习在持续学习场景下有效性仍不清楚。Loss of plasticity in deep continual learning论文作者表明标准深度学习方法在持续学习环境中逐渐失去可塑性，直到其性能比浅层网络还要低。他们主要在ImageNet数据集和RL问题中研究了可塑性的损失，且提出了持续反向传播算法以提高算法的可塑性。