深度学习在硬件的发展下，模型越做越大，但也需要越来越多的数据。然而，标注数据的成本是很高的。在自然语言处理领域，基于自回归和自编码无监督训练的方式，解决数据少的问题。与之相对的，计算机视觉领域的掩码自编码技术发展的很缓慢。MAE作者们对这种不同的原因进行了分析，结果如下：

• 语言与视觉的信息密度不同。语言是人类创造的，拥有高度的语义和信息密度。在训练模型预测句子中丢失单词时，该任务似乎已到模型学习复杂的语言理解。然而，图片来自于自然界，拥有很强的冗余性，例如：丢失的部分可被邻居部分再次恢复，甚至直接都能被识别。
• 自编码器的解码器映射隐式表示到输入，对于图片来说这种映射输出是低语义的，对语言来说这种映射输出是有丰富语义的。然而，BERT基于编码器就能学习到很丰富的语义信息，MAE需要编码器和解码器才能学习到丰富的语义。

- 阅读剩余部分 -

在视觉领域，网络越深模型的精度越高，但是越深也意味着参数越多，从而需要越多的内存。因此，EfficientNet作者们围绕是否存在一个准则可以扩展卷积网络从而实现更高的精度和效率这一问题，研究了卷积网络的扩展。实验研究发现，平衡网络的宽度、深度、以及分辨率对性能很重要，而且这种平衡可通过一个常量系数扩展网络所实现。由此，作者们提出了复合扩展，如图1所示。

- 阅读剩余部分 -

YOLOR与YOLOv4属于同一个研究团队发布的模型。该团队开发了一个多任务学习方式，以学习一个通用表示和利用子网络学习任务特定表示的方式创建一个适用于各种任务的模型。

- 阅读剩余部分 -

YOLOv4试图找到bag-of-freebies和bag-of-specials之间的平衡。其中，bag-of-freebies只增加训练策略但不增加推理成本，例如：数据增强；bag-of-specials只稍增加推理成本，但大幅度提升性能，例如：扩大感受野、结合特征、以及后处理。

- 阅读剩余部分 -

YOLOv2的backbone架构是Darknet-19，由19个卷积层和5个最大化池化层构成。与YOLOv1相似，在$3\times3$卷积层之间利用$1\times1$卷积层减少参数的数量。除此之外，还使用batch normalization加快模型收敛速度。如表1所示，YOLOv2的网络架构。YOLOv2对每个单元格预测5个有界boxes，可见图1所示。每个boxes对应5个预测值和20个类别概率，可见图2所示。

- 阅读剩余部分 -

目标检测是计算机视觉领域重要任务之一。在深度学习时代，YOLO算法属于主流算法之一。

- 阅读剩余部分 -