核心观点
　　本文是基于Smith et al.,2023论文《ConvNets match Vision Transformers at scale》的解读评述。ConvNets与ViTs的对比研究结果强调了计算资源和数据对模型性能的重要性，认为在合理设计的模型中，计算资源和数据的可用性是决定性因素。
　　验证损失与计算预算存在对数缩放关系
　　实验观察到验证损失与用于预训练模型的计算预算之间存在"对数-对数"的缩放规律。在ImageNet上进行微调后，网络与具有相似计算预算的预训练ViTs的性能相匹配。
　　最佳学习率与训练轮次和模型大小相关
　　最佳学习率随训练轮次预算变化。NFNet系列中的所有模型在小的训练轮次预算下都显示出类似的最佳学习率。然而，随着训练轮次预算的增加，最佳学习率会下降，对于较大的模型，最佳学习率下降得更快。
　　NFNets和ViTs性能相似
　　NFNets和ViTs这两种模型架构存在显著差异，但经过大规模预训练后，它们的性能非常相似。两者在ImageNet上的Top-1准确率非常接近。然而，ViTs在特定环境下可能具有实际优势，比如能够在多个模态之间使用相似的模型组件。
　　风险提示
　　本报告依据最新前沿论文进行解读评述，若有理解不当请以原始论文表述为准。且本报告为AI应用方法和框架介绍，并不作为有效投资方法建议，仅供参考。