深度学习习题集锦：从基础到实战的全面练习指南

深度学习的基础是理解其核心概念。这一部分习题旨在巩固你对基本术语和原理的掌握。

• 前向传播与反向传播：请描述神经网络中前向传播与反向传播的过程，并解释梯度下降在其中的作用。
• 激活函数：比较Sigmoid、Tanh和ReLU激活函数的优缺点，并说明为何ReLU及其变种在深层网络中更受欢迎。
• 损失函数：针对分类和回归任务，分别写出常用的损失函数（如交叉熵、均方误差）并解释其适用场景。

提示：理解这些基础是构建更复杂模型的基石，务必通过计算和绘图来加深印象。

神经网络与反向传播实战

本部分通过具体的计算练习，让你亲手推导反向传播，这是理解神经网络如何学习的关键。

给定一个简单的三层神经网络（输入层2节点，隐藏层3节点，输出层1节点），使用Sigmoid激活函数和均方误差损失。请完成以下练习：

1. 随机初始化权重和偏置，进行一次完整的前向传播计算。
2. 给定一个样本的真实标签，计算输出层的误差。
3. 手动推导并计算损失函数相对于每一层权重的梯度。
4. 使用计算出的梯度，以指定的学习率更新一次网络权重。

通过这个练习，你将深刻理解梯度是如何从输出层逐层反向传播至输入层的。

卷积神经网络(CNN)专项练习

卷积神经网络是处理图像数据的利器。本部分习题专注于CNN的各个组件。

循环神经网络(RNN)与序列建模

处理序列数据是深度学习的另一大挑战。本部分引导你探索RNN及其变种。

• 简单RNN的局限性：通过一个简单的文本预测例子，说明简单RNN为何难以学习长期依赖关系。
• LSTM与GRU：绘制LSTM单元的结构图，并解释遗忘门、输入门和输出门各自的功能。
• 实战编程：使用PyTorch或TensorFlow构建一个基于LSTM的情感分析模型，对电影评论进行正负面分类。

深度学习模型优化与调参

构建模型只是第一步，优化和调参往往决定了模型的最终性能。

习题列表：

1. 优化器对比：在同一个图像分类任务上，分别使用SGD、Momentum、Adam优化器进行训练，记录并对比它们的损失下降曲线和最终准确率。
2. 过拟合与正则化：在一个小数据集上训练一个复杂模型，观察过拟合现象。然后分别引入Dropout、L2正则化和早停法，观察它们对验证集性能的影响。
3. 超参数搜索：设计一个简单的网格搜索或随机搜索方案，为学习率、批处理大小等关键超参数寻找较优的组合。

生成式模型与无监督学习

生成式模型是当前研究的热点，它让机器能够“创造”内容。

自编码器(AE)：构建一个卷积自编码器，用于图像去噪。解释编码器和解码器的作用，以及损失函数如何设计。

生成对抗网络(GAN)：简述GAN中生成器与判别器的“博弈”过程。尝试使用DCGAN架构在MNIST数据集上生成手写数字图像。

变分自编码器(VAE)：比较VAE与标准AE的区别，重点解释其引入的概率编码和重参数化技巧。

综合实战项目：图像分类器

将所学知识融会贯通，完成一个完整的图像分类项目。

项目要求：

• 数据准备：使用CIFAR-10或自定义数据集，完成数据加载、预处理（归一化、数据增强）和数据分割。
• 模型构建与训练：选择一个合适的CNN架构（如自定义CNN或微调预训练的ResNet），编写训练循环，监控训练和验证损失/准确率。
• 模型评估与部署：在测试集上评估最终模型性能，分析混淆矩阵。将训练好的模型保存，并编写一个简单的接口，使其能够对新的单张图片进行预测。

这个项目将全面检验你的数据预处理、模型构建、训练调试和结果分析能力。