加载中...
文章
48
标签
20
分类
8
首页
归档
标签
分类
音乐
友链
关于
Blog of Guo12181
首页
归档
标签
分类
音乐
友链
关于
深度学习基础笔记（四）
发表于
2023-02-25
|
更新于
2023-10-21
|
深度学习
|
字数总计:
5
|
阅读时长:
1分钟
|
阅读量:
Please enter a password.
文章作者:
Guo12181
文章链接:
http://guo12181.github.io/2023/02/25/dl-3/
版权声明:
本博客所有文章除特别声明外，均采用
CC BY-NC-SA 4.0
许可协议。转载请注明来自
Blog of Guo12181
！
笔记
个人
深度学习
上一篇
算法笔记（一）基础算法部分
下一篇
深度学习基础笔记（三）
相关推荐
2022-11-05
深度学习基础笔记（一）
2024-04-08
深度学习理论学习（三）注意力机制及其评分函数
2022-11-12
深度学习基础笔记（二）
2024-04-08
深度学习理论学习（四）多头注意力、自注意力和位置编码
2024-04-08
深度学习理论学习（五）Transformer模型架构
2024-04-26
深度学习理论学习（六）Embedding
Guo12181
未来ガジェット研究所
文章
48
标签
20
分类
8
公告
不定期更新，加密文章为个人笔记，暂无公开计划
目录
1.
参数的更新
1.1.
SGD
1.2.
SGD的缺点
1.3.
Momentum
1.4.
AdaGrad
1.5.
Adam
1.6.
如何选择更新方法
1.7.
基于MNIST数据集的更新方法的比较
2.
权重的初始值
2.1.
权重值能否设为0
2.2.
隐藏层的激活值的分布
2.3.
ReLU的权重初始值
2.4.
基于MNIST数据集的权重初始值的比较
3.
Batch Normalization
3.1.
Batch Normalization 的算法
3.2.
Batch Normalization的评估
4.
正则化
4.1.
过拟合
4.2.
权值衰减
4.3.
Dropout
5.
超参数的验证
5.1.
验证数据
5.2.
超参数的最优化
5.3.
超参数最优化的实现
6.
章节总结
最新文章
深度学习理论学习（六）Embedding
2024-04-26
深度学习理论学习（五）Transformer模型架构
2024-04-08
深度学习理论学习（四）多头注意力、自注意力和位置编码
2024-04-08
深度学习理论学习（三）注意力机制及其评分函数
2024-04-08
深度学习理论学习（二）编码器-解码器架构和seq2seq
2024-04-08
