about csc321

5月17周日，东京大好晴天
不知道疫情跟DAISO超级多人有什么关系

从周五开始看Language Model，发现自己缺了不少前置知识
多输出MLP -> softmax概率分布输出 -> skip-gram语言模型
可能这样的顺序才是对的

今天推荐的是CSC321，多伦多大学的一门课
全名是：Intro to Neural Networks and Machine Learning
看到了课题里的Intro吗？ 导论课天下第一

课程链接: http://www.cs.toronto.edu/~rgrosse/courses/csc321_2018/

前面6讲分别是：

Lecture 1: Introduction [Slides] [Lecture Notes]
Lecture 2: Linear Regression [Slides] [Lecture Notes]
Lecture 3: Linear Classification [Slides] [Lecture Notes]
Lecture 4: Learning a Classifier [Slides] [Lecture Notes]
Lecture 5: Multilayer Perceptrons [Slides] [Lecture Notes]
Lecture 6: Backpropagation [Slides] [Lecture Notes]

每一讲都有PDF(Slides), 和Lecture Notes相当于讲义
我认为比较重要的知识点：Perceptron, 多层Perceptron（MLP最基本的神经网络模型），还有优化算法Backprop
可能是最好的神经网络和深度学习资源(不少人也是这样说的)

查了下多伦多大学的学费，大概一年15万人民币
再次了解到这门课的价值

讲讲不大满意的地方
CSC321是一门好课，但是第七讲真的太跳了
而且自学的完全不知道应该怎么实践
虽然自己觉得理解了，果然还是得想办法动手操作
所以我现在卡在第七讲

然后对历史的解释很少
了解历史人才会明白backprop是多么宝贵的算法
花了整个学术界20年的时间(还是10年来着？)
虽然一大部分是AI寒冬的原因

说到神经网络历史科普文
墙裂推荐A ‘Brief’ History of Neural Nets and Deep Learning
看了不后悔