作者rn940111 (自尽比较快)
看板DataScience
标题[讨论] ML是不是有些东西不太教？
时间Tue Nov 24 14:28:36 2020
最近在自学前决定比较手上有的各种资源，
因为之前念过ISLR跟一部分的ESL，
这次在开始之前我已经有打算要看某两本书了，
加上本来就不是做这个，所以也看看不同地方开研究所机器学习的课纲跟线上资源。
大部分的课程当然是多数工具都讲过，
少部分课程会go through 一些推导，
但是为什麽几乎没触及像是learnable，VC dimension等，
问念CS PhD的朋友也表示课程没有提及，
这部分老师没教/学生上课没学，是有什麽原因可循吗？
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 172.58.99.239 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1606199320.A.74C.html
1F：推 j0958322080: 林轩田的我记得有VC Dimension 11/24 14:36
2F：推 jack1218: 林轩田的HTML有教 11/24 14:40
3F：→ rn940111: 我就是在他的课上有看到，且我自己要读的书也有，但是很 11/24 14:42
4F：→ rn940111: 多课其实是没有的，不管国内外都是，这件事我比较好奇有 11/24 14:42
5F：→ rn940111: 什麽差别 11/24 14:42
6F：→ hsnuyi: 因为不重要 现在的ML是工程导向 解工程问题就是逐个击破 11/24 15:50
7F：→ hsnuyi: 发现问题(e.g., 梯度消失)後再想解法就好 11/24 15:50
8F：推 syc0924: 进阶一点的理论ML课就会有啦 对一般使用者真的不重要 11/24 18:24
9F：推 wtchen: learnable跟VC dimension需要一些数学才能理解 11/24 19:19
10F：→ rn940111: 以hsunyi提到的概念，是否可以解读成工程导向就像是直接 11/24 19:35
11F：→ rn940111: 解决应用问题，但是不一定是从底部开始处理，可能ad hoc 11/24 19:35
12F：→ rn940111: 的用了一些东西处理好也可以，除非遇到很系统性的问题？ 11/24 19:35
13F：推 kumitang: 我觉得是看从什麽角度来切入耶 我觉得数学系的比较会教 11/24 20:42
14F：→ kumitang: 到这些（根据我自己的经验 11/24 20:42
15F：→ hsnuyi: 系统性问题也可以用工程导向解 解完後用大一统模型解释就 11/24 22:34
16F：→ hsnuyi: 是理论 11/24 22:34
17F：推 VIATOR: VC dimension要花很多时间了解，不知道对应用也没什麽差 11/25 02:08
18F：→ ciman96: 因为不知道那些理论，ml使用者也能套工具 11/25 20:35
19F：推 cplalexandta: 通常要理论ml课才会教那些 而且後来发现VC bound满 11/28 04:51
20F：→ cplalexandta: 多情况不是很tight 11/28 04:51
21F：推 cplalexandta: 现在比较流行考虑data dependent的bound 像是pac-ba 11/28 04:58
22F：→ cplalexandta: yes或是mutual information 可以从stability的概念 11/28 04:58
23F：→ cplalexandta: 出发来理解 11/28 04:58
24F：→ cplalexandta: 题外话 我觉得communication complexity对VC dimens 11/28 05:02
25F：→ cplalexandta: ion的定义比较直观 ml用的是组合学的概念反而在高维 11/28 05:02
26F：→ cplalexandta: 的情况很难想像 11/28 05:02
27F：→ cplalexandta: 不过老实说自学的话 尤其是为了工作 import torch可 11/28 05:04
28F：→ cplalexandta: 能比学这些更有用啦... 11/28 05:04
29F：推 agario: VC dimension 不见得能很好解释 deep learning 的现象吧 01/17 08:58
30F：→ agario: 很多时候反而 over-parametrization 比较好 01/17 08:59