作者arfa0711 (吃青椒)
看板DataScience
标题[问题] AI CNN每一层是如何想出来的?
时间Wed Sep 16 23:40:23 2020
最近在做专题AI CNN那方面，
目前已知些最基本的架构，
举例:Average pooling
Max pooling
ReLU
Fully Connect(FC)
Normalization
当然不只这些，今天看AlexNet的Paper 突然想到设计问题..
Why第一层可能是... (5层)
埢积 -> pooling -> ReLU -> normal.. -> FC
Why第二层可能是... (3层)
埢积 -> ReLU -> FC
以此类推 (4层)
.
.
.
问题1: 为什麽要"这样"设计? (有些复杂有些稀疏)
问题2: 这是机密吗? 因为Paper都不会说明，只有结果。
以上
谢谢各位版友!
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.246.41.78 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1600270832.A.BB2.html
※ 编辑: arfa0711 (111.246.41.78 台湾), 09/16/2020 23:42:40
1F：推 acctouhou: 你如果知道每一个操作在干嘛就不会问这个问题勒 09/17 01:36
可能你误会了!我的问题比较偏向lin大大说的那样
2F：→ RumiManiac: AlexNet 参考 LeNet-5，其他打不赢就加入 09/17 02:10
3F：→ RumiManiac: 你可以看看 LeNet-5 的 paper 09/17 02:11
了解，因为我也有看网路上GoogleNet的讲解(不是paper)
里面当然很多结构架构都是他们设计好了，
但 好像很少特别说明 每一层详细的构造。
4F：→ linfeelin: 就是一直试，可以先考虑输入的维度或是你想要解决什麽 09/17 10:23
5F：→ linfeelin: 样的问题，才来建构每一层 09/17 10:23
所以其实他们也是一直try最後才得出paper上面看到的 感谢
※ 编辑: arfa0711 (118.163.199.180 台湾), 09/17/2020 11:08:52
6F：推 wang19980531: 这是DL 不是AI 09/17 13:27
7F：推 ddavid: DL也是AI会用到的技术，并没有太大问题 09/17 15:32
8F：→ ddavid: 然後其实是先理解每一种层能做到什麽效果，理解自己要解的 09/17 15:33
9F：→ ddavid: 问题应该需要哪些效果，先有个预想以後才去猜想可以怎麽建 09/17 15:33
10F：→ ddavid: 构，提出一些可能的模型，初步测试後发现结果在什麽方面有 09/17 15:34
11F：→ ddavid: 不足跟缺失，才去修改或重建 09/17 15:35
12F：→ ddavid: 不是一开始就try try try，问题随便大一点try一次可能就一 09/17 15:35
13F：→ ddavid: 星期以上，不可能没有任何预想就从try开始的 09/17 15:36
14F：→ ddavid: 至於Paper没详细说明，有时是篇幅不够，有时是有些组合本 09/17 15:37
15F：→ ddavid: 来就已经为人熟知 09/17 15:37
16F：推 ddavid: 去看以前的相关reference就解释过了，所以他就只侧重在自 09/17 15:40
17F：→ ddavid: 己有进一步改进的地方 09/17 15:40
18F：→ ddavid: 像是为何Conv->ReLU->Conv->ReLU->Pooling而不是 09/17 15:41
19F：→ ddavid: Conv->ReLU->Pooling循环两次之类的，有些其实自己慢慢推 09/17 15:42
20F：→ ddavid: 敲每层的效果与副作用也可以得到概念 09/17 15:43
21F：→ arfa0711: 谢谢D大 很详细！ 09/18 09:52
22F：→ chang1248w: 我怎麽记得看到比较多conv->bn->relu.. 09/18 21:53
23F：推 world4jason: 某楼真的在讲干话 呵呵 09/19 16:23
24F：→ world4jason: 通常是一个好的套路 大家就会沿用 而好的套路就是try 09/19 16:23
25F：→ world4jason: 出来的 没有为什麽 09/19 16:23
26F：→ world4jason: 如果你真的想问 那应该是try的逻辑 这要去看paper 09/19 16:26
27F：→ world4jason: 发paper通常两种 一种是我假设某个东西很好 我实作 09/19 16:26
28F：→ world4jason: 验证 发现很好 那我发paper跟大家说 另一个就是我东 09/19 16:26
29F：→ world4jason: 改改西改改 发现很好 找个解释or强行给个解释 09/19 16:26
30F：推 email81227: shorturl.at/bxzK3 这篇文献不知道能不能帮忙? 09/20 18:03
31F：推 rain45: 原po应该不是想问每个conv block内部设计，毕竟他已经知道 09/26 10:16
32F：→ rain45: relu 、池化等概念，而是问说为何这边连续接5个conv block 09/26 10:16
33F：→ rain45: ，後面连续接3个conv block，这个「数量」是怎麽设计的， 09/26 10:16
34F：→ rain45: 不知道理解有没有误 09/26 10:16
35F：→ erre: 就是调参数的概念 10/03 14:49
36F：→ kevin8197: 觉得调参＋1 10/07 13:33
37F：推 wang19980531: Try and error 10/16 00:50
38F：→ howayi: 看一下 CS231n 介绍神经网路的历史，大概就能知道架构怎麽 10/28 07:33