※ 本文是否可提供台大同学转作其他非营利用途？（须保留原作者 ID） （是／否／其他条件）： 是 哪一学年度修课： 107-2 ψ 授课教师 (若为多人合授请写开课教师，以方便收录) 王钰强 教授 λ 开课系所与授课对象 (是否为必修或通识课 / 内容是否与某些背景相关) 电信所 δ 课程大概内容 第0周 2/20 Course Logistics + Intro to Computer Vision 第1周 2/27 Machine Learning 101 第2周 3/06 Image Representation & Recognition; HW #1 out 第3周 3/13 Intro to Neural Networks + CNN (I) 第4周 3/20 Intro to Neural Networks + CNN (II) Tutorial on Python, Github, etc. 第5周 3/27 Detection & Segmentation; HW #2 out 第6周 4/03 Spring Break 第7周 4/10 Segmentation, Visualization, and Adversarial Attacks of NNs 第8周 4/17 Generative Adversarial Networks (Guest Lecture by Prof. Wei-Chen Chiu); HW #2 due & HW #3 out 第9周 4/24 Transfer Learning and Representation Disentanglement (I) 第10周 5/01 Transfer Learning and Representation Disentanglement (II) 第11周 5/08 Deep Learning for Video Frame Interpolation & Object Co-Segmentation (Guest Lecture by Dr. Yen-Yu Lin); HW #3 due 第12周 5/15 Recurrent NNs and Seq-to-Seq Models (I); HW #4 out 第13周 5/22 Recurrent NNs and Seq-to-Seq Models (II); Invited talk by Dr. Taiyi Huang (ASUS AICS) 第14周 5/29 Learning Beyond Images (2D/3D, depth, etc.) 第15周 6/05 Audio-Visual Event Localization and Synthesis; HW #4 due Invited talk (1) by Dr. Wei-Sheng Lai, UC Merced) Invited talk (2) by Dr. Shang-Hong Lai (Principal Researcher, Microsoft) 第16周 6/12 Few-Shot Learning Ω 私心推荐指数(以五分计) ★★★★★ ★★★★★ η 上课用书(影印讲义或是指定教科书) 老师自制的投影片，也有放到实验室的课程网站上 μ 上课方式(投影片、团体讨论、老师教学风格) 投影片上课，学期初先用一堂课讲一些基本ML(Bayesian, PCA, SVD, K-means cluster) 和Bag of Word for image等传统CV方法，接着讲DNN、CNN，之後就进入DL的部分 HW1是非deep作业，弄图片的PCA、eigenface、BoW、filtering等等 因为HW1难度较低只占5% 教完CNN之後会进入Detection & Segmentation 会讲R-CNN、Mask R-CNN、YOLO(v1~v3, 9000)、SSD等Detection模型 Segmentation有点快速带过，稍微讲一下FCN、U-Net等方法 HW2就是要实作YOLO-v1 之後会介绍一下t-SNE跟visualize CNN kernel的方法 和Adversarial Attack(大金Youtube讲得比较清楚XD) 然後请交大邱维辰教授来讲GAN HW3的前半就是实作GAN跟ACGAN 接着讲Transfer Learning有关的主题 会介绍Unsupervised Domain Adaptation(DANN, DSN, ADDA...) 跟Represenation Disentanglement(ACGAN, InfoGAN) 最後是Image Translation & Disentanglement(pix2pix, CycleGAN, UNIT...) 这段我觉得是课程最精彩的一段，发展的脉络很清楚 也有讲到老师实验室分别上CVPR跟NIPS的Work(CDRD, UFDN) HW3的後半就是实作DANN，跟任意improved model，我跟几个同学都是选ADDA来做 最後会介绍Video跟Speech跟CV混在一起的应用 为了处理Video Speech所以会先介绍RNN(LSTM, GRU)和Attention(没有Transformer XD) HW4就是用RNN来做Video的Action Recognition 最後几堂课还会讲2D/3D跟Few-Shot Learning，但就没有作业实作了 这学期好像完全把RL拿掉了 QQ 学期後半请了蛮多人来演讲的 像是中研院的林彦宇老师 华硕副总裁黄泰一 微软AI R&D Center的赖尚宏老师 还有在UC Merced的B97电机系学长分享美国实习经验 整学期算学到蛮多东西的，不过毕竟是Deep相关课，内容都是近年研究主题很新很杂 蛮多地方都是一系列的paper report，没有作业实作就容易会带过去有个印象而已 日後要深入了解的话，还是去找原paper看会比较深入一些 ρ 考题型式、作业方式 作业有上述说的HW1~HW4，都是一人一组自己做，loading的话HW1很快大概4~6小时内 HW3、HW4大概是以前做大金ML作业的1.5倍loading，大概15~20小时可以解决 HW2的话因为这次YOLO很多人包括我自己都遇到train不起来的问题 我最後是发现加了warm up optimizer之後就起飞了(前面还找了超久问题... 但每个人遇到的状况好像都不太一样就是了 然後老师有给每个人3天迟交不扣分的扣打可以用，後来HW2之後又加了两天 我自己只有在HW2用掉一天，整体时间还算充裕 Final Project的部分是3~4人一组 有两个题目可以选，第一个是今年ICCV workshop的 Visual Domain Adaptation Challenge (http://ai.bu.edu/visda-2019/) 就是做很多个Source Domain的UDA 第二个则是Cast Search by Portrait Challenge 也是今年ICCV另一个workshop的，从电影画面辨识演员 两个Challenge都有开Kaggle让我们爬榜 σ 评分方式(给分甜吗？是紮实分？) 应该算颇甜 因为这次hw2 YOLO有点难搞，所以後来给分改成hw2 hw3 hw4各自分别由高到低 占30% 20% 10%，hw1一样是5%，final project占剩下的35% 另外每次作业都有一些bonus可以做，可以另外拿超过100分 像hw1可以拿120(但只占5%)，其余我hw2~4分数都拿90~110之间 final的话因为我们这组有拿到Challenge #1的第一名， kaggle leaderboard跟人气奖也都有额外加到分 最後35%是给了32.01分 给分很大方，我学期成绩有拿A+ ω 其它(是否注重出席率？如果为外系选修，需先有什麽基础较好吗？老师个性？ 加签习惯？严禁迟到等…) 这门课助教都人很好，我们hw2搞不出来的时候都有去问助教，也都很热心帮我们找问题 另外後面作业竟然还有开放给同学revision(改code)机会补救，部分给分，修过这麽多课 实在没遇过几门有这麽好心的...真的是辛苦助教了Orz Ψ 总结 这门课算是可以让你快速review过一次近年DL for CV的发展，也实作了一些有趣的topic 让你在日後能有兴趣深入研究，收获很多～ --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.112.25.99 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/NTUcourse/M.1563339174.A.7E0.html ※ 编辑: jexus (140.112.25.99 台湾), 07/17/2019 12:55:20 ※ 编辑: jexus (140.112.25.43 台湾), 07/17/2019 16:40:12