※ 引述《jk21234 ( 1569 11 /47)》之铭言： : ※ 引述《mself (mself)》之铭言： : : 就我了解，SM 跟 block 有对应，但好像不是 1 对 1， : : 数个 block 会一起在一个 SM 上轮流执行， : 所以,SM和Block在"某个时段内,独占的1:1执行" : 如果你觉得不容易理解,它还蛮接近一颗cpu执行多工的方式. : 切换也应该是context switch.有同样的缺点就是切换再怎麽频繁, : 对几百MHZ的晶片来说,都是巨大的效能损失..... : (如果我没记错,cuda文件有描述context switch部分...) : 所以也不用担心你在程式中使用不到16KB的shared memory. 来闲扯一下他背後的运作，就 GT200 系列来说 每个 SM 在 resource 允许的情况下，最多能同时保持 1,024 个 computing threads 且每次 SM 最多只允许抓取 8 个 blocks，且不能超过 resource limitation 每个 block 内会有许多许多 computing threads，在实际执行时，会动态切出 warps 每个 full warp 会有 32 个 computing threads，而 warp 是 SM 每次实际执行的单位 由於每个 SM 只有 8 个 SP（先不提 SFU），故需要以连续 4 个 cycles 来做 被排程（这个排程很接近RR，详见 US Patent US2007/0214343A1）到之 warp 的 一道指令（通通都做同一道，可以把 warp 视为一个 SIMD group）。当这道指令做完 dispatch unit 会排下一个 warp 来执行（不一定是同一个），可以视为 fine-grain multithreading。（ATi 的作法比较接近 coarse-grain） 根据用 OpenCL 测试的结果，每个 SM 上，大概要同时保持 512 个 threads 才能达到最好的效能。而在 GPU 中，context switch 的 overhead 比起 OS 低很多~~ 因为 GPU 中利用非常庞大的 Register file 来 keep 所有 in-flight data，所以对 GPU 来说，context switch 只是切换一下用的 register set 就没事了~~~ 回到正题，shared memory 如果需求的量超过，是没办法被执行的，只能等到在 SM 中 的工作都做完，resource release 了才行~~~ : : 视 register 用量，以及 thread 数上限而定 : : 假设现在是 8 个 block 在 1 个 SM 上轮流执行 : : 是不是每个 block 只能有 2 KB shared memory 呢？ : : 还是说每个 block 都能用满 16 KB，但不是正在执行的 block : : 的 shared memory (context) 会 switch 到 global memory : : 要执行时在 switch 回来呢？ -- --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 118.161.118.189