作者zebb ()
看板VR
标题[情报] 老黄正与HTC合作开发注视点渲染
时间Tue Jan 8 23:47:02 2019
来源:
https://www.twitch.tv/videos/360153308?t=01h33m33s
应该就是针对vive pro eye
希望最终能从driver层就支援注视点渲染，这样旧游戏也能直接使用
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 124.11.189.152
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/VR/M.1546962428.A.CE4.html
1F：推 museangel: 不知道实际运作能够降低多少资源，我猜跟固定前方视点 01/09 06:46
2F：→ museangel: 渲染的需求差不多，只是变成不用把头转来转去，眼球动 01/09 06:46
3F：→ museangel: 一动就可以了 01/09 06:47
4F：→ kuma660224: 差不多减少几成. 其实还是会很吃效能 01/09 08:42
5F：→ zebb: 降低多少其实要看设定 01/09 09:56
6F：→ kuma660224: 边缘解析度看要降多少倍 01/09 15:28
7F：→ kuma660224: Go的FFR也是可选的，但不会省太多 01/09 15:29
8F：→ kuma660224: 因为太省就连中间范围画质也明显影响 01/09 15:29
9F：→ kuma660224: 目前FOV90-110规格，能省的外围边缘不多 01/09 15:30
10F：→ kuma660224: 如果以後180-200度，能省的外围面积就很大 01/09 15:31
11F：→ kuma660224: 但由於最高阶显卡差几成性能的价差很大 01/09 15:32
12F：→ kuma660224: 所以即使省不多也可能很划算 01/09 15:33
13F：→ zebb: Go还有个因素是因为不知视线位置所以无法开太大 01/09 15:36
14F：→ zebb: 如果有眼追，Go也能开更大达到相同效果 01/09 15:36
15F：→ kuma660224: 2080有Ti跟没Ti只差15-25％性能，价差1万 01/09 15:36
16F：→ kuma660224: Go是知道眼神位置啊，就预设中间嘛 01/09 15:37
17F：→ kuma660224: 它是要用户自己习惯只看中间 01/09 15:38
18F：→ kuma660224: 有眼追我是觉得能省的范围没差 01/09 15:40
19F：→ kuma660224: 因为人多数时候仍然只看中间 01/09 15:40
20F：→ zebb: 我的意思是要你看"中间"也不可能是"中间一个点"而是一个区域 01/09 16:53
21F：→ zebb: 而这区域可以因为眼追的加入更缩小 01/09 16:53
22F：→ kuma660224: 无论有无眼追都是区域啊 01/10 00:08
23F：→ kuma660224: 因为人类眼睛需要高解析的范围也不窄 01/10 00:08
24F：→ kuma660224: 精确知道看哪点，它周围蛮大范围也得高解析 01/10 00:09
25F：→ kuma660224: 不然视觉上会明显发现解析度变差 01/10 00:10
26F：→ kuma660224: 能动解析度的只有类似眼角余光的外围视野 01/10 00:10
27F：→ kuma660224: 而目前头显FOV太小，所以正常往前看时 01/10 00:12
28F：→ kuma660224: 200多度大部分余光范围本来就在画面外没画 01/10 00:12
一、参考这边的说明:
https://goo.gl/8Sz4xa
-------------------------------------------------------------------
1. 视野(visual field)
眼睛所能看到的区域称为视野。视网膜中央的小窝是感光细胞高度集中的区域，提供细部
视觉及辨色力，一般对物体对焦仅在小窝呈像，称为小窝视觉(foveal vision)，仅占视
野中央约 2°的极小区域，故眼睛须不停移动以便对焦於不同细部。整个视野范围涵盖左
、右共 180°(双眼重叠的区域为120°)，中央视线往上 60°、往下 70°。最有效的视
力范围在中央 30°视角内，可提供清楚的视觉影像与色彩资讯，愈往视野周边愈不精确
，主要藉对明暗强度的反应辨识视觉线索，周边视觉仅供视者维持一般方向感与空间动态
活动的察觉(图3-4)
-------------------------------------------------------------------
得知
- 人眼视力最高解析度区域仅占2°
- 人眼视力最有效的范围在30°内
这也可以测试自己的眼睛来验证，先让电脑萤幕上显示一大片小一点的文字，
固定注视着中间某一个字，不移动视线的情形下试着把旁边的文字"看清楚"
可以发现确实就只有固定注视的文字旁边非常小的范围可以辨别，
详细几度或许因人而异但不会差2度太多 (记得用小字比较明显)
二、再参考Go的 Fixed Foveated Rendering 做法:
https://goo.gl/CPkUjA
可以得知他主要概念是基於以下两个:
- 因镜片变形，眼睛看中间区域的10度和看边缘的10度所占的面板区域不同大，
旁边占较大，故将旁边的解析度降低後因占的区域大实际看到的解析度不会差太多
我想这可以这样类比，放两个4K萤幕在正前方:
A. 20寸，距离眼睛100公分，拨放4K画面
B. 40寸，距离眼睛200公分，播放同画面2K解析度
此时人眼看起来应分不出两者的差异
而A就是FFR的中央区域，B就是边缘区域，B就算播放4K画面人眼看起来也没太大差异
- 一般人眼视线习惯会"扫描"的区域只有中央大范围，很少人常常斜眼看东西，太累。
由这两点的概念产生了FFR，且建议开发者尽可能开高，主要是降低四周10~20度区域
的解析度，保留中央70~80度区域不降解析度
综合以上一二资讯可以推论出如果有眼追用来精确知道注视点，那麽
这中央区域可以再缩小进而将更多的区域降低解析度而不影响视觉上的品质
毕竟人眼最高解析度只有约2度，较高解析度只有约30度，而现在FFR的作法是
中间部分约70~80度都画最高解析度，加了眼追後可能画30度最高解就行
※ 编辑: zebb (61.228.154.33), 01/10/2019 11:18:45
29F：推 museangel: 想到缩小渲染范围就想到相反的概念，360° 3d录影，好 01/10 11:31
30F：→ museangel: 像很少看过哪个游戏有360° 3d通关影片，多数都只用2d 01/10 11:31
31F：→ museangel: 拍给大家看，但vr游戏的最大价值就是沉浸感呀，是不是 01/10 11:31
32F：→ museangel: 问题在技术上很麻烦？ 01/10 11:31
33F：→ zebb: 游戏中FOV外的没有render，要全部render的话FPS应该很可怕 01/10 13:32
34F：推 museangel: 那之後大视野的pimax大量出货比较有机会看到vr180°游 01/10 13:59
35F：→ museangel: 戏影片罗？因为目前连vr180°都好像没看过 01/10 13:59
36F：→ zebb: 小派没到180，最多水平170，另外问题是游戏中玩家会看来看去 01/10 14:00
37F：→ zebb: 直接把双眼影像镜射录成影片或live理论上有可能但 01/10 14:01
38F：→ zebb: 实际上观看者会非常容易晕 01/10 14:01
39F：→ zebb: 所以用MR的方式录游戏内容会是比较好的方式，而你要的类似 01/10 14:06
40F：→ zebb: 用两个镜头来录制MR，理论上可行实际上没看过有人这麽做 01/10 14:06
41F：→ kuma660224: Oculus最近又推出FoveatRandering改良版 01/10 14:08
42F：→ kuma660224: goo.gl/VCg1iM 也是无须眼球追踪 01/10 14:09
43F：→ kuma660224: 但多了後制补画面需求，没省那麽多 01/10 14:09
44F：→ kuma660224: 还在测试版阶段 01/10 14:10
45F：→ kuma660224: 这个Masked Based技术重点不是让外围模糊 01/10 14:10
46F：→ kuma660224: 而是减少消耗时仍可保持清晰... 01/10 14:11
47F：→ kuma660224: 可能未来可以跟其他降低解析度的技术并用 01/10 14:12
48F：→ zebb: 这个应是画低解再升频回来，和眼球追踪是两回事 01/10 14:13
49F：→ kuma660224: MBFR可跟眼球追踪并用，所以称为FR 01/10 14:14
50F：→ zebb: 眼追与MBFR与FFR可以配合使用，更减少loading 01/10 14:14
51F：→ kuma660224: 但目前Oculus没有砸钱搞Foveat硬体 01/10 14:14
52F：→ kuma660224: 所以暂时实作只有类似FFR固定位置 01/10 14:15
53F：→ kuma660224: 技术是类似升频，而传统FR都是降下去就糊了 01/10 14:16
54F：→ kuma660224: 要省更多效能可能就太糊被察觉， 01/10 14:16
55F：→ kuma660224: MBFR可用来让你Foveat外围不要降太多 01/10 14:17
56F：→ kuma660224: 但他用Stencil Mask让GPU达到再省些效能 01/10 14:18
57F：→ kuma660224: 比如原本外围40%解析度才顺，可能用 01/10 14:20
58F：→ kuma660224: 50％解析＋MBFR遮蔽＋後制升频省10％效能 01/10 14:20
59F：→ kuma660224: 跟降到40％差不多快,但画质好一点 01/10 14:21
60F：→ kuma660224: FR是绘图技法，跟EyeTrace其实是不同技术 01/10 14:22
61F：→ kuma660224: FR可以有很多不同绘图实作方式，eyeTrace也有很多不同 01/10 14:24
62F：→ kuma660224: 硬体实现方式 01/10 14:24
63F：→ kuma660224: 只是两者要协作才能完整运用 01/10 14:24
64F：→ kuma660224: 老黄协助HTC实作到SDK的只是软体面 01/10 14:29
65F：→ kuma660224: 的FR渲染，EyeTrace硬体技术大概来自供应商 01/10 14:29
66F：→ kuma660224: Oculus的FR绘图技法应该自己在搞， 01/10 14:31
67F：→ kuma660224: 而EyeTrace硬体他有收购丹麦的眼球追踪公司 01/10 14:31
68F：→ kuma660224: HTC太小，倾向整合产业上下供应商技术 01/10 14:32
69F：→ kuma660224: Oculus有财大气粗FB,倾向垂直整合自有方案 01/10 14:33
70F：→ kuma660224: 但也受限FB对HardCore市场没啥兴趣.... 01/10 14:34
71F：→ kuma660224: 它的眼球追踪与高阶硬体，已经不优先了 01/10 14:35
72F：→ kuma660224: 除非眼球追踪技术能再Costdown能下放 01/10 14:39
73F：→ kuma660224: 目前苹果谷歌Oculus都有并购眼球追踪公司 01/10 14:46
74F：→ kuma660224: 避免专利卡在供应商. 01/10 14:47
75F：→ kuma660224: 要实作产品其实不是软硬体问题， 01/10 14:48
76F：→ kuma660224: 而是何时成本压低与VR/AR市场成熟度的问题 01/10 14:48
Foveated rendering就是"注视点"渲染，wiki第一句就是
-----------------------------------------------------------
Foveated rendering is an upcoming graphics rendering technique which uses an
eye tracker integrated with a virtual reality headset to reduce the rendering
workload by greatly reducing the image quality in the peripheral vision
(outside of the zone gazed by the fovea).[1][2]
-----------------------------------------------------------
为何叫Foveated(注视点)rendering也就是这方式目标是"注视点以外的区域反正也看不出
来所以可以利用一些不同的rendering方式在这些区域偷效能"，所以需要眼追才能得知正
确的"注视点"来做到以上目标。
oculus做的FFR、MBFR并不是正规的注视点渲染，而是为了CP值所做的取舍。这取舍相对
的因为不知注视位置导致中央不偷效能的区域就必须够大涵盖一般人习惯转眼珠扫描的
范围，70~80度视角代表他预设大部分用户转眼珠大多都在这70~80度内，但不会/很少
直接看最边缘的那10~20度，所以从那边缘10~20度来偷效能。
这也就是我稍早说的FFR第二概念。
是故FR并不能称为绘图技法，绘图技法是"FFR的降解"或者"MBFR的遮罩"，FR是"从注视点
以外的区域偷效能的方式"，而他需要使用眼追(有很多不同实作方式)配合绘图技法(同样
很多不同实作方式例如FFR的降解或MBFR的遮罩少画再升频回来)才能完美实现。
当然少了眼追也行，只是能省下的资源较少。
但FFR与MBFR没用眼追不能结论为 "用FFR或MBFR就不需要眼追" 而是 "因为眼追还很贵，
考量CP後决定先不加眼追硬体而预设用户就是只能看中央70~80度才清楚"
所以稍早我解释的是"FFR再加上眼追的话可以进一步提升效能"
至於oculus的做法，我也觉得很实际，眼追硬体成本下来前先从软体面能做的尽量做。但
效果上不会比真正配上眼追硬体还好。
※ 编辑: zebb (61.228.154.33), 01/10/2019 15:14:12
77F：→ kuma660224: 那是当然，oc现在走cp值冲量的路线 01/10 16:04
78F：→ kuma660224: 无意追求更高大上的完美方案 01/10 16:05
79F：→ kuma660224: 所以一些内部元老级走了 01/10 16:06
80F：→ kuma660224: 软体提升至少不花什麽成本又立即见效 01/10 16:07
81F：→ kuma660224: 之後看看Vive Pro Eye到底会什麽价格 01/10 16:07
82F：→ kuma660224: 感觉会创下vive系列新高价纪录 01/10 16:09
83F：→ zebb: pro eye我无法看好...曲高和寡，眼追对体验提升又不若大FOV 01/10 16:52
84F：→ kuma660224: 我也觉得大FOV比较优先，还有纱窗 01/10 18:17
85F：推 nfsong: 如果仔细看能看得清 慢一点 小一点应该无访 至少要看的清 01/10 21:18
86F：→ ry3298: 满好奇用什麽追踪技术，稳定性如何。以前用眼动仪的经验 01/14 09:03
87F：→ ry3298: 是这玩意儿很容易失焦，大概连续用10分钟要校正焦点一次 01/14 09:03
88F：→ ry3298: （要校正的是眼动推断的使用者视焦点 01/14 09:03
89F：推 ry3298: 至於眼动追踪技术，国内也有自产的唷 01/14 09:07
90F：→ zebb: 应该就是红外线LED+红外线摄影机+影像处理，放VR头显内 01/14 09:39
91F：→ zebb: 因为距离眼睛非常近所以精确度可以更好，或许也不用常校正 01/14 09:40
92F：→ kuma660224: 目前多是红外光源与感测器堆在眼周 01/14 10:40
93F：→ kuma660224: 用眼睛不同部位反射度不同去推定视点角度 01/14 10:40
94F：→ kuma660224: 原理其实蛮单纯，一堆新创企业在搞 01/14 10:41
95F：→ kuma660224: 软体与硬体组合都还在优化（成本上的） 01/14 10:42
96F：→ kuma660224: 技术成熟但成本重量怕会让头显很难卖 01/14 10:42
97F：→ kuma660224: 所以迟迟不见标配 01/14 10:43
98F：→ kuma660224: 其实VR不要求用眼神控制的精度 01/14 10:44
99F：→ kuma660224: 只要大略角度允许小误差，也能拿来省效能 01/14 10:44
100F：推 ry3298: 没用过头盔/眼镜型，不知如何XD 以前混的地方考虑过tobi 01/14 12:58
101F：→ ry3298: i的眼睛型，但最後没入手 01/14 12:58