作者Deltaguita (貝里斯)
看板java
標題[問題] 比HashSet<Long>更好的容器
時間Thu Dec 17 16:20:26 2015
想請教一下各位前輩
小弟目前 有上萬筆形態爲long的資料,從json data 轉換爲object 時
會依照分類放在HashSet<Long> 裡面
會用HashSet的原因是免排序,
但是需要快速查出某個值是不是成員 （使用contain(long id)這個方法
因爲資料蠻多的,又把long wrap爲Long,佔用了不少記憶體
想請問有沒有更節省記憶體也可以快速判斷的方式來存放這些資料呢？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.125.98.71
※ 文章網址: https://webptt.com/m.aspx?n=bbs/java/M.1450340429.A.28E.html
1F：推 Jaymainal: 要省記憶體可能要將Set分類 而不是全部用同一個存 12/17 18:32
2F：→ Jaymainal: 當然還有個偷懶方式丟給DB去處理 12/17 18:32
3F：推 LaPass: 丟給db只可能更慢 囧 12/17 19:52
4F：→ LaPass: 還有你的顧慮是多餘的，這種單一變數的東西，即使上萬筆， 12/17 19:53
5F：→ LaPass: 也不會吃多少效能跟記憶體，大概吃料 8*10000~ 80kb而已 12/17 19:54
6F：推 sivid: bloom filter, radix sort, 還有自己手動切partition 12/17 23:30
7F：→ sivid: 幾萬個Long是應該沒問題, 有疑慮的話先measure吧 12/17 23:31
8F：→ cha122977: 你直接用吧 真的發現慢在這裡再說吧 12/18 01:12
9F：→ cha122977: 沒記錯的話HashSet找內容是O(1) 才幾萬筆應該還好 12/18 01:15
10F：→ Deltaguita: 一個set 約萬筆,然後有10 個set 左右 XD 12/18 10:23
11F：→ Deltaguita: HashSet 搜尋真的很快,我不懷疑的 12/18 10:24
12F：→ Deltaguita: 目前發現從json 字串轉成 object 超花時間 orz 12/18 10:25
13F：→ realmeat: json 轉成 long 會多花時間? 12/18 12:15
14F：→ realmeat: 資料簡單就寫個簡易 parser處理就好 12/18 12:16
15F：推 LaPass: json轉物件是用哪一套？ java的json轉換有一堆libary 12/18 12:18
16F：→ LaPass: 要轉物件的話大多是用反射去弄的吧 12/18 12:18
17F：→ Deltaguita: 目前是Gson, 這些code是在android 跑的 12/18 15:53
18F：→ Deltaguita: 在部分手機上來說,真的不太快 12/18 15:53
19F：→ Deltaguita: 基本上會讓用戶感到有點延遲 12/18 15:54
20F：推 yyc1217: Martin Fowler最近有篇文章 refactoring document load 12/18 19:34
21F：→ yyc1217: 剛好就是在談字串轉object的問題 好像是要用時再轉 12/18 19:36
22F：推 LaPass: Gson還蠻快的阿.... 你是不是轉換一次就new一次Gson? 12/18 19:43
23F：推 asdhhhman: gson是tread safe 12/18 23:29
24F：→ Deltaguita: Retrofit 應該不會幹這種事XD 12/19 02:19
25F：→ Deltaguita: @yyc1217 馬上就需要用到XD 而且是經常性的 12/19 02:22
26F：→ Deltaguita: @asdhhhman 我是一次就拿到好幾筆的set 12/19 02:23
27F：推 yyc1217: 當字串來處理不要轉成Long呢? 12/19 13:54
28F：推 yyc1217: 有個library叫Trove4j，有個TLongHashSet 12/19 14:21
29F：→ yyc1217: 可以用primitive value當key 12/19 14:22
30F：→ Deltaguita: @yyc1217 我會試試看 謝謝! 12/20 18:14
31F：→ marsyang1: 看要不要試試Guava的ImmutableSet 12/24 09:21
32F：→ Deltaguita: Guava整包 太肥了,不太適合在android 上跑 02/05 02:34