java 板


LINE

其實有點承上文, 我的需求是想控制Logstash(後稱LS)這個東西, 它是Ruby寫的東西,然後Run在JVM上面(JRuby), 因為有些狀況,我想要侵入Logstash正在運行的JVM, 我想要控制它的Thread執行的速度, 在某些情況下,我必須要讓LS慢下來不要跑這麼快。 我一開始是想透過我的程式當作進入點, 再導向LS主程序,這樣我就可以控制了, 但尷尬的是我不懂Ruby,所以也就不曉得怎麼卡進去了。 後來我透過JMX,也看不出哪裡可以讓我插入執行的地方。 然後我又知道BTrace這東西,所以想利用它ASM的原理來完成我的需求。 我主要是不想動LS任何東西,就可以進入它的JVM做事情, 不曉得版上的大大對於這種需求有沒有建議的方式? -- 你只是大大的世界中小小的一個島嶼 在你懷中長大的我們 從未忘記 我要用全部的力氣唱出對你的深情 歌聲中 只是真心的讚美 929 吳志寧 也有感謝和依戀 疼惜和憂煩 全心全意愛你 --



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.42.65.102
※ 文章網址: https://webptt.com/m.aspx?n=bbs/java/M.1489157602.A.181.html
1F:→ luoqr: 把LS多包一層當成自己的程式 然後自己插自己!(誤) 03/10 23:33
2F:→ cowbaying: CLASSLOADER? 03/11 13:17
3F:→ qrtt1: 機器不給力時就該換機器啊 03/11 17:08
我想我得解釋清楚一點(但說起來好累啊), 倒也不是機器給不給力的問題... 是我們使用ELKstack這個東西, 我們使用架構也如同官方說明: https://www.elastic.co/guide/en/logstash/5.2/ deploying-and-scaling.html#deploying-message-queueing (抱歉...請自己接上連結,PTT縮址會被限制發文QQ) 整套ELKstack分散在四台機器上,跟各個要收log的host, 問題就在環境不穩,動不動就網路不通、或者硬碟突然被塞滿、 甚至莫名其妙VM掉下來(不要問我為什麼,我也不想這樣...) 任一個環節出問題,只要Queue滿了,整條路都會不通, 不通之後LS這傢伙從File收到的資料送不出去, 就會被當作錯誤而被丟棄,造成資料遺失... 而我想做的就是監控整個環節, 當異常的時候我需要控制所有shipper(約有20來個LS)停下來, 或者是繁忙的時候,我要讓他們慢下來... (我知道官方後來推Filebeat當作前端shipper,但目前無法更換架構...) 而我不想修改LS任何東西的原因在於未來升版的話會是一個麻煩點, 因為這樣我的控制機制跟LS有過高的相依性, 所以我才想採用JMX或者是BTrace這種而外侵入的方式來做。 我是有想了很多偏方,就是監控透過SSH進去該台機器下指令停止, 或者LS啟動TCP的input來接受訊號處理。 但我想既然他是JVM,那就透過JMX或其他JAVA的方法來做,比較實際。 一方面是私心想玩java的東西,一方面是如果透過Linux基礎來做, 意味著如果未來有其他OS的log需要納管,這招就會行不通... 說了這麼多,就是想像BTrace一樣,一個JVM跑得好好的, 想隨時插進去看狀況甚至控制一些事情,不曉得這樣各位大大有無好建議? (仔細想想,這樣好像變成駭客行為,而且一不小心就有漏洞出現QQ) ※ 編輯: NullLife (114.42.65.102), 03/11/2017 21:25:12
4F:→ qrtt1: jvm 無緣無故不見,很可能就是機器本的的資源不足了啊。 03/12 11:52
5F:→ qrtt1: 機器給不給力,不是單看它本身,還有一起共存的程式資源使 03/12 11:53
6F:→ qrtt1: 用量。剩餘資源不夠時(例如記憶體)就可能觸發 oom-killer 03/12 11:54
7F:→ qrtt1: 另外,如果硬碟吃緊。應該優先考慮把檔案弄上 storage, 03/12 11:54
8F:→ qrtt1: 不管是 aws s3 或其他 cloud provider 都有方案或社群的 03/12 11:55
9F:→ qrtt1: plugin 可以使用。不過說到底,這套東西本身就吃比較多資源 03/12 11:55
10F:→ qrtt1: 接 log 部分,可以為成 fluentd (native 版) 的,再導給 03/12 11:56
11F:→ qrtt1: elasticsearch + kibana 會比較順一點。 03/12 11:56
感謝qrtt1大大, 可惜無奈現實考量,不是說缺馬上就有硬體resource可以用的... 但我會研究一下fluentd,感謝<(_ _)> ※ 編輯: NullLife (114.42.68.46), 03/12/2017 19:51:53
12F:推 Killercat: nice他不就好了 o_oa 或者參照cgroups 03/15 14:25







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:WOW站內搜尋

TOP