摘要: 午夜十二點,KMonitor生命聯動系統在監測到金小倉的內存壓力過高后立即報警,120指揮中心接到警報,迅速派出救護車將金小倉送到了西虹市市立醫院的急診科,病人情況危急速請華生·K醫生到診室1進行會診,醫生華生·K接過KMonitor內存告警單,仔細查看起來。
急診風云—突發監控告警
嗚瓦~~嗚瓦~~
午夜十二點,KMonitor生命聯動系統在監測到金小倉的內存壓力過高后立即報警,120指揮中心接到警報,迅速派出救護車將金小倉送到了西虹市市立醫院的急診科,病人情況危急速請華生·K醫生到診室1進行會診,醫生華生·K接過KMonitor內存告警單,仔細查看起來。
KMonitor內存監測圖、告警單
“一般是查詢量突然增多導致的內存壓力突增,先增加物理內存試試吧?!??華生·K醫生給金小倉插入了一根新的內存條??粗鴥却姹O測圖中慢慢降下來的壓力值,他輕輕地拍了拍金小倉安慰道:“別怕,只是查詢量突增而已,加根內存條不就好了嘛?!彪S后,金小倉接過病歷單長舒一口氣,心想還好身體內置了KMonitor芯片,可以與醫院實時聯動,及時發現處理問題。
硬核復診—高效處理故障
時隔兩周,金小倉又出現在市立醫院的數據庫門診大廳,這次的他似乎神情略顯呆滯,慢吞吞地進入診室。今天是華生·K醫生坐診,金小倉說道:“大夫,一周前客戶新增了應用系統的業務模塊,就開始覺得自己呆呆的,不知道哪里出了問題?!比A生·K醫生檢查起金小倉的基本狀態:舌苔暗沉、脈搏波動略慢。“從這些癥狀來看,基本確定是因為最近一周突增大量數據庫鏈接,導致查詢壓力過大,從而產生的鎖競爭情況格外突出,同時CPU應該有瓶頸?!??華生·K醫生依靠多年的臨床經驗心中慢慢分析,同時說道,“再做個KMonitor檢查,它出具的檢查報告更加詳細,可以確定問題根源對癥下藥,順便再檢查下最近的內存問題,看看有沒有異常波動?!??華生·K醫生將目前發現的問題簡單列到了病歷上。
隨后,便引金小倉進入了里面的檢查室。
“躺下不要動,靜下心來,深呼吸……”,一邊說著,華生·K醫生一邊操作著新引進的KMonitor設備為金小倉做全身掃描檢查。片刻后,一張張檢查報告自動打印了出來。
華生·K醫生盯著KMonitor出具的內存檢查報告,看來新增的業務模塊對內存的壓力還是很大的,內存使用率都到95%了。
緊接著,華生·K醫生查看了KMonitor輸出的KingbaseES性能報告,最近兩周以來,數據庫鏈接持續增長,緩存命中率逐步降低,說明前期的診斷方向是正確的,提高內存容量解決了部分問題。
隨后華生·K醫生又翻看了近一個月來整體的性能壓力走勢圖,心中沉思道“壓力持續增長,可以考慮擴容節點,搞成讀寫分離集群形勢,可以讓備節點分擔一些查詢壓力。”
最后華生·K醫生通過KMonitor檢查了金小倉的SQL查詢情況,查詢報告中顯示出了“響應時間抖動最嚴重語句”“平均查詢時間最慢語句”等信息,華生·K醫生挨個語句進行分析:
SQL語句的抖動應該與硬件資源壓力有關,壓力一大同樣的查詢數據庫相應的時間就會增大,這個需要升級硬件或者擴容解決。
慢SQL的問題,前面兩個語句都是perf表的查詢,響應時間高達1s多,看來是這個表太大又沒有建立索引的問題。
華生·K醫生依據KMonitor的檢查報告,又對病歷做了調整,同時提醒金小倉:“KMonitor是KingbaseES的專用檢查工具,可以做全身的體檢,提早發現隱患問題,像你這種情況需要定期過來檢查一遍,不適及時就診。”
金小倉按照病歷指導擴容了一個節點,又找推拿師針對大容量的幾個表(比如perf表)做了分區并重新建立索引,調整了數據庫參數,新增了鏈接池模塊,似乎又回到了之前無憂無慮的快樂時光,客戶投訴率下降了好多。
3
體檢日記—預估潛在風險
一個月后,華生·K醫生照常在坐診,金小倉看著華生·K醫生說:“華生醫生,我現在狀態好多了,不過昨天突然心跳加速了一下,當即掛了您的號,趕緊過來看看是怎么回事?”
華生·K醫生盯著前幾次的病歷記錄陷入沉思:這種異常情況難道是最近頻繁更換硬件的副作用嗎,但從升級報告來看是做過兼容壓力測試的啊?!安粫瞧髻|性病變前兆吧,只能再做次KMonitor檢查了?!?/p>
金小倉照舊躺在KMonitor檢查艙中,旁邊的華生·K醫生翻看起KMonitor吐出的一份份檢查報告。
突然這份服務器資源監測報告引起了華生·K醫生的注意,在昨天12:00時CPU、內存、磁盤壓力出現突刺現象,奇怪的是磁盤讀寫速率很低但磁盤使用率卻高達75%。
華生·K醫生使用KMonitor的磁盤檢測工具對所有磁盤做了一次全面掃描,發現一塊硬盤出現了十幾次C5警告,這是硬盤壞道的警告提示,華生·K醫生恍然大悟,看來它就是導致心跳加速的罪魁禍首,幸虧有KMonitor這個集成化的監測平臺,不然定位這個問題可就麻煩了。
“你心跳加速的原因找到了,這塊硬盤即將出現壞道……”華生·K醫生終于分析完所有報告,給出了最終結論,自己也長舒了一口氣。
“壞道,竟然是壞道……”金小倉像是聽到了催命符一般,“還好來醫院檢查了,不然造成丟數事故后果不堪設想,我的年終績效就泡湯了。K醫生這個檢查設備真厲害啊,這種問題都能查出來!”
華生·K醫生往常對丟數病患也是頭疼,出了丟數問題修復困難,另一方面也沒有好的手段預防。
但好在有了KMonitor監測工具,可以提前預警:“這是新引進的設備KMointor,以后繼續定期來醫院體檢,它會提前預警很多疾病;你體內的KMonitor芯片一直在監測各種指標,一旦有異常情況會及時告警,我們醫院也會收到警告信息,及時為你提供針對性的解決方案?!?/p>
金小倉毫不猶豫地更換了硬盤并利用備份集做了恢復,多虧了KMonitor及早處理隱患,防患于未然。走出醫院的金小倉,嘴角微微揚起,整個人彷佛脫胎換骨一般,因為它知道體內的KMonitor芯片正在實時地守護著自己。
華生·K醫生看著金小倉離開的背影,拿起電話:“福爾摩斯·K先生,我是華生,我回來了!”。
當前疫情形勢依舊嚴峻,無數的企業、家庭和個人被籠罩在疫情的巨大陰影之下。
結語
在這場看不見硝煙的戰斗中,一線疫情防控工作者們默默堅守在自己的崗位上,為大眾做好健康防護工作。
然而,昔日奔波于各個客戶現場的數據庫實施運維和DBA,受疫情影響活動受限,只能在客戶求助時遠程介入,無法周期性巡檢。因此,那些在周期性巡檢時就能發現并解決的問題,例如數據庫性能降低、硬件資源出現告警、CPU使用率過高、磁盤空間不足、網絡延遲超長等,對于居家隔離的數據庫實施運維和DBA而言,就變得鞭長莫及,只能在這些問題演變成了事故時四處救火。
人大金倉KMonitor于此時橫空出世,立志成為數據庫背后的孤勇者,為購買使用金倉數據庫的用戶保駕護航,時刻關注他們在生產環境下金倉數據庫的健康狀況,一旦發現問題及時告警,幫助DBA和用戶及早處理隱患,防患于未然。
數據庫的健康守護者——KMonitor,于無聲處默默地堅守自己的崗位,保障數據庫的健康運行,保護用戶數據的安全。
本屆亞冬會以“冰雪同夢·亞洲同心”為主題,是繼北京冬奧會、杭州亞運會后,我國舉辦的又一大型國際綜合體...
今年是STIF的第五屆活動,活動預計有近300家全球科技創新頭部品牌匯聚現場,150余位重要嘉賓分享...
公益節是中國公益慈善領域最具影響力的年度盛事。公益節設立于2011年,是國內首個由大眾媒體聯袂發起的...
2024年10月30日晚間,通化東寶發布公告稱,公司控股股東東寶集團擬通過自有資金與自籌資金相結合的...
投資家網(www.51baobao.cn)是國內領先的資本與產業創新綜合服務平臺。為活躍于中國市場的VC/PE、上市公司、創業企業、地方政府等提供專業的第三方信息服務,包括行業媒體、智庫服務、會議服務及生態服務。長按右側二維碼添加"投資哥"可與小編深入交流,并可加入微信群參與官方活動,趕快行動吧。