大事記

從 Season 2 開始以來的各種歷史

814 停機事件

2023-08-14 停機事件,又稱為 814 停機事件,為美代子伺服器進入 Season 2 以來嚴重停機事件之一,發生於早上 08:56 以及下午 07:18。

儘管沒有造成玩家實際物品上的損失,但仍需花費大量時間將伺服器復原到以往可用狀態。

事發經過

2023 年 8 月 14 日總共發生兩次停機,先是在上午 08:56 由美代子造成的停機,接著是在下午 7:18 由卡屁造成的停機。

原先是為了要瞭解與解決伺服器於當日上午 01:36 左右發生的卡頓當機問題,最後導致嚴重停機事件。

第一次停機

2023 年 8 月 14 日上午 01:36,卡屁回報伺服器大當機,且附上 Webmin 截圖顯示伺服器所有資源吃重。

同日上午 07:42 ,伺服器最後一次備份完畢後,由於無玩家在這之後上線,伺服器備份被暫停。

同日上午 08:30 左右,美代子接獲通知後登入伺服器 SSH 查詢伺服器資源占用狀況,但上午 08:56 ,在查看伺服器檔案占用大小時,致命地輸入錯誤指令將主伺服器的所有檔案刪除。美代子發現之後立刻將伺服器還原到最新備份狀態,最後於上午 09:18 復原完畢後於 Discord Server 上發布公告告知此事。

第二次停機

由於在排查 Lag 問題時發現 NTFS-3G 持續占用不小的 CPU 資源,與卡屁討論之後決議將卡屁自己的資料碟轉為 ext4 格式。轉換工作於同日下午 02:00 左右開始。

同日下午 05:21,卡屁截圖 Webmin 畫面並回報記憶體不夠用,故於同日下午 06:19 美代子試圖登入 SSH 查閱資源占用狀況,出現 key_exchange_identification 錯誤。由於美代子連 XRDP 都無法順利連上,故先請卡屁幫忙查閱。

後來在後續討論後,發現卡屁犯下致命錯誤:卡屁在轉換硬碟格式時,暫時插入了另外一個暫時的 SSD,但在格式化並掛載之後,由於權限不足,卡屁試圖設定掛載目錄權限,卻錯誤地沒有將路徑打上相對路徑,而是根目錄的絕對路徑 (/)。由於當下卡屁使用 Webmin 的 Console (自帶 root 權限) 進行權限修改,使得系統所有檔案權限一同變更。

下午 06:48 起,美代子與卡屁開始嘗試進行權限修復,經過將近快一小時修復未果,於下午 07:43 決定重灌作業系統。於隔日 (2023 年 8 月 15 日) 上午 02:27 確認沒有其他問題後發布公告。

後續

伺服器本次事件後恢復正常連線。但由於伺服器仍然有其他問題,如 Intel i5-12500T QS 鎖頻問題,在運作上仍不正常,直到更換 CPU 為 Intel i5-12500 後運作才比較穩定。

範本:大事記

本範本僅供參考,可以選擇使用自訂格式

你可以在前面打上事情簡述

背景

事件發生的背景,非必要

事件經過

可以對事件當中發生什麼事情進行解釋,可以用時間軸,或是單純流水帳也 OK

事發原因

事件發生的原因,如果在「事件經過」當中有詳細描述,那這裡非必要

後續

事件的後續發展

伺服器MSPT的至高頂點:

2023-08-04 的凌晨期間,伺服器迎來了有史以來紀載mspt所達到的最高點:71
由附魔書店老闆 烏鴉在早上 06:15 觀測到。

mspt.jpg

這是Server有史以來mspt第一次衝破70。
沒有人知道這個狀態持續了多久,但可以確定的是:整個事件的區間大約落在清晨兩點直到早上
確認此次事故肇因並完全停機排除為止。

事故背景

此次事故的肇因為一台收集系統建設不良的ilmango礦車型黃金農場紅石機器所造成。

機器建造者及使用者為:MuChin
機器落成確切時間不可考,已知大約為:2023-08-01 左右。

掉落物類型為黃金農場的主要產物,其分別為:腐屍肉、豬殭屍的附魔黃金劍、金錠和金粒。

事件經過

2023-08-04 的凌晨至早上 伺服器mspt由於黃金農場收集系統不良所造成的掉落物溢出,導致效能嚴重損耗。
最終導致了mspt飆高至70以上。

由於機器運作時是屬於全自動掛機狀態,此一事態無法立即排除。
上午 07:53 機器使用者第一次察覺異狀,此次同時也造成了使用者本身的客戶端FPS驟降
間接導致使用者的腳色摔落高處死亡。

- 無法確認機器擁有者是否有對於此狀態的排除動作。

而後,機器繼續處於運作狀態。
在此一區間,伺服器的mspt重新飆升至40以上

2023-08-04 上午 11:41

由伺服器首席紅石技術專家 eddie 確認此次mspt飆高之肇因為 MuChin 的黃金農場
機器停機後事故狀態排除。

其收集系統附載最尖峰處的收容速度僅為1*hopper speed
完全無法應付大量的掉落物,導致其溢出
並且豬人會有更換武器之習性,此一特性再度地加深了MobEntity的占用率。

後續

此後,機器擁有者依照 eddie 之建議,將收集系統砍掉重練。