「值班救火,撐到天亮。」是一款從凌晨 2 點的 on-call 呼叫到早上 9 點上班,不斷處理湧來的告警、守住正式環境的生存遊戲。本頁說明操作、畫面的看法、指令與進化、晚上的時間表與永久強化。
操作
- 手機:在畫面任何地方按住拖曳,按下的地方會出現搖桿,就會往那個方向移動。放開手指就會停下
- 電腦:用 WASD、方向鍵或 hjkl 移動,Esc(或 P)暫停,R 隱藏 HUD(錄影用)。升級的三選一也可以用 1〜3 鍵選擇
- 指令全部自動執行。玩家要做的,只有避免被告警包圍,以及去撿已解決工單
- 聲音(背景音樂與音效)一開始就會播放。可以在標題畫面或暫停畫面的「聲音」切換
畫面的看法
- 時鐘(上方中央):從 2:00 開始,現實的 1 秒等於遊戲裡的 1 分鐘。9:00 同事進公司就過關
- 可用率(時鐘下方):從 100.00% 開始,碰到告警,或被主管、DB 的子彈打到就會下降。跌破 SLA 的 99.0% 就會以「違反 SLA」結束。越低量表就會從綠→黃→紅,低於 99.3% 時畫面邊緣會變紅
- 經驗值條(最上方):撿起處理完的告警掉下的「已解決工單」就會累積,滿了就會升級。水藍色、黃色的大工單經驗值比較多
- 指令記錄(左下):每次執行指令,都會流過像
$ grep -r ERROR /var/log這樣的文字 - 一口氣處理很多告警時,會出現「Resolved ×○」
升級與指令
升級時時間會暫停,從三個候選中選一個:拿到新的指令或被動技能(帶著就有效的技能),或強化已有的。最高 Lv5(Runbook 只到 Lv2),指令和被動技能各最多 4 個。
| 指令 | 攻擊方式 |
|---|---|
| grep | 往移動方向射出綠色雷射,一整排告警一次貫穿處理掉(最初的指令) |
| 重啟 | 每隔幾秒以自己為中心炸出大圓圈。畫面會瞬間變暗 |
| 回滾 | 往四面八方擴散的波。把告警往外推回去 |
| 熱修復 | 修補彈會追著最近的告警跑 |
| 自動擴展 | 小伺服器繞著你轉,各自射擊附近的告警。被包圍會掛掉,過一陣子再回來 |
| 限流 | 讓周圍告警的動作變慢 |
| 被動技能 | 每級效果 |
|---|---|
| 冗餘 | 受到的傷害 −10% |
| Runbook | 彈數 +1(最高 Lv2) |
| CI/CD | 攻擊間隔 −8% |
| 咖啡 | 移動速度 +10% |
| 補眠 | 可用率每秒回復 0.01% |
| 監控儀表板 | 撿工單的範圍 +20% |
進化
把指令升到 Lv5,又帶著對應的被動技能時,下次升級的候選中就會出現「進化」(金色外框)。升級卡片上寫著組合的對象,已經擁有對象的卡片會發出綠光。
| 指令 Lv5 | +被動技能 | 進化 |
|---|---|---|
| grep | 監控儀表板 | 可觀測性:4 道雷射一邊旋轉一邊掃描全方位 |
| 重啟 | 冗餘 | 零停機部署:大圓圈之後無敵幾秒。不會再暗屏了 |
| 自動擴展 | CI/CD | Kubernetes:分身最多 8 台。掛掉也幾乎馬上自動復活 |
| 熱修復 | Runbook | 自動修復腳本:修補彈每次命中都會分裂、連鎖打下去 |
撿到的東西
- 能量飲料:回復量表三成的可用率。逾時常常會掉
- Escalation:把畫面上的已解決工單全部吸過來。2:12 左右,一定會有一張掉在你附近
- 維護模式:8 秒內碰到告警,可用率也不會下降
晚上的時間表
| 時間 | 發生的事 |
|---|---|
| 2:00 | 手機的呼叫鈴聲響起,遊戲開始。幾個 WARN 告警靠過來 |
| 2:30〜 | 紅色的 500 Internal Server Error 混進來 |
| 3:00 | 「告警引發告警」:這 1 小時內,處理掉的告警會分裂成 2 個 WARN |
| 3:30〜 | 會隨時間變大的記憶體洩漏。放著不管會變硬,碰到時的傷害也會變大 |
| 4:00 | 夜間批次一起跑起來,WARN 從畫面四周湧來。繞圈逼近的無窮迴圈也開始出現 |
| 4:30〜 | 又慢又硬的逾時(504) |
| 5:00 | 中魔王「主管的『現在狀況怎樣?』」。一邊發射聊天泡泡一邊追過來。6:30 前沒讓他接受你的說明,他就會回去開下一個會 |
| 6:00〜7:00 | 早上流量高峰。又小又多的請求洪流,從右、左、上方成群湧來。是一晚上告警最多的時段 |
| 7:30 | 「憑證過期」:30 分鐘內畫面變成警告色,告警變快 |
| 8:00 | 魔王「正式 DB 全掛」。巨大的資料庫往四面八方噴射 SELECT * 查詢彈,還帶著一群 500 錯誤 |
| 9:00 | 同事說著「早安~昨晚有發生什麼事嗎?」進公司,過關 |
到了 9:00 正式 DB 還沒恢復時,時鐘會停在 8:59,在 30 秒內讓它恢復就過關。30 秒過後,進公司的同事會接手,同樣算過關。過了 7:30 快要跌破 SLA 時,只有一次SRE 團隊會來支援讓你復活(可用率回到量表的一半,5 秒內不會下降,並推開周圍的告警)。
分數與值班津貼
- 分數是「處理的告警數 × 撐過的時間(從 2:00 起的分鐘數)÷ 10」
- 值班津貼:每處理 10 件告警得 1,每撐過 6 分鐘得 1,撐到 9:00 再得 80
- 結算畫面就是一份「事故報告書」,可以存成圖片或直接分享。上面會寫著最低可用率、主要原因與執行的指令
- 在結算畫面按「去讀技術書·參加讀書會」,就能直接購買強化
技術書·讀書會(永久強化)
在標題畫面的「技術書·讀書會」,可以用值班津貼購買之後每個晚上都有效的強化。每種最高 Lv5,價格是 60、120、200、320、480(設計審查是 80、160、260、380、520)。
- 故障演練:可用率緩衝 +10%(受到同樣傷害,可用率也比較不容易掉)
- 事後檢討文化:攻擊力 +6%
- 快捷鍵分享會:移動速度 +5%
- 技術書讀書會:獲得的經驗值 +8%
- 設計審查:升級候選可重抽的次數 +1
第一個晚上,大多會在 6 點多的早上流量高峰跌破 SLA。多玩幾次湊齊強化、做出一個進化,就能撐到 9:00 了。
角色
| 角色 | 特色 | 解鎖條件 |
|---|---|---|
| 菜鳥維運 | 普通人。以 grep 開局 | 一開始就能用 |
| 資深 SRE | 以較強的重啟開局。稍微耐打一點 | 撐到 5:00 |
| 全端工程師 | 以熱修復開局。稍微快一點,經驗值稍微多一點 | 累計處理 1,000 件告警 |
| CTO | 以自動擴展開局。攻擊力、可用率緩衝、速度、範圍全都很高,但偶爾會被叫去開高層會議,4 秒不能動 | 撐到一次 9:00 |
今晚的事故(每日)
每天所有人都玩同一個角色、同樣告警出現方式的夜晚。事故內容與告警多寡依星期而定,星期日比較少,星期五是「收拾星期五上版的爛攤子」,告警最多。當天的最佳分數會顯示在標題畫面,可以把結果的事故報告書分享到 X 來比一比。
告警圖鑑與成就
遇過的告警、拿到的指令與進化會記錄在告警圖鑑,每一項都能讀到一句「維運人都懂」的小梗。還有「保持可用率 99.99% 以上撐到早上」「讓正式 DB 恢復運作」等 13 個成就,其中一個是達成前不會顯示名稱的隱藏成就。紀錄只會儲存在你的瀏覽器裡。