702 技術社區[雲棲]

驚心動魄！程序員們說這些時刻再也不想經曆了

下麵的這個場景你熟悉嗎：
在一個月黑風高的晚上，大風無情的刮落著樹上的枝葉。一個少年突然從睡夢中驚醒，發現已是一身冷汗，他看了看時間，才淩晨三點多，然後又重新閉上眼睛平複心跳，麵無表情地躺在床上一動不動，他要努力著讓自己睡著，因為他已經好幾天沒有睡覺了，他的身體需要好好的休息。

三天前的一個中午，當少年像往常一樣登錄服務器時，卻被服務器拒絕登錄，多次重輸密碼，卻怎麼也登錄不了。他這才意識到，服務器被黑客入侵了，服務器上300多個網站瞬間癱瘓。

一時間客戶暴打電話，客服妹妹嚇得不敢接電話，他試著接了一個，客戶一開口，就是破口大罵。整個公司亂

在奮戰兩夜三天後，服務器終於維護完成，漏洞已被找到，網站全部恢複正常。窗外的大風還在唿唿唿的刮著，又仿佛這一切從未發生過，但是少年的心裏卻留下了不可抹去的陰影，每天晚上被惡夢驚醒，聽到鈴聲心驚膽顫，不敢登錄服務器。

作為一個技術人員，誰都得經曆這種挑戰。比如：
ftp修改程序是為了偷懶，未備份源文件，結果操作失誤，誤刪文件；
大包大攬技術難題，結果久久未能出成果，最後使得整個工程無法完成；
負責的代碼出現超嚴重bug,把整個活動搞砸。
*

雲棲百位技術戰友分享的這些技術生涯特殊時刻，你有沒有覺得似曾相識？

**雲棲網友巴洛克上校：**
您在技術生涯中遇到的最大危機是什麼？
做前端的目前工作沒遇到過太大危機，要是說ftp修改程序是為了偷懶沒備份結果刪錯了還真有，結果趁人沒發現重弄了放上去了，再就是我寫了好幾天的代碼再某人一次錯誤的把插銷屏幕變黑那一刻全部變成了亂碼而且客戶還著急要，當時想殺了他。要說大危機公司確實遇到但是也是4年前我剛去公司不久的事情過事情這樣的當時我們公司主要是負責做企業宣傳行網站的，那時候還是萬網好像還沒完全沒和阿裏合並，但是還有個挺大的Xin網，當時好像是Xin網的主機比萬網的便宜所以用的多數是他家的，可是有一天公司的電話響個沒完啊很多客戶都投訴說自家網站打不開再不就是說被顯示為危險網站不讓打開，經過查看統計50多個網站被掛馬，聯係了X網結果是我們正在恢複，可悲的是恢複回來的文件依然是不行；我們自己留的備份都是原始的很多網站中途改過很多次直接恢複了資料和修改的東西全丟了於是乎我們忙活起來了（那時候我還在實習期）把掛馬的挨個下下來改啊當時都瘋了因為當時還有零幾年的純靜態的網站想想那地多些頁啊，奮戰了4天，才弄好從哪以後公司慢慢把網站全都轉到萬網了，並且給我們立了條規矩就是網站一周至少備份一次，當然我不管備份的事情哈哈。但自從換到阿裏再也沒出過這個問題，不得不說阿裏很牛啊。

有些讓你擔驚受怕的往事整得你會夜不能寐？
讓我夜不能寐的往事有但是跟工作沒太大關係，就是我小時候很小的時候和我表哥玩，那時候他也不大，在我家院子裏有個二層樓的高台表哥他手裏拎著帶尖木棍子爬上去扔讓我在下麵接著那時候小啊，傻嗬嗬就去接要現在打死我也不幹啊，一下子木棍在就插進我眼睛裏了，那種感覺至今難忘啊，我媽急忙送我去醫院醫生那個酒精球就往眼鏡裏懟啊，完了有用生理鹽水衝那酸爽，最後縫了3針醫生告訴我媽你孩子命挺好在偏一點眼睛就瞎了現在想想都後怕。

你是如何應對這些的？
如果我遇到大危機第一件事冷靜分析啊看看什麼原因造成的，根據原因查找解決辦法。

**雲棲網友ecs333：**
之前雲還沒興起的時候，自己托管服務器在機房，修改ssh端口，把22注釋後，service sshd restart，害得我半夜打機房運維電話。

**雲棲網友jackyliu：**

在上家公司的時候，我負責開發了一個大版本的跨服戰功能，一個賽季要一周，整個比賽的進程主要是timer驅動的。這個功能最初在本地測試沒有問題，上線時，某些區服會時不時出現比賽不走了。服務器是JAVA寫的，也看不到錯誤日誌。這個BUG折磨了我一個月，因為無法自測重現，隻能改一版，扔到線上測試測試，如此反複。說結論吧，最後發現，原因是批量加分時，我為每個用戶開了一個線程，導致OOM線程退出了，而僅當參賽玩家足夠多時，才會OOM。代碼寫的try catch隻捕獲Exception，不包括Error，這個bug弄的我現在都有陰影了，現在寫代碼都是try{}catch(Throwable t){}
這個BUG，前前後後拖累了項目一個多月，運營測試還陪我熬了幾個通宵。每次運營來找我，我都害怕，心想：操，程序又自動退出了。後來我都想引咎辭職了，可是我走了誰修這個問題？
後來終於熬出來了，同事和老板也沒有明裏指責我。沒辦法，那時候，我做服務器開發才半年吧，經驗不足。後來，我在服務器開發上越發在行，在現在公司也是主力開發。一個經驗就是，服務器資源一定不能隨著用戶數ON級別增長。艱難困苦，玉汝於成，與諸位共勉！

**雲棲網友紅塵老方：**
半年前，為單位做的宣傳片已接近尾聲，兩天後為來賓登台播放。結果遭二愣子兄弟誤格式化，包括素材視頻等若幹G的資料全部丟失，該分區還被寫入了數據。瞬間感覺天塌地陷！奮鬥兩天兩夜沒合眼，好歹最終交了差！淚奔啊！

**雲棲網友浮生遞歸：**
一次客戶網站被黑，被上級單位監測出來，並發通知過來。然而以我的水平，查遍服務器也沒找到問題。然後同事裏也沒人願意幫忙背這個大鍋。我隻能按照固定的一些套路，去一一排除，然後做好排查記錄，並上報情況。直到現在，也沒發現問題到底出在哪裏。嚴重懷疑是誤報，TNND。
自己的信息管理係統，部署在某個網站下麵。一次該網站被黑，被上傳了木馬等文件。從安全角度講，該網站下的所有文件都涉嫌了信息泄露。包括我自己的那個信息管理係統。然後，這個係統裏保存了我所有重要的資料，比如各網站的FTP賬號密碼，後台地址賬號密碼，已經銀行帳號密碼等等。現在還是天天在擔心，整個數據庫被黑客扒過去了，他會不會發現裏麵的這些資料，然後對這些資料進行利用。那我就杯具了。雖然可以把所有的密碼都修改一遍，但是涉及到一百多個密碼，實在懶得去改……
每次危機都能讓自己安全方麵的技術提高一大步。但是畢竟自己不是專業安全維護人員，感覺這方麵研究太深也沒什麼必要。隻要做好標準的處理就差不多了。畢竟做人不可能每方麵都做到專精。寧精勿雜，寧專勿多才是正道。

**雲棲網友1277187923309524：**
我個人覺得危機很多，也不知道以後還會有什麼樣的危機。
無法入睡的事情也很多，但是最讓人難受的是客戶的數據庫服務器全崩盤，所有數據全丟失……天天都在想辦法修複，要是弄不好，沒法在這混了，那段時間提心吊膽的。

**雲棲網友歡樂的胖子：**
感覺好像隻要是跟我稍微有點關係的技術問題都會讓我睡不著，這麼多年了即使是其他部門負責的業務突然宕機，隻要知道了就很揪心，一直關注進展，雖然很多時候並不能幫上忙，但是當問題解決的消息出來後，終於一身輕鬆。印象最深的是上上個東家，有位很重要的客戶數據丟失了，怎麼查都查不到，為了排查問題連續通宵好幾天，問題解決後還有段時間做夢都夢到在排查問題。

**雲棲網友悲劇的冰水：**
直接複製sql語句沒看內容結果中間有條drop table。還好drop掉的是張老日誌表，最後重新導入了。服務器新增結果超負荷跳閘，半個機房的數百台單電源設備全宕。最後趕緊去叫電力師傅上電，新設備暫停上架，整個集團設備上架流程變更，新設備入網新增電力負荷審計流程。。。。帶新人去配置板卡，讓新人把板卡拿回倉庫，結果新人把價值數十萬的語言板卡裝袋子裏甩著玩，然後脫手甩飛。趕緊把板子撿回來測試半個小時。。。想要執行rm -rf 手滑輸入個rm -rf /。重裝重部3小時。
錯誤可一不可二。每踩一次坑都是一次進步。

**雲棲網友石頭2017：**
就在兩個月前，我們的服務器被DDOS攻擊了，半小時過去了還沒有解決，被老板罵了個狗血噴頭，之前也出現過被攻擊的情況，不過都是10幾分鍾後就恢複平靜，但是這次不一樣，仿佛那邊的黑客就盯著我們一樣，持續不斷的攻擊，我們上一台服務器，馬上癱掉，上一台馬上癱掉，兩天過去了，中午消停了，可是就在過了個周末，周一又被攻擊癱瘓了，似乎那邊的黑客想怎麼玩我們就怎麼玩，又折騰了兩天，通宵達旦啊，我們身體都吃不消了，那邊老板還在不斷催促著，最後上了高防IP,終於消停了，我的娘啊，還得我還得了病毒性皰疹，醫生說都是熬夜惹得或！

**雲棲網友石頭1119197705597954：**
自己寫的代碼把服務器搞死機了，瞬間感覺自己闖了大禍
 **雲棲網友石頭1119197705597954：**
一年前，正值高考期間，單位所處地段正在進行三改四化項目建設，正在從事高考工作時，突然被人告知單位的網站，oa等所有業務應用都不能訪問，心裏咯噔了一下，馬上向領導告假奔赴機房，發展機房完全斷電（受三改四化影響停電），不是有ups嗎？？怎麼會斷電？帶著疑問檢查ups，真是屋漏偏逢連夜雨，趕巧ups竟然罷工了，以為來電就會沒問題的，也就沒放心上，晚上來電後加班啟動機器，結果發現所有的業務服務器全部不能正常啟動，單位的服務器全部虛擬化，采用的群集化管理，因非正常斷電關機，存儲陣列櫃發生錯誤，數據岌岌可危，所有虛擬機出現磁盤鏈錯誤無法啟動，加班搞了通宵，找dell技術溝通（dell說服務期已過，拒絕提供服務），隻能依靠度娘查閱了大量的資料終於恢複，馬上第一時間將重要數據做了異地備份，同時ups按流程進入政府采購流程，鬆了一口氣後繼續高考工作。好景不長，時隔二天進入學考，又被告知所有業務不能訪問了，再次排查，悲催的事情再次發生，因三改四化再次斷電，ups還在走流程，隻能祈禱不要出問題，來電能正常恢複，可越是擔心的事就偏偏發生，等電再次恢複時，所有虛擬機徹底癱瘓，數據全部丟失。幸好出問題時數據全部做了異地備份，不然真不知道如何交代。接二連三的災難讓我產生了放棄自建機房的念頭，向領導打報告購買阿裏雲ecs服務器，給領導算了一筆賬，服務器存儲櫃硬件費用，15kw的360天的不間斷電費遠遠超過阿裏雲的租賃費，專業的事情交給專業的人去做，我隻管使用，換來了穩定的安全的服務。一年過去了，阿裏雲給我帶來了前所未有的使用體驗，一年來，360天無故障運行，過硬的技術支持，人性化的售後，安全的數據備份（快照及鏡像），強大的管理功能，無不得心應手。真實的切身的體驗，作為機房管理員的你，是不是有了新的想法？最後申明，我無意為阿裏雲宣講什麼，隻是現在的我，真的工作起來很愜意，很輕鬆！！！
雲棲網友favori：
最怕的就是'找不到該對象'！！！！！！！！！not found this object