245
MySQL · 引擎特性 · InnoDB崩潰恢複
前言
數據庫係統與文件係統最大的區別在於數據庫能保證操作的原子性，一個操作要麼不做要麼都做，即使在數據庫宕機的情況下，也不會出現操作一半的情況，這個就需要數據庫的日誌和一套完善的崩潰恢複機製來保證。本文仔細剖析了InnoDB的崩潰恢複流程，代碼基於5.6分支。
基礎知識
lsn: 可以理解為數據庫從創建以來產生的redo日誌量，這個值越大，說明數據庫的更新越多，也可以理解為更新的時刻。此外，每個數據頁上也有一個lsn，表示最後被修改時的lsn，值越大表示越晚被修改。比如，數據頁A的lsn為100，數據頁B的lsn為200，checkpoint lsn為150，係統lsn為300，表示當前係統已經更新到300，小於150的數據頁已經被刷到磁盤上，因此數據頁A的最新數據一定在磁盤上，而數據頁B則不一定，有可能還在內存中。
redo日誌: 現代數據庫都需要寫redo日誌，例如修改一條數據，首先寫redo日誌，然後再寫數據。在寫完redo日誌後，就直接給客戶端返回成功。這樣雖然看過去多寫了一次盤，但是由於把對磁盤的隨機寫入(寫數據)轉換成了順序的寫入(寫redo日誌)，性能有很大幅度的提高。當數據庫掛了之後，通過掃描redo日誌，就能找出那些沒有刷盤的數據頁(在崩潰之前可能數據頁僅僅在內存中修改了，但是還沒來得及寫盤)，保證數據不丟。
undo日誌: 數據庫還提供類似撤銷的功能，當你發現修改錯一些數據時，可以使用rollback指令回滾之前的操作。這個功能需要undo日誌來支持。此外，現代的關係型數據庫為了提高並發(同一條記錄，不同線程的讀取不衝突，讀寫和寫讀不衝突，隻有同時寫才衝突)，都實現了類似MVCC的機製，在InnoDB中，這個也依賴undo日誌。為了實現統一的管理，與redo日誌不同，undo日誌在Buffer Pool中有對應的數據頁，與普通的數據頁一起管理，依據LRU規則也會被淘汰出內存，後續再從磁盤讀取。與普通的數據頁一樣，對undo頁的修改，也需要先寫redo日誌。
檢查點: 英文名為checkpoint。數據庫為了提高性能，數據頁在內存修改後並不是每次都會刷到磁盤上。checkpoint之前的數據頁保證一定落盤了，這樣之前的日誌就沒有用了(由於InnoDB redolog日誌循環使用，這時這部分日誌就可以被覆蓋)，checkpoint之後的數據頁有可能落盤，也有可能沒有落盤，所以checkpoint之後的日誌在崩潰恢複的時候還是需要被使用的。InnoDB會依據髒頁的刷新情況，定期推進checkpoint，從而減少數據庫崩潰恢複的時間。檢查點的信息在第一個日誌文件的頭部。
崩潰恢複: 用戶修改了數據，並且收到了成功的消息，然而對數據庫來說，可能這個時候修改後的數據還沒有落盤，如果這時候數據庫掛了，重啟後，數據庫需要從日誌中把這些修改後的數據給撈出來，重新寫入磁盤，保證用戶的數據不丟。這個從日誌中撈數據的過程就是崩潰恢複的主要任務，也可以成為數據庫前滾。當然，在崩潰恢複中還需要回滾沒有提交的事務，提交沒有提交成功的事務。由於回滾操作需要undo日誌的支持，undo日誌的完整性和可靠性需要redo日誌來保證，所以崩潰恢複先做redo前滾，然後做undo回滾。
我們從源碼角度仔細剖析一下數據庫崩潰恢複過程。整個過程都在引擎初始化階段完成(innobase_init)，其中最主要的函數是innobase_start_or_create_for_mysql，innodb通過這個函數完成創建和初始化，包括崩潰恢複。首先來介紹一下數據庫的前滾。
redo日誌前滾數據庫
前滾數據庫，主要分為兩階段，首先是日誌掃描階段，掃描階段按照數據頁的space_id和page_no分發redo日誌到hash_table中，保證同一個數據頁的日誌被分發到同一個哈希桶中，且按照lsn大小從小到大排序。掃描完後，再遍曆整個哈希表，依次應用每個數據頁的日誌，應用完後，在數據頁的狀態上至少恢複到了崩潰之前的狀態。我們來詳細分析一下代碼。
首先，打開所有的ibdata文件(open_or_create_data_files)(ibdata可以有多個)，每個ibdata文件有個flush_lsn在頭部，計算出這些文件中的max_flush_lsn和min_flush_lsn，因為ibdata也有可能有數據沒寫完整，需要恢複，後續(recv_recovery_from_checkpoint_start_func)通過比較checkpoint_lsn和這兩個值來確定是否需要對ibdata前滾。
接著，打開係統表空間和日誌表空間的所有文件(fil_open_log_and_system_tablespace_files)，防止出現文件句柄不足，清空buffer pool(buf_pool_invalidate)。接下來就進入最最核心的函數: (recv_recovery_from_checkpoint_start_func)，注意，即使數據庫是正常關閉的，也會進入。
雖然recv_recovery_from_checkpoint_start_func看過去很冗長，但是很多代碼都是為了LOG_ARCHIVE特性而編寫的，真正數據崩潰恢複的代碼其實不多。
首先，初始化一些變量，查看srv_force_recovery這個變量，如果用戶設置跳過前滾階段，函數直接返回。
接著，初始化recv_sys結構，分配hash_table的大小，同時初始化flush list rbtree。recv_sys結構主要在崩潰恢複前滾階段使用。hash_table就是之前說的用來存不同數據頁日誌的哈希表，哈希表的大小被初始化為buffer_size_in_bytes/512, 這個是哈希表最大的長度，超過就存不下了，幸運的是，需要恢複的數據頁的個數不會超過這個值，因為buffer poll最多(數據庫崩潰之前髒頁的上線)隻能存放buffer_size_in_bytes/16KB個數據頁，即使考慮壓縮頁，最多也隻有buffer_size_in_bytes/1KB個，此外關於這個哈希表內存分配的大小，可以參考bug#53122。flush list rbtree這個主要是為了加入插入髒頁列表，InnoDB的flush list必須按照數據頁的最老修改lsn(oldest_modifcation)從小到大排序，在數據庫正常運行時，可以通過log_sys->mutex和log_sys->log_flush_order_mutex保證順序，在崩潰恢複則沒有這種保證，應用數據的時候，是從第一個元素開始遍曆哈希表，不能保證數據頁按照最老修改lsn(oldest_modifcation)從小到大排序，這樣就需要線性遍曆flush_list來尋找插入位置，效率太低，因此引入紅黑樹，加快查找插入的位置。
接著，從ib_logfile0的頭中讀取checkpoint信息，主要包括checkpoint_lsn和checkpoint_no。由於InnoDB日誌是循環使用的，且最少要有2個，所以ib_logfile0一定存在，把checkpoint信息存在裏麵很安全，不用擔心被刪除。checkpoint信息其實會寫在文件頭的兩個地方，兩個checkpoint域輪流寫。為什麼要兩個地方輪流寫呢？假設隻有一個checkpoint域，一直更新這個域，而checkpoint域有512字節(OS_FILE_LOG_BLOCK_SIZE)，如果剛好在寫這個512字節的時候，數據庫掛了，服務器也掛了(先不考慮硬件的原子寫特性，早期的硬件沒有這個特性)，這個512字節可能隻寫了一半，導致整個checkpoint域不可用。這樣數據庫將無法做崩潰恢複，從而無法啟動。如果有兩個checkpoint域，那麼即使一個寫壞了，還可以用另外一個嚐試恢複，雖然有可能這個時候日誌已經被覆蓋，但是至少提高了恢複成功的概率。兩個checkpoint域輪流寫，也能減少磁盤扇區故障帶來的影響。checkpoint_lsn之前的數據頁都已經落盤，不需要前滾，之後的數據頁可能還沒落盤，需要重新恢複出來，即使已經落盤也沒關係，因為redo日誌是冪等的，應用一次和應用兩次都一樣(底層實現: 如果數據頁上的lsn大於等於當前redo日誌的lsn，就不應用，否則應用。checkpoint_no可以理解為checkpoint域寫盤的次數，每次刷盤遞增1，同時這個值取模2可以用來實現checkpoint_no域的輪流寫。正常邏輯下，選取checkpoint_no值大的作為最終的checkpoint信息，用來做後續崩潰恢複掃描的起始點。
接著，使用checkpoint域的信息初始化recv_sys結構體的一些信息後，就進入日誌解析的核心函數recv_group_scan_log_recs，這個函數後續我們再分析，主要作用就是解析redo日誌，如果內存不夠了，就直接調用應用(recv_apply_hashed_log_recs)日誌，然後再接著解析。如果需要應用的日誌很少，就僅僅解析分發日誌，到recv_recovery_from_checkpoint_finish函數中在應用日誌。
接著，依據當前刷盤的數據頁狀態做一次checkpoint，因為在recv_group_scan_log_recs裏可能已經應用部分日誌了。至此recv_recovery_from_checkpoint_start_func函數結束。
在recv_recovery_from_checkpoint_finish函數中，如果srv_force_recovery設置正確，就開始調用函數recv_apply_hashed_log_recs應用日誌，然後等待刷髒的線程退出(線程是崩潰恢複是臨時啟動的)，最後釋放recv_sys的相關資源以及hash_table占用的內存。
至此，數據庫前滾結束。接下來，我們詳細分析一下redo日誌解析函數以及redo日誌應用函數的實現細節。
redo日誌解析函數
解析函數的最上層是recv_group_scan_log_recs，這個函數調用底層函數(log_group_read_log_seg)，按照RECV_SCAN_SIZE(64KB)大小分批讀取。讀取出來後，首先通過block_no和lsn之間的關係以及日誌checksum判斷是否讀到了日誌最後(所以可以看出，並沒一個標記在日誌頭標記日誌的有效位置，完全是按照上述兩個條件判斷是否到達了日誌尾部)，如果讀到最後則返回(之前說了，即使數據庫是正常關閉的，也要走崩潰恢複邏輯，那麼在這裏就返回了，因為正常關閉的checkpoint值一定是指向日誌最後)，否則則把日誌去頭掐尾放到一個recv_sys->buf中，日誌頭裏麵存了一些控製信息和checksum值，隻是用來校驗和定位，在真正的應用中沒有用。在放到recv_sys->buf之前，需要檢驗一下recv_sys->buf有沒有滿(RECV_PARSING_BUF_SIZE，2M)，滿了就報錯(如果上一批解析有不完整的日誌，日誌解析函數不會分發，而是把這些不完整的日誌留在recv_sys->buf中，直到解析到完整的日誌)。接下的事情就是從recv_sys->buf中解析日誌(recv_parse_log_recs)。日誌分兩種：single_rec和multi_rec，前者表示隻對一個數據頁進行一種操作，後者表示對一個或者多個數據頁進行多種操作。日誌中還包括對應數據頁的space_id，page_no，操作的type以及操作的內容(recv_parse_log_rec)。解析出相應的日誌後，按照space_id和page_no進行哈希(如果對應的表空間在內存中不存在，則表示表已經被刪除了)，放到hash_table裏麵(日誌真正存放的位置依然在buffer pool)即可，等待後續應用。這裏有幾個點值得注意：
-
如果是multi_rec類型，則隻有遇到MLOG_MULTI_REC_END這個標記，日誌才算完整，才會被分發到hash_table中。查看代碼，我們可以發現multi_rec類型的日誌被解析了兩次，一次用來校驗完整性(尋找MLOG_MULTI_REC_END)，第二次才用來分發日誌，感覺這是一個可以優化的點。
-
目前日誌的操作type有50多種，每種操作後麵的內容都不一樣，所以長度也不一樣，目前日誌的解析邏輯，需要依次解析出所有的內容，然後確定長度，從而定位下一條日誌的開始位置。這種方法效率略低，其實可以在每種操作的頭上加上一個字段，存儲後麵內容的長度，這樣就不需要解析太多的內容，從而提高解析速度，進一步提高崩潰恢複速度，從結果看，可以提高一倍的速度(從38秒到14秒，詳情可以參見bug#82937)。
-
如果發現checkpoint之後還有日誌，說明數據庫之前沒有正常關閉，需要做崩潰恢複，因此需要做一些額外的操作(
recv_init_crash_recovery)，比如在錯誤日誌中打印我們常見的“Database was not shutdown normally!”和“Starting crash recovery.”，還要從double write buffer中檢查是否發生了數據頁半寫，如果有需要恢複(buf_dblwr_process)，還需要啟動一個線程用來刷新應用日誌產生的髒頁(因為這個時候buf_flush_page_cleaner_thread還沒有啟動)。最後還需要打開所有的表空間。。注意是所有的表。。。我們在阿裏雲RDS MySQL的運維中，常常發現數據庫hang在了崩潰恢複階段，在錯誤日誌中有類似“Reading tablespace information from the .ibd files…”字樣，這就表示數據庫正在打開所有的表，然後一看表的數量，發現有幾十甚至上百萬張表。。。數據庫之所以要打開所有的表，是因為在分發日誌的時候，需要確定space_id對應哪個ibd文件，通過打開所有的表，讀取space_id信息來確定，另外一個原因是方便double write buffer檢查半寫數據頁。針對這個表數量過多導致恢複過慢的問題，MySQL 5.7做了優化，WL#7142， 主要思想就是在每次checkpoint後，在第一次修改某個表時，先寫一個新日誌mlog_file_name(包括space_id和filename的映射)，來表示對這個表進行了操作，後續對這個表的操作就不用寫這個新日誌了，當需要崩潰恢複時候，多一次掃描，通過搜集mlog_file_name來確定哪些表被修改過，這樣就不需要打開所有的表來確定space_id了。 -
最後一個值得注意的地方是內存。之前說過，如果有太多的日誌已經被分發，占用了太多的內存，日誌解析函數會在適當的時候應用日誌，而不是等到最後才一起應用。那麼問題來了，使用了多大的內存就會出發應用日誌邏輯。答案是：buffer_pool_size_in_bytes - 512 * buffer_pool_instance_num * 16KB。由於buffer_pool_instance_num一般不會太大，所以可以任務，buffer pool的大部分內存都被用來存放日誌。剩下的那些主要留給應用日誌時讀取的數據頁，因為目前來說日誌應用是單線程的，讀取一個日誌，把所有日誌應用完，然後就可以刷回磁盤了，不需要太多的內存。
redo日誌應用函數
應用日誌的上層函數為recv_apply_hashed_log_recs(應用日誌也可能在io_helper函數中進行)，主要作用就是遍曆hash_table，從磁盤讀取對每個數據頁，依次應用哈希桶中的日誌。應用完所有的日誌後，如果需要則把buffer_pool的頁麵都刷盤，畢竟空間有限。有以下幾點值得注意：
-
同一個數據頁的日誌必須按照lsn從小到大應用，否則數據會被覆蓋。隻應用redo日誌lsn大於page_lsn的日誌，隻有這些日誌需要重做，其餘的忽略。應用完日誌後，把髒頁加入髒頁列表，由於髒頁列表是按照最老修改lsn(oldest_modification)來排序的，這裏通過引入一顆紅黑樹來加速查找插入的位置，時間複雜度從之前的線性查找降為對數級別。
-
當需要某個數據頁的時候，如果發現其沒有在Buffer Pool中，則會查看這個數據頁周圍32個數據頁，是否也需要做恢複，如果需要則可以一起讀取出來，相當於做了一次io合並，減少io操作(
recv_read_in_area)。由於這個是異步讀取，所以最終應用日誌的活兒是由io_helper線程來做的(buf_page_io_complete)，此外，為了防止短時間發起太多的io，在代碼中加了流量控製的邏輯(buf_read_recv_pages)。如果發現某個數據頁在內存中，則直接調用recv_recover_page應用日誌。由此我們可以看出，InnoDB應用日誌其實並不是單線程的來應用日誌的，除了崩潰恢複的主線程外，io_helper線程也會參與恢複。並發線程數取決於io_helper中讀取線程的個數。
執行完了redo前滾數據庫，數據庫的所有數據頁已經處於一致的狀態，undo回滾數據庫就可以安全的執行了。數據庫崩潰的時候可能有一些沒有提交的事務或者已經提交的事務，這個時候就需要決定是否提交。主要分為三步，首先是掃描undo日誌，重新建立起undo日誌鏈表，接著是，依據上一步建立起的鏈表，重建崩潰前的事務，即恢複當時事務的狀態。最後，就是依據事務的不同狀態，進行回滾或者提交。
undo日誌回滾數據庫
在recv_recovery_from_checkpoint_start_func之後，recv_recovery_from_checkpoint_finish之前，調用了trx_sys_init_at_db_start，這個函數做了上述三步中的前兩步。
第一步在函數trx_rseg_array_init中處理，遍曆整個undo日誌空間(最多TRX_SYS_N_RSEGS(128)個segment)，如果發現某個undo segment非空，就進行初始化(trx_rseg_create_instance)。整個每個undo segment，如果發現undo slot非空(最多TRX_RSEG_N_SLOTS(1024)個slot)，也就行初始化(trx_undo_lists_init)。在初始化undo slot後，就把不同類型的undo日誌放到不同鏈表中(trx_undo_mem_create_at_db_start)。undo日誌主要分為兩種：TRX_UNDO_INSERT和TRX_UNDO_UPDATE。前者主要是提供給insert操作用的，後者是給update和delete操作使用。之前說過，undo日誌有兩種作用，事務回滾時候用和MVCC快照讀取時候用。由於insert的數據不需要提供給其他線程用，所以隻要事務提交，就可以刪除TRX_UNDO_INSERT類型的undo日誌。TRX_UNDO_UPDATE在事務提交後還不能刪除，需要保證沒有快照使用它的時候，才能通過後台的purge線程清理。
第二步在函數trx_lists_init_at_db_start中進行，由於第一步中，已經在內存中建立起了undo_insert_list和undo_update_list(鏈表每個undo segment獨立)，所以這一步隻需要遍曆所有鏈表，重建起事務的狀態(trx_resurrect_insert和trx_resurrect_update)。簡單的說，如果undo日誌的狀態是TRX_UNDO_ACTIVE，則事務的狀態為TRX_ACTIVE，如果undo日誌的狀態是TRX_UNDO_PREPARED，則事務的狀態為TRX_PREPARED。這裏還要考慮變量srv_force_recovery的設置，如果這個變量值為非0，所有的事務都會回滾(即事務被設置為TRX_ACTIVE)，即使事務的狀態應該為TRX_STATE_PREPARED。重建起事務後，按照事務id加入到trx_sys->trx_list鏈表中。最後，在函數trx_sys_init_at_db_start中，會統計所有需要回滾的事務(事務狀態為TRX_ACTIVE)一共需要回滾多少行數據，輸出到錯誤日誌中，類似：5 transaction(s) which must be rolled back or cleaned up。InnoDB: in total 342232 row operations to undo的字樣。
第三步的操作在兩個地方被調用。一個是在recv_recovery_from_checkpoint_finish的最後，另外一個是在recv_recovery_rollback_active中。前者主要是回滾對數據字典的操作，也就是回滾DDL語句的操作，後者是回滾DML語句。前者是在數據庫可提供服務之前必須完成，後者則可以在數據庫提供服務(也即是崩潰恢複結束)之後繼續進行(通過新開一個後台線程trx_rollback_or_clean_all_recovered來處理)。因為InnoDB認為數據字典是最重要的，必須要回滾到一致的狀態才行，而用戶表的數據可以稍微慢一點，對外提供服務後，慢慢恢複即可。因此我們常常在會發現數據庫已經啟動起來了，然後錯誤日誌中還在不斷的打印回滾事務的信息。事務回滾的核心函數是trx_rollback_or_clean_recovered，邏輯很簡單，隻需要遍曆trx_sys->trx_list，按照事務不同的狀態回滾或者提交即可(trx_rollback_resurrected)。這裏要注意的是，如果事務是TRX_STATE_PREPARED狀態，那麼在InnoDB層，不做處理，需要在Server層依據binlog的情況來決定是否回滾事務，如果binlog已經寫了，事務就提交，因為binlog寫了就可能被傳到備庫，如果主庫回滾會導致主備數據不一致，如果binlog沒有寫，就回滾事務。
崩潰恢複相關參數解析
innodb_fast_shutdown:
innodb_fast_shutdown = 0。這個表示在MySQL關閉的時候，執行slow shutdown，不但包括日誌的刷盤，數據頁的刷盤，還包括數據的清理(purge)，ibuf的合並，buffer pool dump以及lazy table drop操作(如果表上有未完成的操作，即使執行了drop table且返回成功了，表也不一定立刻被刪除)。
innodb_fast_shutdown = 1。這個是默認值，表示在MySQL關閉的時候，僅僅把日誌和數據刷盤。
innodb_fast_shutdown = 2。這個表示關閉的時候，僅僅日誌刷盤，其他什麼都不做，就好像MySQL crash了一樣。
這個參數值越大，MySQL關閉的速度越快，但是啟動速度越慢，相當於把關閉時候需要做的工作挪到了崩潰恢複上。另外，如果MySQL要升級，建議使用第一種方式進行一次幹淨的shutdown。
innodb_force_recovery:
這個參數主要用來控製InnoDB啟動時候做哪些工作，數值越大，做的工作越少，啟動也更加容易，但是數據不一致的風險也越大。當MySQL因為某些不可控的原因不能啟動時，可以設置這個參數，從1開始逐步遞增，知道MySQL啟動，然後使用SELECT INTO OUTFILE把數據導出，盡最大的努力減少數據丟失。
innodb_force_recovery = 0。這個是默認的參數，啟動的時候會做所有的事情，包括redo日誌應用，undo日誌回滾，啟動後台master和purge線程，ibuf合並。檢測到了數據頁損壞了，如果是係統表空間的，則會crash，用戶表空間的，則打錯誤日誌。
innodb_force_recovery = 1。如果檢測到數據頁損壞了，不會crash也不會報錯(buf_page_io_complete)，啟動的時候也不會校驗表空間第一個數據頁的正確性(fil_check_first_page)，表空間無法訪問也繼續做崩潰恢複(fil_open_single_table_tablespace、fil_load_single_table_tablespace)，ddl操作不能進行(check_if_supported_inplace_alter)，同時數據庫也被不能進行寫入操作(row_insert_for_mysql、row_update_for_mysql等)，所有的prepare事務也會被回滾(trx_resurrect_insert、trx_resurrect_update_in_prepared_state)。這個選項還是很常用的，數據頁可能是因為磁盤壞了而損壞了，設置為1，能保證數據庫正常啟動。
innodb_force_recovery = 2。除了設置1之後的操作不會運行，後台的master和purge線程就不會啟動了(srv_master_thread、srv_purge_coordinator_thread等)，當你發現數據庫因為這兩個線程的原因而無法啟動時，可以設置。
innodb_force_recovery = 3。除了設置2之後的操作不會運行，undo回滾數據庫也不會進行，但是回滾段依然會被掃描，undo鏈表也依然會被創建(trx_sys_init_at_db_start)。srv_read_only_mode會被打開。
innodb_force_recovery = 4。除了設置3之後的操作不會運行，ibuf的操作也不會運行(ibuf_merge_or_delete_for_page)，表信息統計的線程也不會運行(因為一個壞的索引頁會導致數據庫崩潰)(info_low、dict_stats_update等)。從這個選項開始，之後的所有選項，都會損壞數據，慎重使用。
innodb_force_recovery = 5。除了設置4之後的操作不會運行，回滾段也不會被掃描(recv_recovery_rollback_active)，undo鏈表也不會被創建，這個主要用在undo日誌被寫壞的情況下。
innodb_force_recovery = 6。除了設置5之後的操作不會運行，數據庫前滾操作也不會進行，包括解析和應用(recv_recovery_from_checkpoint_start_func)。
總結
InnoDB實現了一套完善的崩潰恢複機製，保證在任何狀態下(包括在崩潰恢複狀態下)數據庫掛了，都能正常恢複，這個是與文件係統最大的差別。此外，崩潰恢複通過redo日誌這種物理日誌來應用數據頁的方法，給MySQL Replication帶來了新的思路，備庫是否可以通過類似應用redo日誌的方式來同步數據呢？阿裏雲RDS MySQL團隊在後續的產品中，給大家帶來了類似的特性，敬請期待。
最後更新：2017-07-21 09:02:42