TiDB 4.0.2 釋出，分散式 NewSQL 資料庫

TiDB 4.0.2 現已釋出，該版本具體更新內容如下：

相容性

• TiDB
  • 移除慢查詢日誌和 statement summary 表中的敏感資訊 #18130
  • 禁止在 sequence 快取中出現負數 #18103
  • CLUSTER_INFO 表中不再顯示 tombstone 狀態的 TiKV 和 TiFlash 節點 #17953
  • 診斷規則 current-load 變更為 node-check #17660
• PD
  • 持久化 store-limit 配置項，棄用 store-balance-rate 配置 #2557

新更改

• TiDB 及 TiDB Dashboard 預設收集使用情況資訊，並將這些資訊分享給 PingCAP 用於改善產品 #18180。若要了解所收集的資訊詳情及如何禁用該行為，請參見遙測文件。

新功能

• TiDB
  • 支援在 INSERT 語句中使用 MEMORY_QUOTA() hint #18101
  • 支援基於 TLS 證書 SAN 屬性的登入認證 #17698
  • REGEXP() 函式支援 collation #17581
  • 支援會話和全域性變數 sql_select_limit #17604
  • 支援新增分割槽時自動分裂 Region 的功能 #17665
  • 支援函式 IF()/BITXOR()/BITNEG()/JSON_LENGTH() 下推到 TiFlash Coprocessor 上執行 #17651 #17592
  • 支援聚合函式 APPROX_COUNT_DISTINCT()，用於快速計算 COUNT(DISTINCT) 的近似值 #18120
  • TiFlash 支援了 collation，支援相應的函式下推 #17705
  • INFORMATION_SCHEMA.INSPECTION_RESULT 表新增 STATUS_ADDRESS 列，用於展示節點的 status 地址 #17695
  • MYSQL.BIND_INFO 表新增 SOURCE 列，用於展示 binding 的建立方式 #17587
  • PERFORMANCE_SCHEMA.EVENTS_STATEMENTS_SUMMARY_BY_DIGEST 表新增 PLAN_IN_CACHE 和 PLAN_CACHE_HITS 列，用於展示 plan cache 的使用情況 #17493
  • 新增配置項 enable-collect-execution-info 和會話級變數 tidb_enable_collect_execution_info 用於控制是否記錄運算元的執行資訊並列印到慢查詢日誌中 #18073 #18072
  • 新增全域性變數 tidb_slow_log_masking，用於控制是否脫敏慢查詢日誌中的查詢 #17694
  • 增加對 TiKV 配置項 storage.block-cache.capacity 的診斷規則 #17671
  • 新增 SQL 語法 BACKUP/RESTORE 來進行資料備份恢復 #15274
• TiKV
  • TiKV Control 支援 encryption-meta 命令 #8103
  • 增加 RocksDB::WriteImpl 相關的 perf context 監控 #7991
• PD
  • 對 leader 執行 remove-peer 操作時，讓這個 operator 不等待超時，立刻失敗 #2551
  • 對 TiFlash 節點設定更合理的 store limit 配置預設值 #2559
• TiFlash
  • Coprocessor 支援新的聚合函式 APPROX_COUNT_DISTINCT
  • 儲存引擎中的粗糙索引預設開啟
  • 支援執行在 ARM 架構
  • Coprocessor 支援 JSON_LENGTH 函式下推
• TiCDC
  • 支援 Capture 節點擴容時遷移部分子任務到新加節點 #665
  • Cli 中新增清理 TiCDC GC TTL 的功能 #652
  • 在 MQ sink 中支援輸出 Canal 協議 #649

改進提升

• TiDB
  • 降低當叢集中 CM-Sketch 佔用過多記憶體時，Golang 記憶體分配帶來的查詢延遲 #17545
  • 縮短 TiKV 故障恢復時叢集 QPS 的恢復時間 #17681
  • 為 partition 表上的查詢支援聚合函式下推到 TiKV 或者 TiFlash coprocessor #17655
  • 提升索引上等值條件的行數估算準確度 #17611
• TiKV
  • 最佳化 PD client panic 日誌資訊 #8093
  • 重新加回 process_cpu_seconds_total 和 process_start_time_seconds 監控 #8029
• TiFlash
  • 提升從舊版本升級時的相容性
  • 降低 delta index 的記憶體使用量
  • 使用更高效的 delta index update 演算法
• Tools
  • Backup & Restore (BR)
    • 提升多表場景下的恢復資料效能 #266

Bug 修復

• TiDB
  • 修復 tidb_isolation_read_engines 更改後從 plan cache 中獲取的執行計劃不正確的問題 #17570
  • 修復某些情況下 EXPLAIN FOR CONNECTION 返回執行時錯誤的問題 #18124
  • 修復某些情況下 last_plan_from_cache 結果不正確的問題 #18111
  • 修復執行 plan cache 中的 UNIX_TIMESTAMP() 時的執行時錯誤 #18002 #17673
  • 修復 HashJoin 運算元的孩子節點返回 NULL 型別的結果時，計算過程中的執行時錯誤 #17937
  • 修復當在同一個資料庫中併發執行 DROP DATABASE 語句和相關 DDL 語句時的執行錯誤 #17659
  • 修復當 COERCIBILITY() 的輸入引數是使用者變數時結果不正確的問題 #17890
  • 修復 IndexMergeJoin 運算元偶爾卡住的問題 #18091
  • 修復 IndexMergeJoin 運算元觸發 oom-action 後被取消執行時卡住的問題 #17654
  • 修復 Insert 和 Replace 運算元的記憶體統計過大的問題 #18062
  • 修復在執行 DROP DATABASE 的同時對同一個資料庫中的表 DROP TABLE 時，資料不再向 TiFlash 同步的問題 #17901
  • 修復 TiDB 和物件儲存服務之間 BACKUP/RESTORE 失敗的問題 #17844
  • 修復許可權檢查失敗時的錯誤資訊 #17724
  • 修復 DELETE/UPDATE 語句的 feedback 被錯誤收集的問題 #17843
  • 禁止更改非 AUTO_RANDOM 表的 AUTO_RANDOM_BASE 值 #17828
  • 修復系統變數 tidb_isolation_read_engines 的值中沒有 tidb 時某些系統表無法訪問的問題 #17719
  • 修復 JSON 中大整數和浮點數比較的精度問題 #17717
  • 修復 COUNT() 函式的返回型別中 DECIMAL 不正確的問題 #17704
  • 修復 HEX() 函式的輸入型別是二進位制字串時結果不正確的問題 #17620
  • 修復查詢 INFORMATION_SCHEMA.INSPECTION_SUMMARY 表沒有指定過濾條件時返回結果為空的問題 #17697
  • 修復 ALTER USER 語句使用雜湊後的密碼更新使用者資訊後，密碼不符合預期的問題 #17646
  • 為 ENUM 和 SET 型別支援 collation #17701
  • 修復 CREATE TABLE 時預切分 Region 的超時機制不生效的問題 #17619
  • 修復某些情況下 DDL 後臺作業重試時，schema 未正確更新導致的 DDL 原子性問題 #17608
  • 修復 FIELD() 函式的引數包含 column 時結果不正確的問題 #17562
  • 修復某些情況下 max_execution_time hint 不生效的問題 #17536
  • 修復某些情況下 EXPLAIN ANALYZE 的結果中併發資訊被多次列印的問題 #17350
  • 修復對 STR_TO_DATE 函式的 %h 解析和 MySQL 不相容問題 #17498
  • 修復 tidb_replica_read 設定成 follower，並且 Region 的 leader 和 follower/learner 之間出現網路分割槽後，TiDB 傳送的 request 一直重試的問題 #17443
  • 修復某些情況下 TiDB 一直 ping PD 的 follower 的問題 #17947
  • 修復老版本的 range partition 表無法在 4.0 叢集中載入的問題 #17983
  • 修復當多個 Region 的請求同時超時時整個 SQL 語句超時的問題 #17585
  • 修復解析日期型別的分隔符時和 MySQL 不相容的問題 #17501
  • 修復少數情況下發給 TiKV 的請求錯發給 TiFlash 的問題 #18105
• TiKV
  • 修復 status server 的記憶體安全問題 #8101
  • 修復 json 數字比較的精度丟失問題 #8087
  • 修改錯誤的慢查詢日誌 #8050
  • 修復 merge 可能導致 peer 無法被移除的問題 #8048
  • 修復 tikv-ctl recover-mvcc 未清除無效的悲觀鎖 #8047
  • 修復一些遺漏的 Titan 監控 #7997
  • 修復向 TiCDC 返回 duplicated error 的問題 #7887
• PD
  • 驗證 pd-server.dashboard-address 配置項的正確性 #2517
  • 修復設定 store-limit-mode 為 auto 時可能引起 PD panic 的問題 #2544
  • 修復某些情況下熱點不能識別的問題 #2463
  • 修復某些情況下 Placement Rules 會使 store 狀態變更為 tombstone 的程序被阻塞的問題 #2546
  • 修復某些情況下從低版本升級後，PD 無法正常啟動的問題 #2564
• TiFlash
  • 修正 proxy 遇到 region not found 時可能的 panic 的問題
  • 修正 schema 同步遇到 I/O exception 時可能無法繼續同步的問題

更新說明：https://pingcap.com/docs-cn/stable/releases/release-4.0.2/