歡迎您光臨本站 註冊首頁

將資料庫從 MySQL 移植到 MemSQL

←手機掃碼閱讀     火星人 @ 2014-03-12 , reply:0
  

 因為 MemSQL 完全兼容 MySQL,因此將數據從 MySQL 遷移到 MemSQL 上是非常直接的,你可以使用標準的 MySQL 工具來遷移。

本例子假設你的 MySQL 和 MemSQL 都跑在同一台機器上,MySQL 在 3306 埠,而 MemSQL 在 3307 埠,同時假設二者都可以通過 root 賬號無需密碼訪問。

使用 mysqldump 工具移植

mysqldump 是 MySQL 客戶端最常用的數據備份工具之一,它會生成一些列創建表和插入數據的SQL語句,因此用來恢復一個資料庫是最方便的。

當你確定要將數據遷移到 MemSQL 之前,有幾個注意事項:

  • 大多數 MySQL 存儲引擎都是使用 B-tree 來存儲索引的,而 MemSQL 是使用單向無鎖的 skip 列表或者無鎖的哈希表。選擇正確的索引數據結構對應用程序的性能會有顯著的提升。其中哈希表主要適合 key-value 的查找,而 skip 列表特別適合用於複雜範圍的掃描和排序(ORDER BY)。因此在進行遷移之前,你得重新審視你得表定義並確定是否能使用 MemSQL 專有的優化。默認的 BTREE 符號將被轉成升序的 skip 列表。如果你需要對某個列做雙向的範圍掃描,你可以考慮同時增加升序和降序的索引,更多 MemSQL 的索引信息請看 indexes 
  • 因為 code generation 的緣故,  MemSQL 首次載入資料庫結構的速度要比 MySQL 慢,因為 MemSQL 首次載入表結構時,會生成並編譯代碼來實現這個表的架構,包括內存分配、插入、刪除和迭代方法等等。一旦表被編譯完成,MemSQL 將在整個運行期間直接使用編譯好的代碼。而 mysqldump 生成的 INSERT 語句也將特別編譯一次。
  • mysqldump 會生成一些 MemSQL 不支持的 SQL 語句,例如不支持 UNIQUE_CHECKS,為了更好的支持 mysqldump,MemSQL 對這些不支持的語句只是予以警告,可通過調整warn_level 變數來控制錯誤的級別,詳情請看 Unsupported Features . 某些 CREATE TABLE 語句可能被完全阻止執行,如果你遇見這種問題,只能手工去修改表的定義SQL。
  • 如果你運行 MemSQL 的機器沒有足夠的內存來載入數據,伺服器將會對 INSERT 語句執行報 out-of-memory 的錯誤信息,這種情況你只能安裝更多的內存。如果你將已有的 memsqlbin 目錄複製到新的機器上,那麼MemSQL 會繼續沿用已編譯的表定義和 INSERT 語句。如果你使用的是 MemSQL 開發版,而且超過了10G 的限制,那你可以參考 memsql.com/next 來了解如何升級。

建議你將資料庫結構定義和數據分開獨立文件存放,這樣就可以在需要的時候來調整表結構,你可以使用下面命令來分別導出資料庫結構和數據文件:

  $ mysqldump -h 127.0.0.1 -u root -B [database name] --no-data > schema.sql$ mysqldump -h 127.0.0.1 -u root -B [database name] --no-create-info > data.sql

然後通過下面方法導入:

  $ mysql -h 127.0.0.1 -u root -P 3307 < schema.sql$ mysql -h 127.0.0.1 -u root -P 3307 < data.sql

運行這些步驟時,你可以觀察 memsql_tracelog (同時也輸出到 stderr)  來查看執行過程中被忽略的不被支持的特性。一旦導入完成後,你可以連接到 MemSQL 並查詢結果。

轉換你的應用程序

讓應用程序支持 MemSQL 非常簡單,只需要改連接配置即可。

注意

如果你要連接到本機的 MemSQL 應該使用 127.0.0.1 而不是 localhost,多數 MySQL 客戶端可將 localhost 解析並使用 MySQL 的 socket 文件進行連接而忽略埠設置,詳情請看 this page

一旦你開始運行程序,可監控 memsql_tracelog. 一些不支持的SQL語法會在這裡顯示。更多 MemSQL 的 SQL Statements



[火星人 ] 將資料庫從 MySQL 移植到 MemSQL已經有1008次圍觀

http://coctec.com/docs/linux/show-post-74026.html