歡迎您光臨本站 註冊首頁

docker registry 鏡像同步的實現思路

←手機掃碼閱讀     hongdian2012 @ 2020-06-18 , reply:0

Intro

之前我們的 docker 鏡像是保存在 Azure 的 Container Registry 裡的,最近我們自己搭建了一個 docker registry,我們想把之前保存的 Azure 的 Container Registry 的 docker 鏡像同步到我們自己的 docker registry 裡

實現思路

我們的做法比較簡單也比較LOW,但是基本可以滿足要求,

我們的做法是

  • 首先獲取到源 Registry 裡的所有鏡像列表

  • 然後逐個獲取鏡像的 tags

  • 然後依次遍歷將對應的鏡像拉到本地,然後 docker tag 一下,命名為新的 registry 鏡像名稱

  • 然後 push docker 鏡像到新的 registry

  • 刪除下載到本地的鏡像和推送到新的 registry 的鏡像

後來突然想起來阿里雲好像有一個鏡像同步工具,https://github.com/AliyunContainerService/image-syncer image-syncer 是一個docker鏡像同步工具,可用來進行多對多的鏡像倉庫同步,支持目前絕大多數主流的docker鏡像倉庫服務,看介紹還是很棒的,有需要 registry 之間同步鏡像的可以試試這個工具,看介紹這個工具不會拉取到本地磁盤,從源 registry 獲取鏡像數據之後直接就推送到新的 registry 裡了,效率會高很多

Docker-Registry API

docker registry 有一套規範,可以查閱 https://docs.docker.com/registry/spec/api/ 瞭解更多

獲取所有鏡像

docker registry v2 新增了一個 _catalog 的 api 可以獲取所有的鏡像,v1 可以用 _search 來代替

語法如下:

GET /v2/_catalog

默認最多返回100條記錄,多餘 100 可以通過參數 n 指定返回數量,分頁的話可以指定另外一個參數 last指定完上一頁返回的最後一個鏡像,舉個栗子: http://example.com/v2/_catalog?n=20&last=b

獲取鏡像的 tag

獲取 docker 鏡像的 tag 列表可以使用 GET /v2//tags/list 來獲取,也可以分頁,類似於上面獲取鏡像列表,可以通過 nlast 來實現分頁加載

操作示例

在本地部署了一個測試用的 docker registry 來做演示,我這裡用 httpie 來做測試

獲取鏡像列表:

調用 _catalog 接口來獲取鏡像列表

http :5000/v2/_catalog

獲取鏡像的 tag 列表

調用 tags/list 接口獲取鏡像的 tag

http :5000/v2/busybox/tags/list
 http :5000/v2/redis/tags/list

PowerShell 腳本

一切不是自動化的運維都是耍流氓,很有可能以後會有類似的需求,不如寫個腳本自動化的跑吧

下面的腳本做了一些簡化,因為我們的 azure container registry 上的數量不多,只有五六十個鏡像,而且鏡像只有 latest 的 tag,沒有其他 tag ,所以把上面的步驟做了簡化,並沒有分頁獲取所有的鏡像,也沒有獲取所有的 tag,實際使用的話還請自行修改後使用

  # variables  $srcRegUser = "xxx"  $srcRegPwd = "111111"  $srcRegHost = "xxx.azurecr.cn"  $destRegUser = "yyy"  $destRegPwd = "222"  $destRegHost = "registry.xxx.com"    # get repositories from source registry  # httpie  $response = (http -b -a "${srcRegUser}:${srcRegPwd}" "https://${srcRegHost}/v2/_catalog") | ConvertFrom-Json  # curl  #$response = (curl -u "${srcRegUser}:${srcRegPwd}" "https://${srcRegHost}/v2/_catalog") | ConvertFrom-Json  # repository  $repositories = $response.repositories    #  Write-Host $repositories    # login source registry  docker login $srcRegHost -u $srcRegUser -p $srcRegPwd  # login dest registry  docker login $destRegHost -u $destRegUser -p $destRegPwd    # sync  foreach($repo in $repositories)  {    Write-Host "sync $repo begin"      $srcTag = "${srcRegHost}/${repo}:latest"    $destTag = "${destRegHost}/${repo}:latest"      Write-Host "source image tag: $srcTag"    Write-Host "dest image tag $destTag"      Write-Host "docker pull $srcTag begin"      docker pull $srcTag      Write-Host "docker pull $srcTag completed"      Write-Host "docker tag $srcTag $destTag ing"      docker tag $srcTag $destTag      Write-Host "docker push $destTag begin"      docker push $destTag      Write-Host "docker push $destTag completed"        Write-Host "docker rmi $srcTag $destTag begin"      docker rmi $srcTag $destTag      Write-Host "docker rmi $srcTag $destTag end"      Write-Host "sync $repo completed"  }    Write-Host "Completed..."

 

More

如果要同步的鏡像比較多,考慮使用阿里雲的鏡像同步工具去同步

Reference

https://stackoverflow.com/questions/31251356/how-to-get-a-list-of-images-on-docker-registry-v2

https://github.com/AliyunContainerService/image-syncer

https://docs.docker.com/registry/spec/api/



[hongdian2012 ] docker registry 鏡像同步的實現思路已經有126次圍觀

http://coctec.com/docs/docker/show-post-238965.html