Upgrade CEPH with Cephadm

# 1.使用 Cephadm 升级 CEPH
Cephadm 可以安全地将 Ceph 从一个错误修复版本升级到下一个版本。例如，您可以从 v15.2.0（第一个 Octopus 版本）升级到下一个版本 v15.2.1。

自动升级过程遵循 Ceph 最佳实践。例如：
- 升级顺序从管理器、监视器开始，然后是其他守护程序。
- 只有在 Ceph 指示集群将保持可用时，才会重新启动每个守护进程。

> Note: Ceph 集群健康状态可能会在升级期间切换到HEALTH_WARNING。
> Note: 如果集群的主机离线，升级会暂停。

# 2.Starting the upgrade
> Note: 要访问此新功能，可能需要对mons/mgr进行交错升级。

Cephadm默认将max_mds减为1。这可能会对大规模CefFS部署造成破坏，因为集群无法快速将活动MDS减少到1，并且单个活动MDS即使在短时间内也无法轻松处理所有客户端的负载。因此，要在不降低max_MDS的情况下升级MDS，可以在启动升级之前将fail_fs选项设置为true（默认值为false）：
```
# ceph config set mgr mgr/orchestrator/fail_fs true
```
升级过程中：
1. 使CephFS 文件系统失效，使活动的MDS守护程序进入待机状态。
1. 安全升级MDS守护程序。
1. 将CephFS 文件系统备份，使活动MDS守护程序的状态从up:standby变为up:active。

在使用cephadm升级Ceph之前，请通过运行以下命令验证所有主机当前是否联机以及集群是否正常：
```
# ceph -s
```
要升级（或降级）到特定版本，请运行以下命令：
```
# ceph orch upgrade start --ceph-version <version>
```
例如，要升级到v16.2.6，请运行以下命令：
```
# ceph orch upgrade start --ceph-version 16.2.6
```
> Note: 从 v16.2.6 版本开始不再使用 Docker Hub 仓库，因此如果您使用 Docker，您必须将其指向 quay.io 仓库中的镜像：
```
ceph orch upgrade start --image quay.io/ceph/ceph:v16.2.6
```

# 3.Monitoring the upgrade
通过运行以下命令，确定（1）是否正在升级，以及（2）群集正在升级到哪个版本：
```
# ceph orch upgrade status
```
在 CEPH 升级期间查看进度条
在升级过程中，ceph 状态输出中会显示一个进度条。它看起来像这样：
```
# ceph -s

[...]
  progress:
    Upgrade to docker.io/ceph/ceph:v15.2.1 (00h 20m 12s)
      [=======.....................] (time remaining: 01h 43m 31s)
```
在升级期间查看 CEPHADM 日志
通过运行以下命令查看 cephadm 日志：
```
# ceph -W cephadm
```

# 4.Canceling an upgrade
您可以通过运行以下命令随时停止升级过程：
```
# ceph orch upgrade stop
```

# 5.Post upgrade actions
如果新版本基于cephadm，升级完成后，用户必须将cephadm包（如果用户不使用cephadm shell，则为ceph通用包）更新为与新版本兼容的版本。

# 6.Potential problems
升级过程中可能会出现一些健康警报。

## UPGRADE_NO_STANDBY_MGR
此警报（UPGRADE_NO_STANDBY_MGR）表示Ceph未检测到活动的备用管理器守护程序。为了继续升级，Ceph需要一个活动的备用管理器守护进程（在本文中，您可以将其视为“第二个管理器”）。

您可以通过运行以下命令确保Cephadm配置为运行2个（或更多）管理器：
```
# ceph orch apply mgr 2  # or more
```
通过运行以下命令，可以检查现有mgr守护程序的状态：
```
# ceph orch ps --daemon-type mgr
```
如果现有的mgr守护程序已停止，您可以尝试通过运行以下命令重新启动它：
```
# ceph orch daemon restart <name>
```

## UPGRADE_FAILED_PULL
此警报（UPGRADE_FAILED_PULL）表示Ceph无法提取目标版本的容器映像。如果指定的版本或容器映像不存在（例如“1.2.3”），或者集群中的一个或多个主机无法访问容器注册表，则可能会发生这种情况。

要取消现有升级并指定其他目标版本，请运行以下命令：
```
# ceph orch upgrade stop
# ceph orch upgrade start --ceph-version <version>
```

# Using customized container images
对于大多数用户来说，升级只需要指定要升级到的Ceph版本号就可以了。在这种情况下，cephadm通过将container_image_base配置选项（默认值：docker.io/Ceph/Ceph）与vX.Y.Z标记结合起来，找到要使用的特定Ceph容器映像。

但如果您需要的话，可以升级到任意的容器映像。例如，以下命令升级到开发版本：
```
# ceph orch upgrade start --image quay.io/ceph-ci/ceph:recent-git-branch-name
```
有关可用容器图像的更多信息，请参阅Ceph容器图像。

# Staggered Upgrade
一些用户可能更喜欢分阶段升级组件，而不是一次升级所有组件。从16.2.11和17.2.1开始的升级命令允许参数限制通过单个升级命令升级哪些守护程序。中的选项包括守护程序类型、服务、主机和限制。daemontypes采用逗号分隔的守护程序类型列表，并且只会升级这些类型的守护程序。服务与daemon_type互斥，一次只能接受一种类型的服务（例如，不能同时提供OSD和RGW服务），并且只能升级属于这些服务的守护程序。主机可以与守护程序类型或服务组合，也可以单独提供。hosts参数的格式与Daemon Placement的命令行选项相同。limit采用大于0的整数，并提供cephadm将升级的守护进程数量的数字限制。极限可以与任何其他参数组合。例如，如果指定在主机Host1上升级osd类型的守护程序，并将限制设置为3，则cephadm将在主机1上升级（最多）3个osd守护程序。

示例：指定守护程序类型和主机：
```
# ceph orch upgrade start --image <image-name> --daemon-types mgr,mon --hosts host1,host2
```
示例：指定服务和使用限制
```
# ceph orch upgrade start --image <image-name> --services rgw.example1,rgw.example2 --limit 2
```
> Note: Cephadm严格执行在交错升级场景中仍然存在的守护进程升级命令。当前的升级顺序是mgr->mon->crash->osd->mds->rgw->rbd-mirror->cephfs-mirror->iscsi->nfs。如果您指定的参数会使守护程序无序升级，升级命令将阻止并注意如果继续，将错过哪些守护程序。

> Note: 带有限制参数的升级命令将在开始升级之前验证选项，这可能需要拉动新的容器映像。当提供限制参数时，如果升级开始命令需要一段时间才能返回，请不要感到惊讶。

> Note: 在交错升级场景中（当提供限制参数时），包括Prometheus和节点导出器在内的监视堆栈守护程序在Manager守护程序升级后被刷新。如果Manager升级所需的时间比预期的长，请不要感到惊讶。请注意，监视堆栈守护程序的版本可能不会在Ceph版本之间发生变化，在这种情况下，它们只会重新部署。

## Upgrading to a version that supports staggered upgrade from one that doesn’t
当从已经支持交错升级的版本升级时，该过程只需要提供必要的参数。但是，如果您希望从不支持交错升级的版本升级到支持交错升级版本，则有一种解决方法。它需要首先手动升级Manager守护程序，然后像往常一样传递限制参数。

>w Warning: 在尝试此过程之前，请确保有多个正在运行的mgr守护程序。

首先，确定哪个管理器是您的活动管理器，哪个管理器处于待机状态。这可以通过多种方式实现，例如查看ceph-s输出。然后，使用以下命令手动升级每个备用mgr守护程序：
```
# ceph orch daemon redeploy mgr.example1.abcdef --image <new-image-name>
```
> Note: 如果您使用的是非常早期的cephadm（早期章鱼）版本，那么orch守护程序重新部署命令可能没有--image标志。在这种情况下，您必须手动设置Manager容器映像ceph-config set mgr container_image＜new image name＞，然后重新部署Manager ceph-orch守护程序release mgr.example1.abcdef

此时，管理器故障切换应该允许我们让活动的管理器运行新版本。
```
# ceph mgr fail
```
验证活动的管理器现在是运行新版本的管理器。要完成Manager升级，请执行以下操作：
```
# ceph orch upgrade start --image <new-image-name> --daemon-types mgr
```
现在，您应该在新版本上安装了所有Manager守护程序，并且能够为升级的其余部分指定限制参数。