Диски и хранилище

Шаг 1. Проверьте, что provisioner на месте

kubectl get sc
# NAME                   PROVISIONER
# local-path (default)   rancher.io/local-path

kubectl get pods -n kube-system | grep local-path

Если у вас kubeadm — поставьте тот же provisioner вручную (он не привязан к k3s):

kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.30/deploy/local-path-storage.yaml

Шаг 2. Создайте PVC

Файл pvc-example.yaml:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: app-data
spec:
  accessModes:
    - ReadWriteOnce          # том может быть примонтирован одним узлом
  resources:
    requests:
      storage: 5Gi
  storageClassName: local-path   # можно опустить — это класс по умолчанию

kubectl apply -f pvc-example.yaml
kubectl get pvc app-data
# STATUS: Bound — том создан и привязан

Шаг 3. Примонтируйте PVC в под

apiVersion: apps/v1
kind: Deployment
metadata:
  name: app-with-storage
spec:
  replicas: 1
  selector:
    matchLabels:
      app: app-with-storage
  template:
    metadata:
      labels:
        app: app-with-storage
    spec:
      containers:
        - name: app
          image: nginx
          volumeMounts:
            - name: data
              mountPath: /usr/share/nginx/html   # куда монтировать в контейнере
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: app-data   # ссылка на нашу заявку

Всё, что контейнер запишет в /usr/share/nginx/html, окажется в каталоге на диске узла и переживёт пересоздание пода.

Шаг 4. Установите NFS-сервер (Debian/Ubuntu)

sudo apt update
sudo apt install -y nfs-kernel-server

Шаг 5. Создайте каталог для шары

# например, на большом диске с данными
sudo mkdir -p /srv/nfs/k8s

# nobody:nogroup — поды часто работают от произвольных UID
sudo chown -R nobody:nogroup /srv/nfs/k8s
sudo chmod 777 /srv/nfs/k8s

Шаг 6. Опубликуйте шару

Откройте файл экспортов:

sudo nano /etc/exports

Добавьте строку (здесь 192.168.1.0/24 — ваша домашняя подсеть):

/srv/nfs/k8s  192.168.1.0/24(rw,sync,no_subtree_check,no_root_squash)

Что означают опции:

• rw — чтение и запись;
• sync — писать на диск сразу (надёжнее, чуть медленнее);
• no_subtree_check — стандартная рекомендация для выделенных каталогов;
• no_root_squash — root внутри пода остаётся root на шаре. Для домашней сети приемлемо и сильно упрощает жизнь с правами; в недоверенной сети так делать нельзя.

Примените и проверьте:

sudo exportfs -ra
sudo exportfs -v
# должна быть видна наша шара

Шаг 7. Проверьте доступность с узлов кластера

На каждом узле кластера нужен клиентский пакет NFS:

# на каждом узле кластера
sudo apt install -y nfs-common

# проверка: видно ли экспорты сервера (192.168.1.60 — адрес NFS-сервера)
showmount -e 192.168.1.60

# тестовое монтирование
sudo mkdir -p /mnt/nfs-test
sudo mount -t nfs 192.168.1.60:/srv/nfs/k8s /mnt/nfs-test
touch /mnt/nfs-test/proverka.txt && ls -l /mnt/nfs-test
sudo umount /mnt/nfs-test

Шаг 8. Установите provisioner через Helm

Если Helm ещё не установлен (нужен один раз):

curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

Ставим provisioner (подставьте адрес и путь вашего NFS-сервера):

helm repo add nfs-subdir-external-provisioner \
  https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

helm install nfs-provisioner \
  nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
  --set nfs.server=192.168.1.60 \
  --set nfs.path=/srv/nfs/k8s

Шаг 9. Сделайте его классом по умолчанию (по желанию)

# снять default с local-path
kubectl patch sc local-path -p '{"metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"false"}}}'

# назначить default на nfs-client
kubectl patch sc nfs-client -p '{"metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

Шаг 10. Проверьте работу

# PVC без указания storageClassName — возьмётся default
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-test
spec:
  accessModes: [ReadWriteMany]
  resources:
    requests:
      storage: 1Gi
EOF

kubectl get pvc nfs-test
# STATUS: Bound

# на NFS-сервере появился подкаталог:
ls /srv/nfs/k8s/
# default-nfs-test-pvc-xxxx...

Шаг 11. Создайте PV на существующий каталог

apiVersion: v1
kind: PersistentVolume
metadata:
  name: media-library
spec:
  capacity:
    storage: 500Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain   # при удалении PVC данные сохранить
  nfs:
    server: 192.168.1.60
    path: /srv/nfs/k8s/media
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: media-library
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 500Gi
  volumeName: media-library   # жёсткая привязка к нашему PV
  storageClassName: ""          # пустая строка: не использовать provisioner

Шаг 12. Финальная проверка

# общая картина хранилища кластера
kubectl get sc
kubectl get pv
kubectl get pvc -A

# место на дисках узлов
df -h /var/lib/rancher/k3s/storage/   # local-path в k3s
df -h /srv/nfs/k8s                     # на NFS-сервере