Proxmox VE のバックアップ(No.22)

[ トップ ]   [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Proxmox VE へ行く。
  • 1 (2023-01-21 (土) 12:49:04)
  • 2 (2023-01-21 (土) 14:42:55)
  • 3 (2023-01-22 (日) 09:55:26)
  • 4 (2023-01-22 (日) 20:32:26)
  • 5 (2023-01-23 (月) 10:38:32)
  • 6 (2023-01-23 (月) 13:52:12)
  • 7 (2023-01-23 (月) 22:24:58)
  • 8 (2023-01-24 (火) 11:39:42)
  • 9 (2023-01-24 (火) 16:25:54)
  • 10 (2023-01-24 (火) 20:06:22)
  • 11 (2023-01-24 (火) 20:52:03)
  • 12 (2023-01-25 (水) 09:35:36)
  • 13 (2023-01-25 (水) 14:32:16)
  • 14 (2023-01-25 (水) 19:44:47)
  • 15 (2023-01-26 (木) 10:07:40)
  • 16 (2023-01-27 (金) 09:31:14)
  • 17 (2023-01-28 (土) 10:49:26)
  • 18 (2023-01-28 (土) 12:24:03)
  • 19 (2023-01-28 (土) 17:34:16)
  • 20 (2023-01-29 (日) 12:32:36)
  • 21 (2023-01-29 (日) 12:57:36)
  • 22 (2023-01-29 (日) 16:49:04)
  • 23 (2023-01-29 (日) 22:49:19)
  • 24 (2023-01-30 (月) 14:02:33)
  • 25 (2023-01-31 (火) 13:40:41)
  • 26 (2023-02-01 (水) 08:13:18)
  • 27 (2023-02-01 (水) 19:35:42)
  • 28 (2023-02-02 (木) 09:56:36)
  • 29 (2023-02-02 (木) 18:00:47)
  • 30 (2023-02-04 (土) 10:00:54)
  • 31 (2023-02-04 (土) 20:41:48)
  • 32 (2023-02-05 (日) 14:24:20)
  • 33 (2023-02-05 (日) 14:28:39)
  • 34 (2023-02-06 (月) 10:18:37)
  • 35 (2023-02-06 (月) 13:35:19)
  • 36 (2023-02-06 (月) 17:56:12)
  • 37 (2023-02-08 (水) 10:11:39)
  • 38 (2023-02-08 (水) 17:07:37)
  • 39 (2023-02-10 (金) 08:14:45)
  • 40 (2023-02-10 (金) 20:12:18)
  • 41 (2023-02-12 (日) 15:06:46)
  • 42 (2023-02-14 (火) 09:21:32)
  • 43 (2023-02-15 (水) 12:58:59)
  • 44 (2023-02-15 (水) 16:44:41)
  • 45 (2023-02-18 (土) 16:32:56)
  • 46 (2023-02-21 (火) 12:20:39)
  • 47 (2023-02-22 (水) 07:45:38)
  • 48 (2023-02-25 (土) 10:25:34)
  • 49 (2023-02-27 (月) 12:57:22)
  • 50 (2023-02-27 (月) 19:49:34)
  • 51 (2023-02-28 (火) 11:35:18)
  • 52 (2023-02-28 (火) 13:54:22)
  • 53 (2023-03-03 (金) 09:36:01)
  • 54 (2023-03-04 (土) 06:29:02)
  • 55 (2023-03-05 (日) 09:46:29)
  • 56 (2023-03-05 (日) 16:01:47)
  • 57 (2023-03-13 (月) 20:44:23)
  • 58 (2023-03-14 (火) 08:25:42)
  • 59 (2023-03-15 (水) 08:48:10)
  • 60 (2023-03-18 (土) 15:34:30)
  • 61 (2023-04-05 (水) 19:03:57)
  • 62 (2023-04-07 (金) 20:35:09)
  • 63 (2023-04-08 (土) 08:58:47)
  • 64 (2023-05-10 (水) 07:03:55)
  • 65 (2023-06-10 (土) 09:07:39)
  • 66 (2023-06-15 (木) 13:08:36)
  • 67 (2023-06-21 (水) 12:19:10)
  • 68 (2023-07-06 (木) 20:43:52)
  • 69 (2023-07-09 (日) 07:28:46)

---

LinuxServer

Proxmox

参考サイト †

• https://internet.watch.impress.co.jp/docs/column/shimizu/1442466.html
• https://pc.watch.impress.co.jp/docs/column/kaimono/1464643.html

最初に †

概要 †

• Proxmox VE という仮想化プラットフォームがある事を知ったので
  ちょっと構築してみようかと思いました〜(^^)
• 検証時のVersion -> 7.3
• 古いPCを有効活用できる技術です。

特徴 †

1. フリー
2. vCenterありのVMWareの機能(複数サーバでのHA, クラスタリング、仮想マシンの移動など)が可能
3. VMWareでいうvSANのような機能をcephで実現
4. GUIあり
5. 対応CPUの幅が広い
   (Debianのため)
   (Intel VT-x機能があれば大抵動く。Celronでも可能)
   (VMWareはほぼXEONでしか動かない)
6. 既存システムとの共存可能
   • Debianのため

Install, Download †

Download †

• https://www.proxmox.com/en/downloads/category/iso-images-pve
• ISO をダウンロードしてDVDを作成しインストール

初回アップデート †

• 参考：Install Proxmox VE

1. Sources list を変更

   echo "deb [arch=amd64] http://download.proxmox.com/debian/pve bullseye pve-no-subscription" > /etc/apt/sources.list.d/pve-install-repo.list

2. gpg keyのダウンロード

   wget https://enterprise.proxmox.com/debian/proxmox-release-bullseye.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bullseye.gpg 

3. pve-enterprise.list のコメントアウト

   vi /etc/apt/sources.list.d/pve-enterprise.list

   • 変更前

     deb https://enterprise.proxmox.com/debian/pve bullseye pve-enterprise

   • 変更後

     #deb https://enterprise.proxmox.com/debian/pve bullseye pve-enterprise

4. repository の更新とアップグレード

   apt update && apt full-upgrade

最低限のソフトのインストール †

apt install vim ethtool tmux clamav iftop iotop qemu-guest-agent sudo

IPV6 の無効化 †

• 以下を追加
• sudo vi /etc/sysctl.conf

  net.ipv6.conf.all.disable_ipv6 = 1
  net.ipv6.conf.default.disable_ipv6 = 1

• 反映

  sudo sysctl -p

LDAP参加 †

• サイト内リンク:openldap#l7ae19bd

起動後の初期ユーザー名 †

• root
• URL : https://(IP address):8006
  • 例) https://123.123.123.123:8006/

クラスタの作成 †

1. 「データセンター」-> 「クラスタ」(上から4つめ)
2. 「クラスタの作成」
3. クラスタ名を入力してそのまま作成する。

クラスへの参加(Join) †

既存ホストでの作業 †

1. 既存のホストから「データセンター」を選択 -> 「クラスタ」->「Join情報」
2. 「Join情報」をコピー

新規ホストでの作業 †

1. 「データセンター」を選択 -> 「クラスタ」
2. 「クラスタに参加」
   1. 先程のJoin情報を貼り付け
   2. rootのパスワードの入力(不要？)

ストレージ関連 †

通常(ceph以外) †

新規HDDの追加(thin diskの追加) †

1. GPT初期化
   1. 左ツリーから個別のホストを選択
   2. ディスクを選択
   3. 新規に追加したdisk(sdbとかsdc)を選択
   4. 「GPTでディスクを初期化」ボタンを押す
2. LVM-Thinを作成
   1. 「LVM-Thin」を選択
   2. 「作成: Thinpool」ボタンを押す
   3. ディスクを選んで名前を適当に付ける。例) prox01SdbThin?

消す場合 †

1. 左ツリーから個別のホストを選択
2. ディスクを開く
3. 「LVM-Thin」の中の消したい名前を選択
4. 右上の「More」を開き「破棄」を選択

分散ファイルストレージ(ceph)を構成 †

概要 †

• とりあえず最低限、3台のPCやサーバが必要
• Thin は無い

インストール †

1. 「データセンター」-> 「Ceph」(上から5つめ)をクリック
2. 「Cephをインストール」をクリック
3. 「Quincyのインストールを開始」をクリック
   1. 「Do you want to continoue」 と聞かれるので「y」 Enterを入力
   2. インストールが完了したら「次へ」を押す

設定 †

1. 「Public Network IP/CIDR」は選べるのを選んでおく
2. 「Cluster Network IP/CIDR」もとりあえず選べるのを選んでおく
3. 「Number replicas」と「Minimum replicas」はとりあえず標準のままで「次へ」
4. 「完了」ボタンを押す

モニタ †

1. 新規 ceph サーバを立てたら登録が必要

OBD †

1. ディスクの登録が必要

pool †

1. 仮想マシンを保存できるcephのストレージ
2. これがないとvMotion的な「マイグレート」もストレージ移動が伴うと思う

CephFS †

• 特徴
  1. ファイルサーバ機能。
  2. 仮想マシンは作れない

1. 消し方
   • 参考サイトhttps://pve.proxmox.com/pve-docs/chapter-pveceph.html#_destroy_cephfs
   1. ストレージのアンマウント(データセンターから)
   2. 各ノードの「Ceph」->「CephFS」からメタバースを停止 -> 破棄
   3. 以下のコマンドを実行

      pveceph fs destroy NAME --remove-storages --remove-pools

ディスク, disk, キャッシュ関連 †

• 参考サイト：[[]]

1. 参考サイトからの結論
   1. キャッシュはHDDの場合、Write back
   2. キャッシュはSSDの場合、Write back(unsafe)
   3. SSDならSSD エミュレーションはON
   4. IO ThreadはON
   5. SCSIコントローラーはVirtio SCSI Single
   6. Barrier無効化は効果があるがリスク対効果を考えて設定

CentOS6ではエラー †

• ひっかかったのは、SCSIコントローラ
  • Virtio SCSI Singleではパニックエラー(panic+0xa7)が起きるため、「LSI 53C895A」とした。

ISOイメージ用のストレージ †

• 対応状況：とりあえず代表的なものだけ
  1. Directory
  2. NFS
  3. CIFS
  4. CephFS

仮想マシンの追加 †

1. ProxMox?のWeb管理コンソール、右上「VMを作成」ボタンを押す
   (コンテナはceph poolでは作れないので注意)
2. 全般
   1. 「ノード」(ProxMox?のホスト)を選択
   2. 「VM ID」：適当にダブらない3桁の数字　例) 123
   3. 「名前」：仮想コンピュータの名前
   4. 「リソースプール」：空白
3. OS
   1. ISOイメージの選択(ISOが格納できるファイルシステムは->Proxmox VE#g52994f9)

仮想マシンの初期設定(お好みで) †

1. apt install vim tmux clamav iftop iotop qemu-guest-agent ntp
2. ntpの設定

   sudo vim /etc/ntp.conf

バックアップとリストア †

バックアップ †

1. 「データセンター」 -> ホスト -> 仮想マシン -> バックアップを選択
2. 「今すぐバックアップ」を押す
3. バックアップ先やモードを選択
4. 「バックアップ」ボタンを押す

リストア †

1. 「データセンター」 -> ホスト -> 仮想マシン -> バックアップを選択
2. リストアするイメージを選択 -> 「リストア」ボタンを押す
3. ターゲットのストレージを選択して「リストア」ボタンを押す

vMotion的な(マイグレート) †

• 仮想マシンを右クリック -> 「マイグレート」
• マイグレート先を選択

WOL(参考) †

• 参考サイト : ProxmoxでのWOL(Wake On Lan)起動で個人的につまずいたところ個人メモ(Ragy Note)

1. BIOS(UEFI)で設定しておくこと。
2. proxmox側での設定
   1. ProxMox?サーバへrootでログイン
   2. 以下のコマンドでネットワーク・アダプタを確認

      ip addr show

   3. 自分の場合のNIC名は「enp2s0」
   4. ethtoolのインストール

      apt install ethtool

   5. 対応状況の確認

      ethtool enp2s0

   6. Wake-on: のあとの文字を確認
      • Wake-on: dなら次へ
      • Wake-on: gならWOLの設定はできてる
   7. ethtoolでWOLを設定

      ethtool -s enp2s0 wol g

   8. 元に戻ってしまうので自動で設定

      crontab -e

      • 以下を追加

        @reboot /usr/sbin/ethtool -s enp2s0 wol g

   9. ProxMox? サーバへWOL用のIPを登録(マックアドレスは例)

      pvenode config set -wakeonlan 12:34:56:78:90:ab

ASROCK マザーボードのUEFI設定 †

• 参考サイト
• [アドバンスド] > [ACPI Configurarion(ACPI設定)]
  • [PCIE Devices Power On(PCIEデバイス電源オン)]:有効

VMwareからの移行 †

• 参考サイト

移行手順 †

1. VMwareの仮想マシンをシャットダウンする
2. 「エクスポート」を選択(イメージは不要)
3. 一旦PCへファイルを落とす
4. ProxMox? VEのホストへファイル転送(自分はSCPで送りこみました)
5. ProxMox? VEのホストで以下のコマンドを実行
   • qm importovf (仮想マシンNo) (ovfファイルpath) (ストレージ)

     sudo qm importovf 200 /tmp/exported-vm.ovf cephPool

CentOS 6 †

1. ネットワークカードの追加
2. eth0 -> eth1へ変更
   1. CentOS6(ネットワークマネージャーを使用しない場合)
      1. cd /etc/sysconfig/network-scripts/
      2. cp ifcfg-eth0 ifcfg-eth1
      3. vi ifcfg-eth1

         DEVICE=eth1
         #HWADDR=00:0C:29:FD:61:33
         NAME="System eth1"

3. qemu-guest-agent のインストール

   apt install qemu-guest-agent

CentOS 7 †

1. 起動エラーの回復
   1. エラー内容

      Starting Dracut Emergency Shell...
      Warning: /dev/centos/root does not exist
      Warning: /dev/centos/swap does not exist
      Warning: /dev/mapper/centos-root does not exist
      
      Generating "/run/initramfs/rdsosreport.txt"
      
      
      Entering emergency mode. Exit the shell to continue.
      Type "journalctl" to view system logs.
      You might want to save "/run/initramfs/rdsosreport.txt" to USB stick or /boot
      after mounting them and attach it to a bug report.
      
      
      dracut:/

   • このエラー、本当に調べるのに時間かかった。。。6時間位調べてようやくわかりました。。。
   • 結論：HDDをIDEに変更する
   • 手順
     1. import先(proxmox)の対象のバーチャル・マシンを開く
     2. ハードウェア
     3. ハードディスクを1回「デタッチ」する
     4. 再度ハードディスクをダブルクリックしてIDEとして実装する
     5. 通常通りバーチャル・マシンを起動する
2. fstabからネットワークドライブを一時的にコメントアウトする
3. Network Manager の設定

   nmtui

• 参考：起動エラーの確認コマンド

  journalctl -xb

  • Page up down でスクロールできる

VMWareへの移行 †

• 参考サイト

ctrl + alt + f1 などの押し方 †

「モニタ」機能を使う方法 †

• 参考サイト

1. ProxMox?のコンソールで対象の仮想マシンを開く
2. 「モニタ」を選択(コンソールではない)
3. 以下のコマンド(例)を入力、送信

   sendkey ctrl-alt-f1

noVNCの左側にある四角の中にAが書いてあるボタン †

1. 例) Ctrl + Alt + F1
   • Ctrl と Alt を押し反転させる
   • 「F1」を押す

USB(調査中) †

参考サイト †

1. https://pve.proxmox.com/wiki/USB_Devices_in_Virtual_Machines

設定 †

1. ProxMox? VEへSSH
2. USB一覧の取得

   lsusb

   • 注目するのは以下のID(例)
     • Bus 001 Device 037: ID 0511:083f N'Able (DataBook?) Technologies, Inc. PXW3U4
3. 追加したい仮想マシンの番号を指定し以下のコマンドを実行して追加
   • sudo qm set (仮想マシンのID) -usb(USB番号任意) host=(上記USBのID)
   • 例)

     sudo qm set 804 -usb0 host=0511:083f

• 追加されたUSBはWeb consoleからも見る事が可能

調査、設定中 †

Win11(調査中) †

Zabbix(調査中) †

マイクラ・サーバ †

ファイルサーバ機能(ceph pool) †

どうやってファイルサーバ機能を実現するか †

• LVMだと思ってたら、ext4でも普通にオンラインで容量の追加、削減ができた。
  • -> 仮想マシン場でかつext4で実現する。
• あとはNFSとSMBのどっちにするか。。。

耐障害性 †

• ディスクの欠落
• ホストの停止

ディスクの容量減らし方 †

アラート, Alert関連 †

• 参考サイト

SPICE(画面共有) †

noVNCで画面が更新されない場合 †

1. noVNCを使っても「ハードウェア」の「ディスプレイ」を「SPICE(qxl)」へ変更する。

調査完了 †

Moose File System との共存 †

• 可能

個人メモ †

VM migration †

1. 基本設定
   1. ホスト
   2. 仮想マシン
   • 項目
     1. openldap#l7ae19bd

SATA2つ追加 †

(おまけ) テスト環境PCについて †

HP ProDesk? 400 G2.5 Small Form Factor Business PC †

BIOS(UEFI) 設定 †

• F10
• 変更箇所
  1. ストレージ
     • 起動順序
       • UEFI USB DVD を一番上へ
       • F10 で終了
  2. セキュリティ
     1. システムのセキュリティ
        • 仮想化技術(VTx/Vtd) -> 有効
        • F10で終了
     2. 安全なブートの構成
        • 安全なブート -> 無効
        • 高速ブート -> 無効
  3. 電源
     1. ハードウェア・パワー・マネージメント
        • S5ウェイク オンLAN -> 有効
  4. カスタム
     • 電源投入時オプション
       • POSTメッセージ -> 有効
       • 電源コード抜き差し後 -> オン

     

Site admin: anonymous

PukiWiki 1.5.1 © 2001-2016 PukiWiki Development Team. Powered by PHP 7.4.33. HTML convert time: 0.264 sec.