LinuxServer

Proxmox

参考サイト

最初に

概要

特徴

  1. フリー
  2. vCenterありのVMWareの機能(複数サーバでのHA, クラスタリング、仮想マシンの移動など)が可能
  3. VMWareでいうvSANのような機能をcephで実現
  4. GUIあり
  5. 対応CPUの幅が広い
    (Debianのため)
    (Intel VT-x機能があれば大抵動く。Celronでも可能)
    (VMWareはほぼXEONでしか動かない)
  6. 既存システムとの共存可能
    • Debianのため

Install, Download

Download

初回アップデート

  1. Sources list を変更
    echo "deb [arch=amd64] http://download.proxmox.com/debian/pve bullseye pve-no-subscription" > /etc/apt/sources.list.d/pve-install-repo.list
  2. gpg keyのダウンロード
    wget https://enterprise.proxmox.com/debian/proxmox-release-bullseye.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bullseye.gpg 
  3. pve-enterprise.list のコメントアウト
    vi /etc/apt/sources.list.d/pve-enterprise.list
    • 変更前
      deb https://enterprise.proxmox.com/debian/pve bullseye pve-enterprise
    • 変更後
      #deb https://enterprise.proxmox.com/debian/pve bullseye pve-enterprise
  4. repository の更新とアップグレード
    apt update && apt full-upgrade

最低限のソフトのインストール

apt install vim ethtool tmux clamav iftop iotop qemu-guest-agent sudo

IPV6 の無効化

LDAP参加

tmux の設定

起動後の初期ユーザー名

クラスタの作成

  1. 「データセンター」-> 「クラスタ」(上から4つめ)
  2. 「クラスタの作成」
  3. クラスタ名を入力してそのまま作成する。

クラスへの参加(Join)

既存ホストでの作業

  1. 既存のホストから「データセンター」を選択 -> 「クラスタ」->「Join情報」
  2. 「Join情報」をコピー

新規ホストでの作業

  1. 「データセンター」を選択 -> 「クラスタ」
  2. 「クラスタに参加」
    1. 先程のJoin情報を貼り付け
    2. rootのパスワードの入力(不要?)

クラスタから削除

ストレージ関連

通常(ceph以外)

新規HDDの追加(thin diskの追加)

  1. GPT初期化
    1. 左ツリーから個別のホストを選択
    2. ディスクを選択
    3. 新規に追加したdisk(sdbとかsdc)を選択
    4. 「GPTでディスクを初期化」ボタンを押す
  2. LVM-Thinを作成
    1. 「LVM-Thin」を選択
    2. 「作成: Thinpool」ボタンを押す
    3. ディスクを選んで名前を適当に付ける。例) prox01SdbThin?

消す場合

  1. 左ツリーから個別のホストを選択
  2. ディスクを開く
  3. 「LVM-Thin」の中の消したい名前を選択
  4. 右上の「More」を開き「破棄」を選択

分散ファイルストレージ(ceph)を構成

概要

インストール

  1. 「データセンター」-> 「Ceph」(上から5つめ)をクリック
  2. 「Cephをインストール」をクリック
  3. 「Quincyのインストールを開始」をクリック
    1. 「Do you want to continoue」 と聞かれるので「y」 Enterを入力
    2. インストールが完了したら「次へ」を押す

設定

  1. 「Public Network IP/CIDR」は選べるのを選んでおく
  2. 「Cluster Network IP/CIDR」もとりあえず選べるのを選んでおく
  3. 「Number replicas」と「Minimum replicas」はとりあえず標準のままで「次へ」
  4. 「完了」ボタンを押す

モニタ

  1. 新規 ceph サーバを立てたら登録が必要

OBD

  1. ディスクの登録が必要

pool

  1. 仮想マシンを保存できるcephのストレージ
  2. これがないとvMotion的な「マイグレート」もストレージ移動が伴うと思う

状況確認, Status,等

  1. まず一杯になる前兆などの指標
    1. OSD_NEARFULL : もうそろそろリバランスできなくなりますよ、って警告
    2. OSD_BACKFILLFULL:既にリバランスができないよ、って警告
    3. OSD_FULL:クラスタの書き込みが実行できなよ、って警告
  2. weight関連

仮想マシンの中のディスクが[No Such File or Directory]で消せない

cephをフルに近くしてめちゃくちゃ遅くなった時

  1. とりあえずモニタサーバを順番に再起動
  2. 容量を見るのはOSD一覧(cephのサマリでは容量逼迫を検知できない)
  3. HDDの1つがやたらと遅い可能性もある。
    • OSD一覧からLatencyも確認
  4. rewaightの調整
  5. 以下、チラ裏。。。
    • 大きいディスクを消す時、めちゃくちゃ重い。
      1時間に1% 位しか進まない。。。
      そのおかげで、他のサーバに影響が出ていて、DNSやDHCP, Proxyなどインフラ周りのサーバはもちろん、
      Webサーバやデータベースサーバにも影響が出ていてしんどい。。。
      日記用のプライベートWordpressにもアクセスできないし、SKKのGoogle IMEも利用できないので、
      日本語変換もままならん。。。早く解決しないかなぁ。。。
    • 次の日には直りました(^^)

ディスクエラーの消し方

リカバリ, リバランスのために仮想マシンが重い, 遅い(ceph, チューニング)

  1. 一番効果が高い方法(osd_recovery_op_priority, osd_client_op_priority 1)
    • 数字が低い方が高優先度
    • 自分は一晩放置したら反映されてました
    • 値は1〜64
      • sudo ceph config set osd osd_recovery_op_priority 63
      • sudo ceph config set osd osd_client_op_priority 1
  2. どうしても重い時はリカバリ, リバランスを停止
    • 停止
      sudo ceph osd set nobackfill
    • 再開
      sudo ceph osd unset nobackfill
  3. その他、効きそうな設定
    1. sudo ceph config set osd osd_max_backfills 1
    2. sudo ceph config set osd osd_recovery_max_active 1
    3. sudo ceph config set osd osd_max_pg_log_entries 1
    4. sudo ceph config set osd osd_memory_target 2000000000
      • これはあまり効いてる感じはしないかな。。。
    5. sudo ceph config set osd osd_backfill_full_ratio 0.3
      • 自分の環境では以下のエラーで動かなかった。。。
        Error EINVAL: unrecognized config option 'osd_backfill_full_ratio'
      • Ceph OSD のフル比率がこの値以上の場合、バックフィル要求の受け入れを拒否
    6. ceph tell 'osd.*' injectargs '--osd-max-backfills 1'
    7. sudo ceph config set osd osd_backfill_scan_max 128
  4. 使用状況による OSD の重みの設定(自動, reweight)
    • sudo ceph osd reweight-by-utilization [threshold] [weight_change_amount] [number_of_OSDs] [--no-increasing]
      • threshold : 101〜120
      • weight_change_amount : weight を変更する値。0.01〜1.0。
        例えば 0.5 で設定すると、Max 0.5の加減でreweight値を変更する。
      • number_of_OSDs : いくつのosdを変更するか。5個のosdを変更したい場合は 5。 10個なら10
      • --no-increasing : Weightを増やさない。個人的にはこのオプションは無くても良いと思う
      • 例)
        sudo ceph osd reweight-by-utilization 101 0.5 10
  5. 手動(reweight)

ネットワークBonding(Teaming)

Cluster network

CephFS

  1. 消し方
    1. ストレージのアンマウント(データセンターから)
    2. 各ノードの「Ceph」->「CephFS」からメタバースを停止 -> 破棄
    3. 以下のコマンドを実行
      pveceph fs destroy NAME --remove-storages --remove-pools

ディスク, disk, キャッシュ関連

  1. 参考サイトからの結論
    1. キャッシュはHDDの場合、Write back
    2. キャッシュはSSDの場合、Write back(unsafe)
    3. SSDならSSD エミュレーションはON
    4. IO ThreadはON
    5. SCSIコントローラーはVirtio SCSI Single
    6. Barrier無効化は効果があるがリスク対効果を考えて設定

CentOS6ではエラー

ISOイメージ用のストレージ

仮想マシンの追加

  1. ProxMox?のWeb管理コンソール、右上「VMを作成」ボタンを押す
    (コンテナはceph poolでは作れないので注意)
  2. 全般
    1. 「ノード」(ProxMox?のホスト)を選択
    2. 「VM ID」:適当にダブらない3桁の数字 例) 123
    3. 「名前」:仮想コンピュータの名前
    4. 「リソースプール」:空白
    5. ネットワーク(NIC)の「ファイアウォール」チェックボックスはオフにしといたほうが良いかも
  3. OS
    1. ISOイメージの選択(ISOが格納できるファイルシステムは->Proxmox VE#g52994f9)

仮想マシンの初期設定(お好みで)

  1. apt install vim tmux clamav iftop iotop qemu-guest-agent ntp
  2. ntpの設定
    sudo vim /etc/ntp.conf
  3. lxde化
    sudo apt install lxde

Windows10

仮想マシン

Windows Guest Agent, VirtIO

  1. Windows10
  2. Windows 2008 Server

バックアップとリストア

バックアップ

  1. 「データセンター」 -> ホスト -> 仮想マシン -> バックアップを選択
  2. 「今すぐバックアップ」を押す
  3. バックアップ先やモードを選択
  4. 「バックアップ」ボタンを押す

cephのバックアップ

ストレージ・レプリケーション

リストア

  1. 「データセンター」 -> ホスト -> 仮想マシン -> バックアップを選択
  2. リストアするイメージを選択 -> 「リストア」ボタンを押す
  3. ターゲットのストレージを選択して「リストア」ボタンを押す

vMotion的な(マイグレート)

WOL(参考)

  1. BIOS(UEFI)で設定しておくこと。
  2. proxmox側での設定
    1. ProxMox?サーバへrootでログイン
    2. 以下のコマンドでネットワーク・アダプタを確認
      ip addr show
    3. 自分の場合のNIC名は「enp2s0」
    4. ethtoolのインストール
      apt install ethtool
    5. 対応状況の確認
      ethtool enp2s0
    6. Wake-on: のあとの文字を確認
      • Wake-on: dなら次へ
      • Wake-on: gならWOLの設定はできてる
    7. ethtoolでWOLを設定
      ethtool -s enp2s0 wol g
    8. 元に戻ってしまうので自動で設定
      crontab -e
      • 以下を追加
        @reboot /usr/sbin/ethtool -s enp2s0 wol g
    9. ProxMox? サーバへWOL用のIPを登録(マックアドレスは例)
      pvenode config set -wakeonlan 12:34:56:78:90:ab

ASROCK マザーボードのUEFI設定

VMwareからの移行

移行手順

  1. VMwareの仮想マシンをシャットダウンする
  2. 「エクスポート」を選択(イメージは不要)
  3. 一旦PCへファイルを落とす
  4. ProxMox? VEのホストへファイル転送(自分はSCPで送りこみました)
  5. ProxMox? VEのホストで以下のコマンドを実行
    • qm importovf (仮想マシンNo) (ovfファイルpath) (ストレージ)
      sudo qm importovf 200 /tmp/exported-vm.ovf cephPool

CentOS 6

  1. ネットワークカードの追加
  2. eth0 -> eth1へ変更
    1. CentOS6(ネットワークマネージャーを使用しない場合)
      1. cd /etc/sysconfig/network-scripts/
      2. cp ifcfg-eth0 ifcfg-eth1
      3. vi ifcfg-eth1
        DEVICE=eth1
        #HWADDR=00:0C:29:FD:61:33
        NAME="System eth1"
  3. qemu-guest-agent のインストール
    apt install qemu-guest-agent

CentOS 7

  1. 起動エラーの回復
    1. エラー内容
      Starting Dracut Emergency Shell...
      Warning: /dev/centos/root does not exist
      Warning: /dev/centos/swap does not exist
      Warning: /dev/mapper/centos-root does not exist
      
      Generating "/run/initramfs/rdsosreport.txt"
      
      
      Entering emergency mode. Exit the shell to continue.
      Type "journalctl" to view system logs.
      You might want to save "/run/initramfs/rdsosreport.txt" to USB stick or /boot
      after mounting them and attach it to a bug report.
      
      
      dracut:/
    • このエラー、本当に調べるのに時間かかった。。。6時間位調べてようやくわかりました。。。
    • 結論:HDDをIDEに変更する
    • 手順
      1. import先(proxmox)の対象のバーチャル・マシンを開く
      2. ハードウェア
      3. ハードディスクを1回「デタッチ」する
      4. 再度ハードディスクをダブルクリックしてIDEとして実装する
      5. 通常通りバーチャル・マシンを起動する
  2. fstabからネットワークドライブを一時的にコメントアウトする
  3. Network Manager の設定
    nmtui

VMWareへの移行

ctrl + alt + f1 などの押し方

「モニタ」機能を使う方法

  1. ProxMox?のコンソールで対象の仮想マシンを開く
  2. 「モニタ」を選択(コンソールではない)
  3. 以下のコマンド(例)を入力、送信
    sendkey ctrl-alt-f1

noVNCの左側にある四角の中にAが書いてあるボタン

  1. 例) Ctrl + Alt + F1
    • Ctrl と Alt を押し反転させる
    • 「F1」を押す

USB

参考サイト

  1. https://pve.proxmox.com/wiki/USB_Devices_in_Virtual_Machines

設定

  1. ProxMox? VEへSSH
  2. USB一覧の取得
    lsusb
    • 注目するのは以下のID(例)
      • Bus 001 Device 037: ID 0511:083f N'Able (DataBook?) Technologies, Inc. PXW3U4
  3. 追加したい仮想マシンの番号を指定し以下のコマンドを実行して追加
    • sudo qm set (仮想マシンのID) -usb(USB番号任意) host=(上記USBのID)
    • 例)
      sudo qm set 804 -usb0 host=0511:083f

その他

ロックの解除方法

仮想マシン一覧の表示方法

調査、設定中

Win11(調査中)

Zabbix(調査中)

マイクラ・サーバ

ファイルサーバ機能(ceph pool)

どうやってファイルサーバ機能を実現するか

耐障害性

ディスクの容量減らし方

アラート, Alert関連

SPICE(画面共有)

noVNCで画面が更新されない場合

  1. noVNCを使っても「ハードウェア」の「ディスプレイ」を「SPICE(qxl)」へ変更する。

調査完了

Moose File System との共存

個人メモ

VM migration

  1. 基本設定
    1. ホスト
    2. 仮想マシン

SATA2つ追加

backup

Window managerのlxde化

不要となったProxMox?ホストを売る

(おまけ) テスト環境PCについて

HP ProDesk? 400 G2.5 Small Form Factor Business PC

BIOS(UEFI) 設定


トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS