LinuxServer

Proxmox

参考サイト

最初に

概要

特徴

  1. フリー
  2. vCenterありのVMWareの機能(複数サーバでのHA, クラスタリング、仮想マシンの移動など)が可能
  3. VMWareでいうvSANのような機能をcephで実現
  4. GUIあり
  5. 対応CPUの幅が広い
    (Debianのため)
    (Intel VT-x機能があれば大抵動く。Celronでも可能)
    (VMWareはほぼXEONでしか動かない)
  6. 既存システムとの共存可能
    • Debianのため

Install, Download

Download

初回アップデート

  1. Sources list を変更
    echo "deb [arch=amd64] http://download.proxmox.com/debian/pve bullseye pve-no-subscription" > /etc/apt/sources.list.d/pve-install-repo.list
  2. gpg keyのダウンロード
    wget https://enterprise.proxmox.com/debian/proxmox-release-bullseye.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bullseye.gpg 
  3. pve-enterprise.list のコメントアウト
    vi /etc/apt/sources.list.d/pve-enterprise.list
    • 変更前
      deb https://enterprise.proxmox.com/debian/pve bullseye pve-enterprise
    • 変更後
      #deb https://enterprise.proxmox.com/debian/pve bullseye pve-enterprise
  4. repository の更新とアップグレード
    apt update && apt full-upgrade

最低限のソフトのインストール

apt install vim ethtool tmux clamav iftop iotop qemu-guest-agent sudo

IPV6 の無効化

LDAP参加

起動後の初期ユーザー名

クラスタの作成

  1. 「データセンター」-> 「クラスタ」(上から4つめ)
  2. 「クラスタの作成」
  3. クラスタ名を入力してそのまま作成する。

クラスへの参加(Join)

既存ホストでの作業

  1. 既存のホストから「データセンター」を選択 -> 「クラスタ」->「Join情報」
  2. 「Join情報」をコピー

新規ホストでの作業

  1. 「データセンター」を選択 -> 「クラスタ」
  2. 「クラスタに参加」
    1. 先程のJoin情報を貼り付け
    2. rootのパスワードの入力(不要?)

ストレージ関連

通常(ceph以外)

新規HDDの追加(thin diskの追加)

  1. GPT初期化
    1. 左ツリーから個別のホストを選択
    2. ディスクを選択
    3. 新規に追加したdisk(sdbとかsdc)を選択
    4. 「GPTでディスクを初期化」ボタンを押す
  2. LVM-Thinを作成
    1. 「LVM-Thin」を選択
    2. 「作成: Thinpool」ボタンを押す
    3. ディスクを選んで名前を適当に付ける。例) prox01SdbThin?

消す場合

  1. 左ツリーから個別のホストを選択
  2. ディスクを開く
  3. 「LVM-Thin」の中の消したい名前を選択
  4. 右上の「More」を開き「破棄」を選択

分散ファイルストレージ(ceph)を構成

概要

インストール

  1. 「データセンター」-> 「Ceph」(上から5つめ)をクリック
  2. 「Cephをインストール」をクリック
  3. 「Quincyのインストールを開始」をクリック
    1. 「Do you want to continoue」 と聞かれるので「y」 Enterを入力
    2. インストールが完了したら「次へ」を押す

設定

  1. 「Public Network IP/CIDR」は選べるのを選んでおく
  2. 「Cluster Network IP/CIDR」もとりあえず選べるのを選んでおく
  3. 「Number replicas」と「Minimum replicas」はとりあえず標準のままで「次へ」
  4. 「完了」ボタンを押す

モニタ

  1. 新規 ceph サーバを立てたら登録が必要

OBD

  1. ディスクの登録が必要

pool

  1. 仮想マシンを保存できるcephのストレージ
  2. これがないとvMotion的な「マイグレート」もストレージ移動が伴うと思う

CephFS

  1. 消し方
    1. ストレージのアンマウント(データセンターから)
    2. 各ノードの「Ceph」->「CephFS」からメタバースを停止 -> 破棄
    3. 以下のコマンドを実行
      pveceph fs destroy NAME --remove-storages --remove-pools

ディスク, disk, キャッシュ関連

  1. 参考サイトからの結論
    1. キャッシュはHDDの場合、Write back
    2. キャッシュはSSDの場合、Write back(unsafe)
    3. SSDならSSD エミュレーションはON
    4. IO ThreadはON
    5. SCSIコントローラーはVirtio SCSI Single
    6. Barrier無効化は効果があるがリスク対効果を考えて設定

CentOS6ではエラー

ISOイメージ用のストレージ

仮想マシンの追加

  1. ProxMox?のWeb管理コンソール、右上「VMを作成」ボタンを押す
    (コンテナはceph poolでは作れないので注意)
  2. 全般
    1. 「ノード」(ProxMox?のホスト)を選択
    2. 「VM ID」:適当にダブらない3桁の数字 例) 123
    3. 「名前」:仮想コンピュータの名前
    4. 「リソースプール」:空白
  3. OS
    1. ISOイメージの選択(ISOが格納できるファイルシステムは->Proxmox VE#g52994f9)

仮想マシンの初期設定(お好みで)

  1. apt install vim tmux clamav iftop iotop qemu-guest-agent ntp
  2. ntpの設定
    sudo vim /etc/ntp.conf

バックアップとリストア

バックアップ

  1. 「データセンター」 -> ホスト -> 仮想マシン -> バックアップを選択
  2. 「今すぐバックアップ」を押す
  3. バックアップ先やモードを選択
  4. 「バックアップ」ボタンを押す

リストア

  1. 「データセンター」 -> ホスト -> 仮想マシン -> バックアップを選択
  2. リストアするイメージを選択 -> 「リストア」ボタンを押す
  3. ターゲットのストレージを選択して「リストア」ボタンを押す

vMotion的な(マイグレート)

WOL(参考)

  1. BIOS(UEFI)で設定しておくこと。
  2. proxmox側での設定
    1. ProxMox?サーバへrootでログイン
    2. 以下のコマンドでネットワーク・アダプタを確認
      ip addr show
    3. 自分の場合のNIC名は「enp2s0」
    4. ethtoolのインストール
      apt install ethtool
    5. 対応状況の確認
      ethtool enp2s0
    6. Wake-on: のあとの文字を確認
      • Wake-on: dなら次へ
      • Wake-on: gならWOLの設定はできてる
    7. ethtoolでWOLを設定
      ethtool -s enp2s0 wol g
    8. 元に戻ってしまうので自動で設定
      crontab -e
      • 以下を追加
        @reboot /usr/sbin/ethtool -s enp2s0 wol g
    9. ProxMox? サーバへWOL用のIPを登録(マックアドレスは例)
      pvenode config set -wakeonlan 12:34:56:78:90:ab

ASROCK マザーボードのUEFI設定

VMwareからの移行

移行手順

  1. VMwareの仮想マシンをシャットダウンする
  2. 「エクスポート」を選択(イメージは不要)
  3. 一旦PCへファイルを落とす
  4. ProxMox? VEのホストへファイル転送(自分はSCPで送りこみました)
  5. ProxMox? VEのホストで以下のコマンドを実行
    • qm importovf (仮想マシンNo) (ovfファイルpath) (ストレージ)
      sudo qm importovf 200 /tmp/exported-vm.ovf cephPool

CentOS 6

  1. ネットワークカードの追加
  2. eth0 -> eth1へ変更
    1. CentOS6(ネットワークマネージャーを使用しない場合)
      1. cd /etc/sysconfig/network-scripts/
      2. cp ifcfg-eth0 ifcfg-eth1
      3. vi ifcfg-eth1
        DEVICE=eth1
        #HWADDR=00:0C:29:FD:61:33
        NAME="System eth1"
  3. qemu-guest-agent のインストール
    apt install qemu-guest-agent

CentOS 7

  1. 起動エラーの回復
    1. エラー内容
      Starting Dracut Emergency Shell...
      Warning: /dev/centos/root does not exist
      Warning: /dev/centos/swap does not exist
      Warning: /dev/mapper/centos-root does not exist
      
      Generating "/run/initramfs/rdsosreport.txt"
      
      
      Entering emergency mode. Exit the shell to continue.
      Type "journalctl" to view system logs.
      You might want to save "/run/initramfs/rdsosreport.txt" to USB stick or /boot
      after mounting them and attach it to a bug report.
      
      
      dracut:/
    • このエラー、本当に調べるのに時間かかった。。。6時間位調べてようやくわかりました。。。
    • 結論:HDDをIDEに変更する
    • 手順
      1. import先(proxmox)の対象のバーチャル・マシンを開く
      2. ハードウェア
      3. ハードディスクを1回「デタッチ」する
      4. 再度ハードディスクをダブルクリックしてIDEとして実装する
      5. 通常通りバーチャル・マシンを起動する
  2. fstabからネットワークドライブを一時的にコメントアウトする
  3. Network Manager の設定
    nmtui

VMWareへの移行

ctrl + alt + f1 などの押し方

「モニタ」機能を使う方法

  1. ProxMox?のコンソールで対象の仮想マシンを開く
  2. 「モニタ」を選択(コンソールではない)
  3. 以下のコマンド(例)を入力、送信
    sendkey ctrl-alt-f1

noVNCの左側にある四角の中にAが書いてあるボタン

  1. 例) Ctrl + Alt + F1
    • Ctrl と Alt を押し反転させる
    • 「F1」を押す

USB

参考サイト

  1. https://pve.proxmox.com/wiki/USB_Devices_in_Virtual_Machines

設定

  1. ProxMox? VEへSSH
  2. USB一覧の取得
    lsusb
    • 注目するのは以下のID(例)
      • Bus 001 Device 037: ID 0511:083f N'Able (DataBook?) Technologies, Inc. PXW3U4
  3. 追加したい仮想マシンの番号を指定し以下のコマンドを実行して追加
    • sudo qm set (仮想マシンのID) -usb(USB番号任意) host=(上記USBのID)
    • 例)
      sudo qm set 804 -usb0 host=0511:083f

その他

ロックの解除方法

調査、設定中

Win11(調査中)

Zabbix(調査中)

マイクラ・サーバ

ファイルサーバ機能(ceph pool)

どうやってファイルサーバ機能を実現するか

耐障害性

ディスクの容量減らし方

アラート, Alert関連

SPICE(画面共有)

noVNCで画面が更新されない場合

  1. noVNCを使っても「ハードウェア」の「ディスプレイ」を「SPICE(qxl)」へ変更する。

調査完了

Moose File System との共存

個人メモ

VM migration

  1. 基本設定
    1. ホスト
    2. 仮想マシン

SATA2つ追加

backup

(おまけ) テスト環境PCについて

HP ProDesk? 400 G2.5 Small Form Factor Business PC

BIOS(UEFI) 設定


トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS