#author("2023-01-26T10:07:40+09:00","default:dramsukohome","dramsukohome") [[LinuxServer]] #shadowheader(1,"Proxmox") #contents * 参考サイト [#qdba0148] -[[https://internet.watch.impress.co.jp/docs/column/shimizu/1442466.html]] -[[https://pc.watch.impress.co.jp/docs/column/kaimono/1464643.html]] * 最初に[#c5d32a2d] ** 概要 [#m3454561] - Proxmox VE という仮想化プラットフォームがある事を知ったので~ ちょっと構築してみようかと思いました〜(^^) - 検証時のVersion -> 7.3 - 古いPCを有効活用できる技術です。 ** 特徴 [#sca653f4] +フリー +vCenterありのVMWareの機能(複数サーバでのHA, クラスタリング、仮想マシンの移動など)が可能 +VMWareでいうvSANのような機能をcephで実現 +GUIあり +対応CPUの幅が広い~ (Debianのため)~ (Intel VT-x機能があれば大抵動く。Celronでも可能)~ (VMWareはほぼXEONでしか動かない) + 既存システムとの共存可能 -- Debianのため * Install, Download [#zcc85cbf] ** Download [#w2a5a012] - [[https://www.proxmox.com/en/downloads/category/iso-images-pve]] - ISO をダウンロードしてDVDを作成しインストール ** 初回アップデート [#ebd86128] -参考:[[Install Proxmox VE:https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_11_Bullseye#Install_Proxmox_VE]] + Sources list を変更 echo "deb [arch=amd64] http://download.proxmox.com/debian/pve bullseye pve-no-subscription" > /etc/apt/sources.list.d/pve-install-repo.list +gpg keyのダウンロード wget https://enterprise.proxmox.com/debian/proxmox-release-bullseye.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bullseye.gpg +repository の更新とアップグレード apt update && apt full-upgrade ** 最低限のソフトのインストール [#j5e1e551] apt install vim ethtool tmux clamav iftop iotop qemu-guest-agent sudo ** IPV6 の無効化 [#b8b16c21] -以下を追加 -sudo vi /etc/sysctl.conf net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 -反映 sudo sysctl -p * 起動後の初期ユーザー名 [#f452b50f] - root - URL : https://(IP address):8006 -- 例) https://123.123.123.123:8006/ * クラスタの作成 [#h4744fb4] + 「データセンター」-> 「クラスタ」(上から4つめ) + 「クラスタの作成」 + クラスタ名を入力してそのまま作成する。 * ストレージ関連 [#x77b0ae0] ** 通常(ceph以外) [#r86b9499] *** 新規HDDの追加(thin diskの追加) [#jbff0ebb] +GPT初期化 ++左ツリーから個別のホストを選択 ++ディスクを選択 ++新規に追加したdisk(sdbとかsdc)を選択 ++「GPTでディスクを初期化」ボタンを押す +LVM-Thinを作成 ++「LVM-Thin」を選択 ++「作成: Thinpool」ボタンを押す ++ディスクを選んで名前を適当に付ける。例) prox01SdbThin *** 消す場合 [#wcac7127] +左ツリーから個別のホストを選択 +ディスクを開く +「LVM-Thin」の中の消したい名前を選択 +右上の「More」を開き「破棄」を選択 ** 分散ファイルストレージ(ceph)を構成 [#o4ac2ecc] *** 概要 [#ee696468] - とりあえず最低限、3台のPCやサーバが必要 - Thin は無い *** インストール [#e3bf8ebf] + 「データセンター」-> 「Ceph」(上から5つめ)をクリック + 「Cephをインストール」をクリック + 「Quincyのインストールを開始」をクリック ++ 「Do you want to continoue」 と聞かれるので「y」 Enterを入力 ++ インストールが完了したら「次へ」を押す *** 設定 [#sa18540f] + 「Public Network IP/CIDR」は選べるのを選んでおく + 「Cluster Network IP/CIDR」もとりあえず選べるのを選んでおく + 「Number replicas」と「Minimum replicas」はとりあえず標準のままで「次へ」 + 「完了」ボタンを押す *** モニタ [#qf4cd17e] *** OBD [#j6d2997a] *** pool [#f9155443] *** CephFS [#xccd7503] -特徴 ++ファイルサーバ機能。 ++仮想マシンは作れない +消し方 -- 参考サイト[[https://pve.proxmox.com/pve-docs/chapter-pveceph.html#_destroy_cephfs]] ++ ストレージのアンマウント(データセンターから) ++ 各ノードの「Ceph」->「CephFS」からメタバースを停止 -> 破棄 ++ 以下のコマンドを実行 pveceph fs destroy NAME --remove-storages --remove-pools * バックアップとリストア [#v399b62d] ** バックアップ [#g0f851ce] +「データセンター」 -> ホスト -> 仮想マシン -> バックアップを選択 +「今すぐバックアップ」を押す +バックアップ先やモードを選択 +「バックアップ」ボタンを押す ** リストア [#c7874e3a] +「データセンター」 -> ホスト -> 仮想マシン -> バックアップを選択 +リストアするイメージを選択 -> 「リストア」ボタンを押す +ターゲットのストレージを選択して「リストア」ボタンを押す * WOL [#z420377d] -参考サイト : [[ProxmoxでのWOL(Wake On Lan)起動で個人的につまずいたところ個人メモ(Ragy Note)https://ragy.work/?p=27]] +BIOS(UEFI)で設定しておくこと。 +proxmox側での設定 ++ ProxMoxサーバへrootでログイン ++ 以下のコマンドでネットワーク・アダプタを確認 ip addr show ++ 自分の場合のNIC名は「enp2s0」 ++ ethtoolのインストール apt install ethtool ++ 対応状況の確認 ethtool enp2s0 ++ Wake-on: のあとの文字を確認 --- Wake-on: dなら次へ --- Wake-on: gならWOLの設定はできてる ++ ethtoolでWOLを設定 ethtool -s enp2s0 wol g ++ 元に戻ってしまうので自動で設定 crontab -e --- 以下を追加 @reboot /usr/sbin/ethtool -s enp2s0 wol g ++ ProxMox サーバへWOL用のIPを登録(マックアドレスは例) pvenode config set -wakeonlan 12:34:56:78:90:ab * 調査、設定中 [#b57c10a2] ** USB(調査中) [#p1802fde] *** 参考サイト [#ccc13628] +[[Proxmox で USB パススルーをテスト(すらりん日記):https://blog.techlab-xe.net/proxmox-%E3%81%A7-usb-%E3%83%91%E3%82%B9%E3%82%B9%E3%83%AB%E3%83%BC%E3%82%92%E3%83%86%E3%82%B9%E3%83%88/]] [#b8e8a938] ** Win11(調査中) [#pe3c60ac] ** Zabbix(調査中) [#nf6e045b] ** マイクラ・サーバ [#zac6a3cd] ** ファイルサーバ機能(ceph pool) [#b3c61605] *** どうやってファイルサーバ機能を実現するか [#md5e5e85] *** ストレージ・ディスク追加関連 [#n1d12523] + ceph [#rdafab4c] + 仮想マシン(LVM) [#sf991b00] ** cephfsの削除方法 [#of41bdef] ** ctrl + alt + f1 などの押し方 [#k9d082bf] -[[参考サイト:https://pve.proxmox.com/wiki/Troubleshooting#Switch_novnc_KVM_console]] ** VMwareからの移行 [#q4fea201] -[[参考サイト:https://pve.proxmox.com/wiki/Migration_of_servers_to_Proxmox_VE]] *** CentOS 6 [#pb2f1e77] +ネットワークカードの追加 +eth0 -> eth1へ変更 ++ CentOS6(ネットワークマネージャーを使用しない場合) +++ cd /etc/sysconfig/network-scripts/ +++ cp ifcfg-eth0 ifcfg-eth1 +++ vi ifcfg-eth1 DEVICE=eth1 #HWADDR=00:0C:29:FD:61:33 NAME="System eth1" +qemu-guest-agent のインストール apt install qemu-guest-agent *** CentOS 7 [#ke1201ab] +起動エラーの回復 ++エラー内容 Starting Dracut Emergency Shell... Warning: /dev/centos/root does not exist Warning: /dev/centos/swap does not exist Warning: /dev/mapper/centos-root does not exist Generating "/run/initramfs/rdsosreport.txt" Entering emergency mode. Exit the shell to continue. Type "journalctl" to view system logs. You might want to save "/run/initramfs/rdsosreport.txt" to USB stick or /boot after mounting them and attach it to a bug report. dracut:/ --このエラー、本当に調べるのに時間かかった。。。6時間位調べてようやくわかりました。。。 --結論:HDDをIDEに変更する --手順 +++ import先(proxmox)の対象のバーチャル・マシンを開く +++ ハードウェア +++ ハードディスクを1回「デタッチ」する +++ 再度ハードディスクをダブルクリックしてIDEとして実装する +++ 通常通りバーチャル・マシンを起動する +fstabからネットワークドライブを一時的にコメントアウトする +Network Manager の設定 nmtui -参考:起動エラーの確認コマンド journalctl -xb -- Page up down でスクロールできる *** DNS, DHCPエラー [#j017aebf] *** VMWareへの移行 [#l7977bda] -[[参考サイト:https://edywerder.ch/proxmox-to-vmware/]] ** 耐障害性 [#p4bf630a] -ディスクの欠落 -ホストの停止 ** ディスクの容量減らし方 [#u8a56c4d] ** アラート, Alert関連 [#z3a369bc] -[[参考サイト:https://forum.proxmox.com/threads/resetting-ceph-warnings.65778/]] * 調査完了 [#t08ae2e3] ** Moose File System との共存 [#t17ee4ba] -可能 * 個人メモ [#m12d43a9] + VM migration + 基本設定 ++ ホスト ++ 仮想マシン -- 項目 +++ [[openldap#l7ae19bd]] * (おまけ) テスト環境PCについて [#b781d728] ** HP ProDesk 400 G2.5 Small Form Factor Business PC [#bf578a6a] ***BIOS(UEFI) 設定 [#hfaf0808] - F10 -変更箇所 ++ストレージ --- 起動順序 ---- UEFI USB DVD を一番上へ ---- F10 で終了 ++ セキュリティ +++ システムのセキュリティ ---- 仮想化技術(VTx/Vtd) -> 有効 ---- F10で終了 +++ 安全なブートの構成 ---- 安全なブート -> 無効 ---- 高速ブート -> 無効 ++ 電源 +++ ハードウェア・パワー・マネージメント ---- S5ウェイク オンLAN -> 有効 ++ カスタム --- 電源投入時オプション ---- POSTメッセージ -> 有効 ---- 電源コード抜き差し後 -> オン