Proxmox Virtual Environment

Proxmox Virtual Environment

Proxmox VE 7.0 administracijsko grafičko sučelje
Web stranice:	www.proxmox.com/en/proxmox-ve
Tvrtka/razvijatelj:	Proxmox Server Solutions GmbH
Porodica:	GNU/Linux
Model izvornog koda:	slobodan softver
Posljednja stabilna inačica:	8.3-1 / 21. studenog 2024.
Marketinški cilj:	virtualizacija, poslužitelj, računarstvo u oblaku
Dostupni jezici:	Višejezičan
Metoda ažuriranja:	APT
Upravitelj paketa:	dpkg
Podržane platforme:	AMD64 (x86-64)
Tip jezgre:	monolitna (Linux)
Korisničko sučelje:	Web baziran
Licencija:	Affero General Public License
Radno stanje:	razvija se

Proxmox Virtual Environment (Proxmox VE ili PVE) je platforma otvorenog programskog kôda (open-source software) za virtualizaciju i Linux kontejnere. Platforma sadrži takozvani hipervizor koji može pokretati virtualna računala odnosno operacijske sustave, uključujući Linux i Windows kao i Solaris, FreeBSD, macOS, Minix, i druge na sklopovlju (hardveru) x64. PVE se temelji na distribuciji Linuxa Debian s modificiranim kernelom LTS Ubuntua^[1][2] koji omogućuje pokretanje i menadžment virtualnih računala i Linux kontejnera.^[3][4] Proxmox VE sadrži web konzolu i skup programa naredbenog retka (CLI) te nudi REST API za pristup s drugih sustava ili aplikacija.

Podržane su dvije vrste virtualizacije s potpuno web baziranim sučeljem za upravljanje:^[5]

• Kontejnerski bazirane, upotrebom LXC kontejnera (od inačice 4.0 zamijenili su OpenVZ kontejnere s LXC kontejnerima^[6]).
• Potpuna virtualizacija s upotrebom Linux KVM komponente i QEMU emulatora za virtualizaciju.^[7][8]

Proxmox VE je licenciran pod GNU Affero General Public License, licencom inačice tri.^[9]

Povijest

Razvoj Proxmox VE krenuo je kada su Dietmar Maurer i Martin Maurer, dvojica Linux programera, otkrili da OpenVZ Linux kontejneri nemaju alat za izradu sigurnosnih kopija niti grafičko (GUI) menadžment sučelje. KVM se pojavio u isto vrijeme pod Linuxom, te su podršku za njega dodali odmah potom.^[10]

Prvo stabilno javno izdanje PVE je objavljeno početkom 2008. godine. Podržavalo je Linux kontejnere (tada OpenVZ) i potpunu virtualizaciju, uz upravljanje (menadžment) iz grafičkog sučelja.^[11]

Kako radi Proxmox VE (instalacija)

U najjednostavnijem slučaju, Proxmox VE (PVE) se instalira na kompatibilni x86-64 hardver kao što su: klasično računalo i poslužitelj ili blade poslužitelj, s isporučene ISO slike.^[12] Instalacijski program gotovo automatski upravlja cijelim procesom instalacije, slično kao u osnovnoj instalaciji Debian distribucije Linuxa, koristeći cijeli prvi tvrdi disk računala. Moguće su i drugačije vrste instalacije i objašnjene su na PVE wiki stranici.^[13] Nakon instalacije, sva administracija i konfiguracija PVE-a odvija se u jednostavnim koracima putem web sučelja. Osim toga, dostupan je i pristup SSH naredbenom retku na root razini (administratorski), na kojem se mogu izvesti opsežniji radovi i posebne konfiguracije na glavnom sustavu korištenjem odgovarajućih skripti, sistemskih programa ili čak ručnim uređivanjem konfiguracijskih datoteka PVE sustava, primjerice u slučaju kada želite nestandardnu konfiguraciju mrežnog, diskovnog ili nekog drugog sustava ili kompomente.^[14]

Automatizirana instalacija

Od Proxmox VE inačice 8.2. podržana je automatizirana instalacija Proxmox VE sustava. To je vrlo korisno kod instalacije većeg broja poslužitelja ili tijekom reinstalacije poslužitelja (pr. na novi hardver). Trenutno je moguće automatizirati instalaciju s tri metode^[15]:

• Prilagodbom ISO instalacijske datoteke.
• S dodatnog diska (primjerice USB).
• S mreže.

Značajke

Proxmox VE je platforma za virtualizaciju i Linux kontejnere otvorenog programskog kôda, koja koristi dvije tehnologije: Kernel-based Virtual Machine (KVM) za virtualna računala te LXC za Linux kontejnere – sve preko jednog jedinog web sučelja.^[7]

Proxmox VE je baziran na GNU AGPL, v3 licenci. Tvrtka koja stoji iza razvoja Proxmox VE (Proxmox Server Solutions GmbH) prodaje opcionalnu pretplatu uz korisničku podršku.^[16]

Uz takvu pretplatu korisnici dobivaju pristup enterprise softver repozitorijima ili dodatnu (ovisno o razini pretplate) korisničku podršku.^[17]

Virtualizacija

Proxmox VE kao samostalni operativni sustav, sadrži Linux kernel koji radi izravno na hardveru kao hipervizor, a temeljen je na navedenoj KVM tehnologiji, koja za emuliranje hardvera koristi QEMU emulator. Pri tome je KVM centralni dio hipervizora koji omogućuje i korištenje hardverski ubrzanih značajki modernih procesora za virtualizaciju (Intel VT-x ili AMD-V). Dok je QEMU emulator virtualnog sklopovlja (hardvera) jer je za rad virtualnih računala potrebno emulirati sve komponente računala poput: čipseta matične ploče+BIOS, mrežne kartice+BIOS, disk kontrolera+BIOS, grafičke kartice+BIOS itd. Ove dvije komponente zajedno su potrebne za virtualizaciju i (zajedno) čine hipervizor za virtualizaciju. Prednost virtualizacije leži u činjenici da se gotovo svaki x86 kompatibilni operativni sustav može pokrenuti pod centralnom administracijom hipervizora bez dodatnih prilagodbi. Dakle ovakav način rada naziva se potpuna virtualizacija ili hardverski virtualni stroj (HVM). Da bi to sve radilo, potrebna je i hardverska podrška za virtualizaciju unutar modernih procesora (CPU), koja se naziva AMD-V (za AMD procesore) ili Intel VT-x (za Intelove procesore).

U drugom slučaju, ako nemamo hardversku podršku unutar procesora za virtualizaciju, i dalje je moguće pokretanje virtualnih računala, ali će ona raditi drastično sporije.

KSM deduplikacija u RAM memoriji

Proxmox VE podržava i takozvani KSM (engl. Kernel Samepage Merging) mehaizam deduplikacije podataka u RAM memoriji hipervizora.^[18]

Kernel Samepage Merging (KSM) je značajka deduplikacije RAM memorije hipervizora koju nudi Linux kernel, a koja je prema zadanim postavkama omogućena u Proxmox VE. KSM radi skeniranjem niza stranica fizičke memorije u potrazi za identičnim sadržajem i identificiranjem virtualnih stranica memorije koje su im mapirane. Ako se pronađu identične stranice, odgovarajuće virtualne stranice memorije se ponovno mapiraju tako da sve pokazuju na istu fizičku stranicu, a stare stranice se oslobađaju. Virtualne stranice memorije su pri tome označene kao "copy-on-write", tako da će svako pisanje na njih biti zapisano u novo područje memorije, ostavljajući dijeljenu fizičku stranicu netaknutom.^[19]

Dakle upotrebom KSM mehanizama koje koristi i KVM hipervizor, omogućuje KVM gostima (virtualnim računalima) da dijele identične memorijske stranice. Te dijeljene stranice obično su uobičajene biblioteke ili drugi identični podaci koji se često koriste. KSM zbog toga omogućuje veći broj identičnih ili sličnih gostujućih operativnih sustava (virtualnih računala) izbjegavanjem dupliciranja memorije.^[20]

Ugniježđena virtualizacija (nested virtualization)

Proxmox VE podržava i takozvanu ugniježđenu virtualizaciju (engl. nested virtualization^[21]), a ona se odnosi na način rada u kojem je moguće pokrenuti hipervizor, poput PVE-a ili drugih (pr. VMware ESXi, Microsoft Hyper-V, VirtualBox i sl.), unutar virtualnog računala, koji radi na drugom hipervizoru, umjesto na stvarnom hardveru. Drugim riječima, imate hipervizor instaliran na hardver, na kojemu se pokreće gostujući hipervizor (kao virtualno računalo), a koji ponovno može pokretati vlastita virtualna računala. To je vrlo korisno za testiranje; primjerice ako na postojećem Proxmox VE poslužitelju (hipervizoru) želite pokrenuti novu inačicu Proxmox VE i unutar nje testirati nove značajke i pokretati virtualna računala pod njim. Isto je i s drugim hipervizorima (pr. VMware ESXi, Microsoft Hyper-V, VirtualBox i sl.) koje možda samo želite pokrenuti unutar Proxmox VE (kao hipervizorom) i nešto testirati na njima.

Osim testne primjene, moguće je unutar ovakve ugniježđene virtualizacije pokretati virtualna računala koja se samo prema potrebi mogu ponašati kao hipervizori. To je konkretno slučaj s nekim emulatorima mrežnih uređaja i mreže, poput:

• GNS3^[22]
• EVE-ng^[23]

Podršku za ugniježđenu virtualizaciju koristi KVM komponenta, oslanjajući se na podršku na razini kernela te kernel modula. Primjerice za Intel procesore je to kernel modul [kvm-intel] odnosno za AMD procesore kernel modul [kvm-amd].

VM emulirani/paravirtualizirani hardver

S obzirom na to da Proxmox VE za virtualna računala koristi KVM (+QEMU) kao takozvani hipervizor, on nativno (iz grafičkog sučelja) podržava mnoge emulirane i paravirtualizirane hardverske komponente, poput:

• Čipseta matične ploče: i440fx ili q35 (više inačica)
• BIOS: SeaBIOS ili OVMF (UEFI)
• Vrsta procesora (CPU): host, kvm32, kvm64, qemu32, qemu64 ili točno definiranih generacija CPUa (tzv. features/flags) poput: athlon, opteron, phenom, broadwell, coreduo i sl.
• Diskovnih kontrolera: LSI53C895A, LSI53C810, MegaRAID SAS 8708EI, VirtIO SCSI (paravirtualiziran^[24]), VirtIO SCSI Single (paravirtualiziran^[24]), VMware PVSCSI
• Display: Standard VGA, VMware compatible, SPICE, Serial, VirtIO GPU (paravirtualiziran^[24]), VirGL GPU (paravirtualiziran^[24])
• Network: Intel E1000, VirtIO (paravirtualiziran^[24]), Realtek 8139, VMware vmxnet3
• RNG: VirtIO RNG^[24]
• Balloon značajke upotrebe RAM memorije (VirtIO^[24])
• Podršku za QEMU gost agenta^[25]

Propuštanje hardvera prema virtualnim računalima

Proxmox VE podržava propuštanje (eng. pass-through^[26]): PCI i USB^[27] uređaja s fizičkog poslužitelja prema virtualnim računalima, iz grafičkog sučelja. To znači da tada hipervizor PCI ili USB uređajima omogućuje prolaz do virtualnog računala odnosno da virtualno račualo ima izravan pristup fizičkom hardveru.

Dodatne opcije poput CPU zastavica (engl. flags) dostupne su iz grafičkog sučelja ili naredbenog retka. Različite vrste emuliranog hardvera (koji podržava sâm QEMU), također su dostupne preko naredbenog retka (CLI).

Podržani virtualizirani operativni sustavi i Linux kontejneri

S obzirom na to da Proxmox VE u pozadini koristi KVM sustav za virualizaciju, on podržava sve operativne sustave koje podržava i KVM (za virtualna računala), poput:^[28]

• Linux: bilo koja distribucija Linuxa: Red Hat Enterprise Linux, CentOS, Rocky Linux, Fedora, Oracle Enterprise Linux, Debian, Ubuntu, SUSE Linux Enterprise Server, openSUSE, Gentoo, Arch Linux, ... .
• BSD: FreeBSD,OpenBSD, NetBSD, DragonflyBSD, ...
• Solaris kompatibilni: Solaris, OpenSolaris, OpenIndiana, Nexenta Core, ...
• Windows: bilo koja inačica počevši od Windows 95^[28] (Windows 95, Windows NT, Windows Server 2000, Windows 2000, Windows XP, Windows Server 2003/R2, Windows Vista, Windows Server 2008/R2, Windows 7/8, Windows 10, Windows Server 2008R2, Windows Server 2012/R2, Windows 11, ...).
• Podržava i: Haiku, ReactOS, Plan 9, AROS Research Operating System i macOS.^[29][30]
• Nadalje, podržava i: Android, GNU/Hurd^[31] (Debian K16), Minix 3.1.2a, i mnoge druge operativne sustave.

Vezano za Linux kontejnere, s obzirom na to da Proxmox VE u pozadini koristi LXC tehnologiju, on podržava upotrebu bilo koje distribucije Linuxa kao Linux kontejnera: Red Hat Enterprise Linux, CentOS, Rocky Linux, Fedora, Oracle Enterprise Linux, Debian, Ubuntu, SUSE Linux Enterprise Server, openSUSE, Gentoo, Arch Linux, Slackware i mnogi drugi.

Kontejneri pod Linuxom

Za razliku od virtualnih računala i sâme virtualizacije, Linux kontejneri imaju značajno niže zahtjeve za memorijom i drugim resursima, ali gostujući sustav (Linux kontejner) ograničen je na Linux operativni sustav, budući da se u gostujućem sustavu za kontejnere koristi kernel glavnog sustava. To radi tako da se pomoću cgroups mehanizama Linuxa za Linux kontejner ograničava pristup resursima fizičkog računala (RAM, CPU jezgre, mreža, disk, ...). Naime ovdje nema virtualizacije i svôg emuliranog hardvera: čipset+BIOS, mrežna kartica+BIOS, disk kontroler+BIOS, grafička kartica+BIOS i slojeva virtualizacije, pa je jasno da Linux kontejner mora raditi brže i s manjim zahtjevima prema hardveru, od virtualnih računala.

Komunikacija iz Linux kontejnera prema fizičkom računalu i njegovim Linuxom, jer ovdje nema hipervizora, odrađuje se preko takozvanih sistemskih poziva (tako rade i sve aplikacije i komponente normalnog Linuxa), prema kernelu. Linux kontejner nije svjestan toga da nema svoj kernel. Nadalje on nije svjestan niti toga da se izvršava unutar Linux kontejnera, jer se svi ovi sistemski pozivi prema kernelu preslikavaju kroz sloj izolacije (namespaces), do stvarnog kernela i Linuxa (Proxmox VE) instaliranog na hardver. Naime svi sistemski pozivi unutar Linux kontejnera se preslikavaju preko takozvanih izoliranih imeničnih prostora (namespaces) prema stvarnom kernelu i Linux operativnom sustavu odnosno prema Proxmox VE.

Središnji menadžment

Proxmox VE koristi integrirano web bazirano sučelje unutar tzv. klasterskog (visoko dostupnog distribuiranog) datotečnog sustava naziva pmxcfs. To znači da ne postoji jedna točka kvara u klasteru, budući da svaki čvor (fizički host/poslužitelj) ima sve konfiguracijske datoteke pohranjene u datotečnom sustavu klastera, koji se dijeli između čvorova. Štoviše, svaki čvor (fizički poslužitelj) ima sve potrebne uloge/funkcije (upravljanje/vatrozid/sustav za pohranu/mreža/ ...) potrebne za rad. Kako klaster raste, razina redundancije također raste s njim.

To također znači da korisnik može konfigurirati sve potrebno, na bilo kojem čvoru (IP adresi čvora) unutar klastera, jer se sve promjene odmah sinkroniziraju unutar klastera i odmah su dostupne ostalim čvorovima.^[32]

Proxmox Offline Mirror

Pomoću alata Proxmox Offline Mirror moguće je upravljati lokalnim apt zrcalnim repozitorijem za sva ažuriranja paketa za Proxmox i Debian projekte. Iz ovog lokalnog apt repozitorija može se stvoriti vanjski medij, na primjer USB pogon ili dijeljeni mrežni disk, za ažuriranje onih sustava koji ne mogu pristupiti repozitoriju paketa izravno putem interneta.^[33]

Mrežni model

Proxmox VE koristi Bridge model mrežne veze prema virtualnim računalima i Linux kontejnerima.^[34] Mrežni most (premosnik) odnosno bridge radi poput mrežnog preklopnika (switcha) na OSI sloju dva (OSI 2), ali implementiranog u softveru. Neke druge platforme za virtualizaciju (pr. VMware ESXi i Hyper-V) ovakvo sučelje nazivaju vSwitch ili virtual switch.

Svi virtualni gosti (virtualna računala ili linux kontejneri) mogu dijeliti jedno bridge sučelje ili možete stvoriti više bridge sučelja za odvojene mrežne domene. Izolaciju virtualnih računala ili linux kontejnera moguće je postići upotrebom VLAN (ili drugih protokola), obično na razini bridge sučelja prema virtualnom mrežnom sučelju unutar virtualnog računala ili Linux kontejnera (iz grafičkog sučelja).

Za sâmo bridge mrežno sučelje na razini hipervizora, moguće je birati između:

• Linux bridge sučelje
• Open vSwitch bridge sučelja.

Dodatno, moguće je koristiti i takozvana Bond sučelja (agregcija/teaming) i to:

• Linux Bond - za bond sučelje, moguće je odabrati Linux Bond način rada koji najbolje zadovoljava korisnikove potrebe
• Open vSwitch bond vrstu sučelja, za koje je također moguće odabrati način rada koji najbolje zadovoljava korisnikove potrebe.

Sva navedena Bridge i Bond sučelja podržavaju VLANove (802.1Q) za izolaciju virtualnih računala i Linux kontejnera odnosno za segmentiranje mreže.

Nadalje Proxmox VE nativno (iz grafičkog sučelja) podržava i velike mrežne okvire (Jumbo frames). Dakle mrežne okvire veće od 1500 bajta (MTU).

PCI propuštanje

Pošto Proxmox VE podržava PCI propuštanje PCI i PCIe kartica (eng. pass-through^[26]), ono se odnosi i na mrežne kartice. To omogućuje izravan pristup fizičkom PCI uređaju, u ovom slučaju mrežnoj kartici, iz virtualnog računala. Ovakav način pristupa i korištenja mrežne kartice nudi najveću (hardversku) brzinu rada, drastično veću i od paravirtualiziranih mrežnih kartica, zato što se njenom mrežnom sučelju pristupa izravno bez slojeva virtualizacije ili paravirtualizacije.

Od novijih inačica Proxmox VE (v.8.x.), u Proxmox VE klasteru je moguće migrirati virtualna računala (HA način rada) koja koriste PCI propuštanje.

Proxmox VE podržava i mrežne kartice koje podržavaju takozvani Single Root I/O Virtualization (SR-IOV) način rada, ali trenutno (v.8.1.x) ne konfiguracijom iz grafičkog sučelja, već iz naredbenog retka.

SDN (Software Defined Network)

Jezgra softverski definiranog umrežavanja odnosno mrežnog stoga (SDN) je kod Proxmox VE-a od inačice 8.1. prešla s eksperimentalnog na standardno podržanu značajku.^[35] Pogledajmo što trenutno podržava:

• Proxmox VE SDN omogućuje preciznu kontrolu virtualnih mreža gostiju (virtualnih računala i Linux kontejnera) na razini podatkovnog centra.
• Novi dodatak za automatsko upravljanje IP adresama pomoću DHCP poslužitelja unutar IPAM (IP Address Management) modula može se koristiti za transparentno dodjeljivanje IP adresa virtualnim računalima, za sada (v.8.1) samo u jednostavnim zonama (simple zona). Ova značajka je trenutno označena kao tech-preview.
• Web korisničko sučelje sada omogućuje pregled i uređivanje DHCP unosa kojima upravlja ugrađeni IPAM modul.
• Integracija softverski definiranog umrežavanja (SDN) s vatrozidom. Proxmox VE SDN sada generira tzv. IP setove za VNets i virtualna računala kojima upravlja PVE dodatak za upravljanje IP adresama. Navedeni IP sets se može referencirati s pravilima vatrozida, čineći pravila jednostavnijima i lakšima za održavanje. VNets (Virtual Networks) se koristi u SDN sustavima za stvaranje fleksibilnih i prilagodljivih virtualnih mreža unutar klastera Proxmox poslužitelja. VNets omogućuju virtualizaciju mrežnih resursa i njihovu izolaciju ili segmentaciju, čime se pojednostavljuje upravljanje mrežom u okruženju s više virtualnih računala i Linux kontejnera.

To znači da je pomoću SDN modula, uz mnoge druge opcije specifične za SDN,^[36][37] moguće za izolaciju odnosno segmentaciju mreže virtualnih računala i Linux kontejnera koristiti nekoliko modela odnosno tzv. zona:

• Simple zonu kod koje se za svaku ovakvu zonu kreira po jedno izolirano VNet bridge sučelje. Ovo je najjednostavniji model kod kojeg je mrežni promet lokaliziran unutar svakog fizičkog poslužitelja.
• VLAN zonu koja za izolaciju koristi VLAN-ove i 802.1Q protokol^[38].
• QinQ zonu koja za izolaciju koristi QinQ odnosno 802.1ad protokol^[39].
• VxLAN zonu koja za izolaciju koristi Virtual Extensible LAN (RFC 7348)^[40].
• EVPN zonu koja za izolaciju koristi EVPN (Ethernet VPN)^[41].

Sustav za pohranu

Proxmox VE podržava fleksibilne lokalne i udaljene (mrežne) sustave za pohranu podataka (engl. storages),^[36][42] koji se mogu koristiti za pohranjivanje: diskovnih slika virtualnih računala ili Linux kontejnera, sigurnosnih kopija, predložaka linux kontejnera (engl. container template), ISO slika i drugog sadržaja.

Proxmox VE podržava lokalne sustave za pohranu, poput^[42]

• Mapa (direktorija)^[43]
• LVM^[44]
• LVM-Thin^[45]
• ZFS datotečnog sustava^[46]
• Btrfs datotečnog sustava^[47]

Proxmox VE podržava i udaljene (mrežne) sustave za pohranu, poput^[42]

• SAN (Storage Area Network) sustava:
  • iSCSI^[48]
  • Fibre Channel (iz naredbenog retka)^[49]
• NFS^[50]
• GlusterFS^[51]
• SMB/CIFS^[52]
• ZFS preko iSCSI^[53]
• Ceph:
  • Ceph FS^[54]
  • Ceph RBD^[55][42]
• Proxmox Backup Server^[56][36]

Nadalje, sustavi za pohranu se mogu dijeliti u dvije kategorije:

• File level storage – koji omogućuju pristup POSIX kompatibilnom datotečnom sustavu
• Block level storage – koji omogućuje pristup blokovima podataka.

Osim toga potrebno je definirati vrstu sustava za pohranu, za svaki pojedini sustav pohrane, ovisno o željenoj upotrebi odnosno sadržaju specifičnog sustava za pohranu. Kao što su primjerice sustavi za pohranu:^[57]

• Slika diskova virtualnih računala (pr. QCOW2, RAW, VDI, VHD, VMDK,...).
• Slika diskova Linux kontejnera.
• ISO slika.
• LXC predložaka.
• Sigurnosnih kopija [backup] i drugih sadržaja.

Multipath I/O

Multipath I/O (MPIO) je tehnologija koja omogućuje korištenje više fizičkih putanja između Proxmox VE poslužitelja i SAN sustava za pohranu odnosno takozvanih storage uređaja (SAN - Storage Area Network). Multipath povećava otpornost na kvarove i povećava propusnost, jer se promet može rasporediti preko više dostupnih veza (staza/putanja). Proxmox VE koristi Multipath I/O najčešće za povezivanje s Fibre Channel ili iSCSI SAN sustavima. Iako podrška za Multipath I/O postoji u Proxmox VE sustavu, ona je za sada na razini Linuxa, uz određene komponente poput LVM-a^[44] koji može koristiti Multipath i iz grafičkog sučelja. Za korištenje Multipatha su službeno podržani:

1. Standarni sustav:
   1. Multipath^[49] + iSCSI^[48]
   2. Multipath^[49] + Fibre Channel (FC) SAN sustavi.
2. Klasterski sustav kod kojeg kombinacija Multipath + iSCSCI/FC + LVM u pozadini koristi poseban Proxmox cluster file system (PMXCFS^[58]) koji osigurava mehanizam za zaključavanje diskova virtualnih računala (tzv. file locking) odnosno brine se o eventualnim kolizijama u pristupu diskovima virtualnih računala unutar poslužitelja u klasteru. Ova kombinacija je primjerice slična kombinaciji VMware sustava: NMP (VMware Native Multipathing ) + FC SAN + VMFS (Virtual Machine File System)^[49]. Sa strane Proxmox VE (u v.8.3.x) imamo službeno ponuđene dvije mogućnosti:
   1. Multipath + iSCSI + LVM - kao klasterski dijeljeni sustav za pohranu unutar Proxmox VE klastera.
   2. Multipath + Fibre Channel + LVM - kao klasterski dijeljeni sustav za pohranu unutar Proxmox VE klastera.

Diskovne slike i formati

Vezano za diskovne slike virtualnih računala Proxmox VE nativno iz grafičkog sučelja podržava slijedeće formate:^[59][60]

• .qcow2 - QCOW2 – on je format koji podržava kopiranje tijekom snimanja (copy on write) te omogućuje snimku stanja diska u vremenu (snapshot), ali i dinamičko širenje te minimalno zauzeće diska [engl. thin provisioning] odnosno zauzeće diskovnog prostora samo onoliko koliko je stvarnih podataka.
• .raw – RAW – on je sirovi format (i najbrži) koji ne podržava niti jednu od značajki koje podržava QCOW2 format.
• .vmdk – VMWare format – koristan je ako ste uvezli^[61] virtualno računalo s VMware platforme za virtualizaciju.

Nadalje, iz naredbenog retka (CLI) [naredba qemu-img convert], moguće je napraviti razne druge manipulacije i promjene na diskovnim slikama, među kojima je i konverziju između formata diskovnih slika, poput:

• .raw – sirovi (raw), već objašnjen format.
• .qcow2 – QCOW2 – napredni format (koristi ga i OpenStack platforma za virtualizaciju).
• .vdi – VDI – VirtualBox format.
• .vhd i .vhdx – Hyper-V formati.
• .vmdk – format VMware platforme za virtualizaciju.
• nekih drugih formata.

Thin provisioning

Određeni broj sustava za pohrana, ali i Qemu format slike qcow2 podržavaju takozvani Thin provisioning način pohrane.^[59][62]

U takvom radu, samo blokovi podataka koje sustav za goste (virtualna računala ili linux kontejnere) zapravo koristi, bit će zapisani u sustav za pohranu to jest diskovni sustav. Recimo da ste, na primjer, stvorili gostujuće računalo (virtualno računalo ili linux kontejner) s tvrdim diskom od 100 GB, a nakon instaliranja operativnog sustava gostujućeg sustava, datotečni sustav sadrži samo 5 GB podataka. U tom slučaju samo se 5 GB zapisuje na sustav za pohranu, čak i ako gostujuče računalo (VM/Kontejner) vidi tvrdi disk od 100 GB. Ovakav rad ovisi o tome na koji sustav za pohranu se spremaju diskovne slike virtualnih računala odnosno Linux kontejnera. Neki od sustava za pohranu koji podržavaju Thin provisioning na Proxmox VE platformi su:

• ZFS
• BTRFS
• CEPH FS
• LVM-thin
• CEPH RBD
• ZFS over iSCSI

Replikacija sustava za pohranu

Proxmox VE podržava redundanciju (zalihost) za goste odnosno virtualna računala ili Linux kontejnere, koji koriste lokalne sustave za pohranu, tako da mogu replicirani njihove diskovne slike na neki drugi PVE čvor (fizički poslužitelj), korištenjem metode koja se naziva "storage replication". Ovakvi replikacijski zadaci mogu biti pokretani automatski u zadanim vremenskim intervalima.^[63][64]

Visoko dostupni (HA) klaster

Proxmox VE (PVE) sustav može se raspodijeliti odnosno raditi na više poslužiteljskih čvorova istovremeno.^[65][66]

Službena dokumentacija jamči (testirana je) na veličinu klastera do 32 fizička poslužitelja (čvora), bez obzira na broj jezgri procesora ili bilo koja druga hardverska ograničenja. Ali moguća je čak i veća veličina klastera (50+).^[67][68]

Ova ograničenja na veličinu kastera nije nametnuo sâm Proxmox VE već Corosync sustav na kojem je temeljen klaster.

Proxmox VE od inačice 2.0 (iz 2012.g.) nudi visoko dostupni klaster^[68] (high availability) koji je baziran na Corosync sustavu.

Od PVE inačice 6.0 u upotrebi je inačica Corosync v.3.x, koja nije kompatibilna s ranijim inačicama PVE sustava. Individualna virtualna računala mogu se konfigurirati za visoku dostupnost, korištenjem ugrađenog ha-manager sustava.^[69][70] U slučaju kada poslužitelj ima samo jedno fizičko mrežno sučelje, ono će biti korišteno i za sve klasterske zadatke. Međutim moguće je koristiti i zasebno mrežno sučelje za klastersku mrežu. Dobra je praksa koristiti zasebnu klastersku mrežu (za corosync), koja upravlja komunikacijom klastera u Proxmox VE.

Vezano za rad u klasteru, ako Proxmox poslužitelj (čvor u klasteru) postane nedostupan, ili je u kvaru, zadano virtualno računalo može se automatski preseliti na drugi fizički poslužitelj u klasteru.^[71]

Tijekom bilo koje migracije virtualnog računala s jednog fizičkog poslužitelja na drugi, standardno se koristi klasterska mreža, iako je to moguće i drugačije definirati kroz Web sučelje ili iz naredbenog retka.^[72]

Nadalje, FUSE-bazirani Proxmox Cluster filesystem (pmxcfs^[73]) omogućuje konfiguraciju svakog fizičkog poslužitelja u klasteru upotrebom sustava Corosync te SQlite sustava.^[8]

Redundantni klaster

Pošto je klasterska mreža jedan od najvažnijih dijelova u sustavu otpornom na greške (HA), treba biti svjestan činjenice da drugi mrežni promet potencijalno može poremetiti klastersku sinkronizaciju između poslužitelja. Stoga se preporuča upotreba zasebnog mrežnog sučelja (mrežne kartice) za klastersku mrežu. Kako bi i klasterska mreža bila redundantna, moguće je definirati i više njih. Dakle, moguće je koristiti čak dva (ili više) mrežnih sučelja samo za klastersku komunikaciju, koja se definira u takozvanim klasterskim prstenovima, upotrebom Redundant Ring Protocol^[74] protokola. Jedini preduvjet za potpuno redundantnu klastersku mrežu jest upotreba zasebnih mrežnih sučelja – po jedno za svaki prsten klastera.^[75] U takvom načinu rada samo jedno klastersko sučelje se koristi u radu, dok je drugo pasivno, sve dok prvo ne postane nedostupno (tzv. Active-Standby način rada).

Višestruki klasteri

Moguće je stvoriti i više klastera u istoj fizičkoj ili logičkoj mreži. U ovom slučaju, svaki klaster mora imati jedinstveno ime kako bi se izbjegli mogući sukobi u komunikacijskom stôgu klastera.^[68] Jedna od najavljenih novosti u budućim inačicama (prema službenom Roadmapu^[76] [prosinac 2022]) je i mogućnost migracije između više klastera.

Migracija virtualnih računala i/ili Linux kontejnera

Od 2012.g. u HA klasteru moguće je migrirati virtualna računala s jednog fizičkog PVE poslužitelja na drugi.^[77][78]

Vezano za migraciju, PVE podržava sljedeće vrste migracija za virtualna računala i/ili Linux kontejnere:

• Offline
• Online (uz određena ograničenja vezana za LXC kontejnere)

PVE podržava i migraciju virtualnih računala i/ili Linux kontejnera čak i s lokalnih sustava za pohranu (lokalnih fizičkom poslužitelju/hipervizoru) ili korištenjem mrežno dijeljenih sustava za pohranu (pr. NFS, iSCSI, SMB/CIFS, GlusterFS, CEPH, ...).

Za migraciju virtualnih računala ili Linux kontejnera s jednog fizičkog računala na drugo, standardno se koristi klasterska mreža, iako je i to moguće drugačije konfigurirati, kako iz Web sučelja, tako i iz naredbenog retka.^[79]

Mapiranje resursa

Unutar klastera, kada koristite ili referencirate lokalne resurse (npr. hardversku adresu PCI uređaja), korištenje PCI adrese uređaja ili njegov ID, ponekad je problematično, kao u slučajevima:

• Kada koristite HA: drugi uređaj s istim ID-om ili stazom do uređaja može postojati na ciljnom čvoru (poslužitelju) u klasteru, a ako netko nije pažljiv pri dodjeljivanju takvih virtualnih računala HA grupama, mogao bi se koristiti pogrešan uređaj, uzrokujuči probleme u radu virtualnog računala.
• Promjena hardvera može promijeniti ID-ove i staze do PCI ili PCIe uređaja, tako da bi trebalo provjeriti sve dodijeljene uređaje i vidjeti jesu li staza do PCI/PCIe uređaja ili njegov ID još uvijek točni.

Da bi se to bolje riješilo, može se definirati mapiranje resursa na razini klastera, tako da resurs ima jedinstveni identifikator klastera – korisnički odabrani identifikator koji može odgovarati različitim uređajima na različitim poslužiteljima u klasteru. Uz to, HA neće pokrenuti virtualno računalo s pogrešnim uređajem, a promjene hardvera mogu se brzo detektirati, kako bi se izbjegli problemi u radu.

Koje sve resurse je moguće mapirati:

• PCI/PCI express uređaje (kartice).
• USB uređaje.

Klonovi i predlošci

PVE podržava klonove i predloške. Klonovi su identične kopije virtualnog računala ili Linux kontejnera, a predlošci (Template) mogu biti kreirani od postojećih virtualnih računala ili Linux kontejnera.^[80] Kasnije se predlošci mogu koristiti tako da se on njih naprave klonovi u nova virtualna računala ili Linux kontejnere.^[81]

Linux kontejneri (appliances)

Proxmox VE dolazi s cijelim nizom (LXC) Linux kontejnera odnosno softverskih kontejnera (appliances/templates) koji se mogu dohvatiti s interneta, preko grafičkog sučelja.

Standardno su podržane dvije kategorije LXC Linux kontejnera:

• Klasični LXC kontejneri s minimalnom distribucijom Linuxa bez dodatnih softverskih paketa poput: Alpine, Alma, Arch, CentOS, Debian, Fedora, Gentoo, Rocky, Ubuntu, ...
• Turnkey mikro LXC kontejneri s dodatnim servisima, prema principu: jedan kontejner – jedan servis. Primjerice: Turnkey+Ansible, Turnkey+DokuWiki, Turnkey+MySQL, ... Moguće ih je koristiti i preko: TurnKey Linux Virtual Appliance Library.^[82][83][84].

Izrada sigurnosnih kopija (data backup)

Proxmox VE ima ugrađen sustav za izradu sigurnosnih kopija^[85] (engl. backup), vzdump, koji omogućuje i komprimiranje podataka (data compression) i izvršavanje u pozadini, u tzv. "snapshot" načinu rada.^[86] Od 2020. godine dostupan je i napredni sustav naziva Proxmox Backup Server (PBS),^[56] koji nudi deduplikaciju, komprimiranje, kriptiranje i autentifikaciju te inkrementalni backup.^[87]

Proxmox Backup Server (PBS) je samostalan operativni sustav, koji je potrebno instalirati na zaseban poslužitelj (ili više njih) koji će se koristiti kao mrežni sustav za pohranu sigurnosnih kopija virtualnih računala i Linux kontejnera. Podrška za njega je s druge strane već integrirana unutar Proxmox VE sustava, pa ga je potrebno samo aktivirati i konfigurirati.

Važno je razumjeti da se izrada sigurnosnih kopija (backupa) može raditi samo na sustave za pohranu koji su naznačeni za tu namjenu, a to mogu biti:^[88][89]

• Lokalni diskovi.
• NFS.
• SMB/CIFS.
• GlusterFS.
• iSCSI.
• Ceph RBD.
• CephFS.
• Proxmox Backup Server.

Nadalje, postoji nekoliko vrsta izrada sigurnosnih kopija (backupa):

• Zakazani na razini klastera, u točno određeno vrijeme (pr. svakog dana u određeno vrijeme i sl.), za točno označena virtualna računala ili Linux kontejnere, na točno određeni sustav za pohranu (lokalni ili mrežni).
• Ručno pokrenuti, za željena virtualna računala ili Linux kontejnere.

Postoji i nekoliko načina rada sustava za izradu sigurnosnih kopija:

• Stop mode – osigurava visoku konzistenciju, uključuje zaustavljanje virtualnog računala/Linux kontejnera, izradu sigurnosne kopije i kada je gotovo, ponovnog pokretanja.
• Suspend mode – daje nižu konzisteniju, uključuje pauziranje virtualnog računala/Linux kontejnera, te aktivaciju snapshot moda i izradu sigurnosne kopije, a kada je gotovo, ponovnog pokretanja (iz pauziranog načina rada).
• Snapshot mode – daje najvišu dostupnost sustava uz nižu konzistenciju jer uključuje snapshot (snimku stanja u vremenu) virtualnog računala/Linux kontejnera. Zatim izradu sigurnosne kopije (live) bez zaustavljanja virtualnog računala ili Linux kontejnera (upotreba tzv. QEMU guest agenta unutar virtualnog računala je visoko preporučena).

Izrada snimke stanja u vremenu (snapshot)

PVE također podržava stvaranje snimke stanja virtualnog računala ili Linux kontejnera u datom trenutku (vremenu^[90]). Ova značajka se zove snapshot. Možete stvoriti i mnoge snimke stanja; na primjer prije ažuriranja virtualnog računala/kontejnera, i vratiti se na bilo koju od njih.^[91]

Napomena: snimka stanja u vremenu nije sigurnosna kopija!

Uvoz (guest import) virtualnih računala

Proxmox VE podržava uvoz (import) sljedećih vrsta virtualnih računala:

Iz grafičkog sučelja (GUI), s podržanih sustava za pohranu (direktorij, BTRFS, NFS, SMB/CIFS, GlusterFS i CephFS)^[92]:

• .ovf – Open Virtualization Format (OVF).
• .ova – Open Virtualization Appliances (OVA).
• Direktno s VMware ESXi poslužitelja (dodanog kao vanjski "Storage" sustav).

Iz naredbenog retka iz sljedećih formata:

• .raw – sirovi (raw) format (koriste ga: OpenStack, Red Hat Virtualization i Oracle Virtualization te druge platforme za virtualizaciju bazirane na Linuxu).
• .qcow2 – QCOW2 format (koriste ga: OpenStack, Red Hat Virtualization i Oracle Virtualization te druge platforme za virtualizaciju bazirane na Linuxu).
• .vmdk – format VMware platforme za virtualizaciju.

• Indirektno – konverzijom s dostupnim alatom qemu-img convert^[93]:
  • .vdi – VDI – VirtualBox format.
  • .vhd i .vhdx – Hyper-V formati.
  • ...

Integrirani vatrozid (Firewall)

PVE ima integrirani vatrozid u nekoliko razina:^[94][95]

• Na razini klastera.
• Na razini fizičkog PVE poslužitelja (hosta/hipervizora).
• Na razini virtualnog računala/kontejnera (gosta).
• Unutar SDN sustava^[96].

Administracija temeljena na ulogama

Na Proxmox VE moguće je definirati granularni pristup za sve objekte kao što su:

• Čvorovi u klasteru (fizički poslužitelji) i sistemske postavke.
• Virtualna računala i linux kontejneri.
• Sustavi za pohranu i drugo.

Korištenjem metode upravljanja korisnicima i dopuštenjima na temelju uloga. To omogućuje definiranje privilegija i pomaže nam da kontroliramo pristup objektima sustava. Ovaj koncept radi tako da svaka dozvola navodi subjekt (korisnika ili korisničku grupu) te ulogu odnosno skup privilegija za željene objekte.^[97]

Područja provjere autentičnosti

Proxmox VE podržava višestruke izvore autentifikacije kao što su:^[97]

• Microsoft Active Directory
• LDAP poslužitelj
• Linux PAM standardna autentifikacija
  • Već postojeći (ugrađeni) Proxmox VE poslužitelj za autentifikaciju
• OpenID Connect.

Nadalje, PVE podržava i dvofaktorsku provjeru autentičnosti.

Vanjski poslužitelji za prikupljanje metrike

U Proxmox VE moguće je definirati vanjske poslužitelje za metriku^[98] koji će povremeno primati različite statistike o fizičkim poslužiteljima, virtualnim računalima ili Linux kontejnerima, sustavima za pohranu i slično. Trenutno (v.8.1.) podržani poslužitelji za metriku su:

• Graphite
• InfluxDB

Notifikacijski sustav

Proxmox VE ima integriran sustav za slanje obavijesti u slučaju značajnih događaja u sustavu.

Postoji niz različitih događaja koje je moguće definirati prema željenim kriterijima te definirati odredište na koje se obavijest potom treba poslati.^[99]

Moguće je koristiti nekoliko odredišta za slanje ovako definiranih važnih obavijesti. Trenutno su to:

• Sendmail.
• SMTP (izravno slanje na SMTP poslužitelj).
• Gotify.

Webhook odredišta za sustav obavijesti

Novi sustav za obavijesti omogućuje mehanizam putem kojeg pojedini događaji na sustavu mogu pokrenuti slanje informacija prema udaljenim sustavima za praćenje. Pri tome se zaglavlja i tijelo zahtjeva mogu prilagoditi i mogu sadržavati metapodatke obavijesti. To omogućuje slanje obavijesti bilo kojem odredištu koje podržava webhooks. Webhooks je mehanizam koji omogućuje slanje informacija u stvarnom vremenu prema drugim aplikacijama putem HTTP zahtjeva.

Poznata ograničenja

U Proxmox VE 8.3. (studeni 2024.) poznata su određena ograničenja:^[94]

• Svaki pojedini fizički poslužitelj može imati maksimalno RAM memorije: 128 TB^[100] {64 PB}.^[101]
• Svaki pojedini fizički poslužitelj može imati maksimalno CPU jezgi: 8.192 logičkih CPU jezgri^[100]
• Broj fizičkih poslužitelja u high availability klasteru: 32+ (službeno, iako su mogući i veći klasteri),^[67].^[68]
• Maksimalan broj Bridge sučelja po fizičkom poslužitelju: 4.094^[34]
  • Maksimalan broj logičkih mreža, ako se koriste: VLANovi: 4.094^[34]
  • Maksimalan broj logičkih mreža, ako se koriste: VxLANovi (pomoću SDN): 16.777.216^[37]
  • Maksimalan broj logičkih mreža, ako se koristi: QinQ (pomoću SDN): 16.777.216^[37]

Povezani članci

• Virtualizacija
  • Hipervizor
  • QEMU
  • KVM
• Open vSwitch
• OpenStack
• Proxmox Backup Server

Dodatna literatura

• Wasim Ahmed, Mastering Proxmox - Third Edition. Packt Publishing, 2017. ISBN 978-1788397605
• Wasim Ahmed, Proxmox Cookbook. Packt Publishing, 2015. ISBN 978-1783980901
• Simon M.C. Cheng, Proxmox High Availability. Packt Publishing, 2014. ISBN 978-1783980888
• Rik Goldman, Learning Proxmox VE. Packt Publishing, 2016. ISBN 978-1783981786
• Lee R. Surber, Virtualization Complete: Business Basic Edition. Linux Solutions (LRS-TEK), 2016. ASIN B01BBVQZT6
• Ralf-Peter Kleinert,Proxmox VE 8 Practical Guide: Information, Tips, and Tricks for Proxmox Beginners and Advanced Users. 2024. ASIN B0DRSB37MK

Vanjske poveznice

• Službena stranica
• Projekt wiki
• Projekt HOWTOs
• Projekt Forum
• Projekt Bug Tracker
• Projekt Roadmap – popis značajki, ispravki i novosti prema inačicama Proxmox VE
• Projekt API – opis APIja.
• Proxmox VE Admin guide – administratorski vodič (upute za korištenje i rad).

Izvori

1. Proxmox VE Kernel - Proxmox VE. pve.proxmox.com (engleski). Pristupljeno 26. svibnja 2017.
2. Ubuntu kernel lifecycle and enablement stack. Ubuntu (engleski). Pristupljeno 17. prosinca 2024.
3. Simon M.C. Cheng. 31. listopada 2014. Proxmox High Availability. Packt Publishing Ltd. str. 41–. ISBN 978-1-78398-089-5
4. Plura, Michael. Srpanj 2013. Aus dem Nähkästchen. IX Magazin. Heise Zeitschriften Verlag. 2013 (7): 74–77. Pristupljeno 20. srpnja 2015.
5. Vervloesem, Koen. "Proxmox VE 2.0 review – A virtualisation server for any situation", Linux User & Developer, 11 April 2012. Retrieved on 16 July 2015.
6. Proxmox VE 4.0 with Linux Containers (LXC) and new HA Manager released. Proxmox. 11. prosinca 2015. Pristupljeno 12. prosinca 2015.
7. Ken Hess. 11. srpnja 2011. Proxmox: The Ultimate Hypervisor. ZDNet. Pristupljeno 29. rujna 2021.
8. Drilling, Thomas. Svibanj 2013. Virtualization Control Room. Linux Pro Magazine. Linux New Media USA. Pristupljeno 17. srpnja 2015.
9. Open Source – Proxmox VE. Proxmox Server Solutions. Pristupljeno 17. srpnja 2015.
10. Proxmox VE 1.5: combining KVM and OpenVZ. Linux Weekly News. Pristupljeno 10. travnja 2015.
11. Ken Hess. 15. travnja 2013. Happy 5th birthday, Proxmox. ZDNet. Pristupljeno 4. listopada 2021.
12. PVE ISO image download. Proxmox VE. Proxmox. Pristupljeno 10. kolovoza 2022.
13. PVE Wiki - Install. Proxmox VE. Proxmox. Pristupljeno 10. kolovoza 2022.
14. PVE Wiki - PMXCFS. Proxmox VE. Proxmox. Pristupljeno 10. kolovoza 2022.
15. Automated Installation - Proxmox VE. pve.proxmox.com. Pristupljeno 25. travnja 2024.
16. Support for Proxmox VE. Pristupljeno 19. listopada 2021.
17. Package Repositories. Pristupljeno 19. listopada 2021.
18. Kernel Samepage Merging (KSM) - Proxmox VE. pve.proxmox.com. Pristupljeno 21. studenoga 2022.
19. 8.3. Kernel Same-page Merging (KSM) Red Hat Enterprise Linux 7. Red Hat Customer Portal (engleski). Pristupljeno 21. studenoga 2022.
20. Increasing memory density by using KSM (PDF). Red Hat. Red Hat, Inc. Pristupljeno 10. kolovoza 2022.
21. Nested Virtualization - Proxmox VE. pve.proxmox.com. Pristupljeno 22. studenoga 2022.
22. Getting Started with GNS3 | GNS3 Documentation. mother.github.io (engleski). Pristupljeno 22. studenoga 2022. |url-status=dead zahtijeva |archive-url= (pomoć)
23. System Requirement (engleski). Pristupljeno 22. studenoga 2022.
24. VirtIO. kvm.org. KVM. Pristupljeno 10. kolovoza 2022.
25. QEMU guest agent. QEMU.org. QEMU.org. Pristupljeno 10. kolovoza 2022.
26. Pci passthrough - Proxmox VE. pve.proxmox.com. Pristupljeno 13. prosinca 2022.
27. USB Devices in Virtual Machines - Proxmox VE. pve.proxmox.com. Pristupljeno 13. prosinca 2022.
28. KVM. KVM. KVM.org. Pristupljeno 10. kolovoza 2022.
29. KVM wiki: Guest support status. Pristupljeno 27. svibnja 2007.
30. Running Mac OS X as a QEMU/KVM Guest. Pristupljeno 20. kolovoza 2014.
31. status. Gnu.org. Pristupljeno 12. veljače 2014.
32. Proxmox VE Administration guide (PDF). Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
33. Introduction — Proxmox Offline Mirror 0.5.0-1 documentation. pom.proxmox.com. Pristupljeno 5. prosinca 2022.
34. Network config. Proxmox VE. Proxmox. Pristupljeno 10. kolovoza 2022.
35. Roadmap - Proxmox VE. pve.proxmox.com. Pristupljeno 13. prosinca 2023.
36. Proxmox VE Administration guide (PDF). Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
37. Software Defined Network. Proxmox VE. Proxmox. Pristupljeno 10. kolovoza 2022.
38. IEEE 802.1Q (engleski). 30. studenoga 2024. Pristupljeno 19. veljače 2025.
39. IEEE 802.1ad (engleski). 17. prosinca 2024. Pristupljeno 19. veljače 2025.
40. Virtual Extensible LAN (engleski). 12. siječnja 2025. Pristupljeno 19. veljače 2025.
41. Ethernet VPN (engleski). 30. siječnja 2025. Pristupljeno 19. veljače 2025.
42. Storage types. pve.proxmox.com. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
43. Storage: Directory - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
44. Storage: LVM - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
45. Storage: LVM Thin - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
46. Storage: ZFS - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
47. Storage: BTRFS - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
48. Storage: iSCSI - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
49. Multipath - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
50. Storage: NFS - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
51. Storage: GlusterFS - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
52. Storage: CIFS - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
53. Storage: ZFS over ISCSI - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
54. Storage: CephFS - Proxmox VE. pve.proxmox.com. Pristupljeno 29. studenoga 2022.
55. Storage: RBD - Proxmox VE. pve.proxmox.com. Pristupljeno 29. studenoga 2022.
56. Proxmox Backup Server. Proxmox. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
57. Proxmox VE Storage (common storage properties). pve.proxmox.com. Pristupljeno 9. prosinca 2022.
58. Proxmox Cluster File System (pmxcfs) - Proxmox VE. pve.proxmox.com. Pristupljeno 14. veljače 2025.
59. Horvat, Hrvoje. 6. srpnja 2023. Operativni sustavi i računalne mreže - Linux u primjeni. Hrvoje Horvat. Osijek. str. 1068, 1076–1078. doi:10.5281/zenodo.8119310. ISBN 978-953-59438-22
60. Disk images. pve.proxmox.com. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
61. VM migration to PVE. pve.proxmox.com. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
62. Storage - Proxmox VE. pve.proxmox.com. Pristupljeno 28. studenoga 2022.
63. Storage_Replication. pve.proxmox.com. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
64. Proxmox VE Administration guide (PDF). Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
65. HA Cluster. pve.proxmox.com. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
66. Wasim Ahmedi. 14. srpnja 2014. Mastering Proxmox. Packt Publishing Ltd. str. 99–. ISBN 978-1-78398-083-3
67. Proxmox VE Forum. Proxmox VE Forum. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
68. Proxmox Cluster Manager. Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
69. PVE HA Manager Source repository. Pristupljeno 19. listopada 2020.
70. Proxmox VE documentation: High Availability. Pristupljeno 19. listopada 2020.
71. High Availability Virtualization using Proxmox VE and Ceph. Jacksonville Linux Users' Group. Inačica izvorne stranice arhivirana 30. studenoga 2020. Pristupljeno 15. prosinca 2017.
72. Proxmox VE Administration Guide. pve.proxmox.com. Pristupljeno 14. prosinca 2023.
73. Proxmox Cluster filesystem. pve.proxmox.com. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
74. Separate Cluster Network - Proxmox VE. pve.proxmox.com. Pristupljeno 14. prosinca 2023.
75. Proxmox VE Administration Guide. pve.proxmox.com. Pristupljeno 14. prosinca 2023.
76. Roadmap. Proxmox. Pristupljeno 3. prosinca 2014.
77. Qemu/KVM Virtual Machines - Proxmox VE
78. Introduction to Proxmox VE. Linuxaria. Pristupljeno 3. prosinca 2014.
79. Proxmox VE Administration Guide. pve.proxmox.com. Pristupljeno 14. prosinca 2023.
80. Templates and clones. pve.proxmox.com. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
81. Proxmox VE Administration guide (PDF). Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
82. Announcing TurnKey OpenVZ optimized builds (+ Proxmox VE channel). Alon Swartz. 24. veljače 2012. Pristupljeno 20. srpnja 2015.
83. The Proxmox developers have released several virtual appliances, which are ready-made OpenVZ templates that can be downloaded directly from within the Proxmox web interface.
84. The next server operating system you buy will be a virtual machine. Ken Hess. 15. listopada 2013. Pristupljeno 20. srpnja 2015.
85. Backup and Restore. Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
86. How to backup a Virtual Machine on Proxmox VE. Manjaro Linux Tutorial and Guide site. 23. rujna 2017. Pristupljeno 4. listopada 2021.
87. Introduction. Proxmox Backup Documentation. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2021.
88. Proxmox VE Administration guide (PDF). Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
89. Introduction. Proxmox Backup Documentation. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2021.
90. Live snapshots. Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
91. Proxmox VE Administration guide (PDF). Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
92. Roadmap - Proxmox VE. pve.proxmox.com. Pristupljeno 12. prosinca 2024.
93. 14.12. Supported qemu-img Formats | Red Hat Product Documentation. docs.redhat.com. Pristupljeno 12. prosinca 2024. no-break space character u |title= na mjestu 7 (pomoć)
94. Proxmox VE Administration guide (PDF). Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
95. Firewall. Proxmox VE. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
96. Software-Defined Network - Proxmox VE. pve.proxmox.com. Pristupljeno 16. prosinca 2024.
97. User Management - Proxmox VE. pve.proxmox.com. Pristupljeno 12. prosinca 2022.
98. External Metric Server - Proxmox VE. pve.proxmox.com. Pristupljeno 13. prosinca 2022.
99. Notifications. pve.proxmox.com. Pristupljeno 21. ožujka 2024.
100. Proxmox VE comparison. pve.proxmox.com. Proxmox Server Solutions GmbH. Pristupljeno 10. kolovoza 2022.
101. https://www.kernel.org/doc/Documentation/x86/x86_64/mm.txt Kernel dokumentacija (sustav virtualne memorije).