## Changelog ### v1.2 - 2026-03-13 - pfSense MCP-server evaluert og **droppet** — pfSense-pkg-API ikke i standard repos, ødelagt pkg-system (libssl.so.30), lav ROI vs SSH - Ny gotcha: PFH-PKG — ødelagt pkg-system oppdaget under MCP-evaluering ### v1.1 - 2026-03-04 - DHCP DNS oppdatert: 192.168.86.2 (pihole-hjemme) er nå eneste DNS-server for LAN_BRIDGE - Lagt til gotcha PFH-07: WireGuard road warrior forstyrrer lokal DNS på hjemme-LAN - Lagt til DHCP DNS-seksjon med oversikt over nåværende konfigurasjon ### v1.0 - 2026-03-01 - Initial versjon — komplett kartlegging via dobbel-jump SSH - pfSense Plus 23.05.1, i7-3770K, 16 GB RAM, 211 GB ZFS - 11 interfaces + 3 VLANs kartlagt - 10 port forwards dokumentert - 99 DHCP static mappings dokumentert - Ingen aktiv VPN bekreftet - ARP: ~26 aktive enheter på LAN

### PFH-05: 99 DHCP-reservasjoner — mange stoppede/ubrukte - Stor mengde reservasjoner fra tidlige eksperimenter med Proxmox VMs/CTs - Mange .194-.249 er Turnkey Linux templates som trolig aldri brukes ### PFH-06: Nesten 1 års uptime - 358 dager — bør planlegge oppstart/vedlikehold - Oppgradering til nyere pfSense Plus-versjon bør vurderes ### PFH-07: WireGuard road warrior forstyrrer lokal DNS når hjemme - **Symptom:** *.magitek.no split DNS fungerer ikke — pihole-hjemme (192.168.86.2) svarer ikke på DNS-oppslag - **Årsak:** wg-heine-roadwarrior (10.0.0.2) ruter LAN-trafikk gjennom VPN-tunnelen. DNS-spørringer til 192.168.86.2 sendes via tunnelen og timeouter i stedet for å nå Pi-hole direkte på LAN. - **Berørte maskiner:** HERMES (192.168.86.148) og andre klienter med road warrior WG aktiv på hjemme-LAN (Skeis37C) - **Løsning:** Deaktiver wg-heine-roadwarrior når du er koblet til hjemme-LAN - **Langsiktig fix:** Konfigurer WG til å ekskludere 192.168.86.0/24 fra tunnelen (split tunneling) — eller bruk WireGuard site-to-site i stedet for road warrior hjemme --- ## Vanlige Operasjoner ### SSH fra laravelserver-v11 ```bash ssh -J heine@81.167.27.54:12322,root@192.168.86.116 root@192.168.86.1 "kommando" ``` ### Sjekk NAT-regler ```bash ssh -J heine@81.167.27.54:12322,root@192.168.86.116 root@192.168.86.1 "pfctl -sn | grep 'rdr on ix0'" ``` ### Sjekk brannmurregler ```bash ssh -J heine@81.167.27.54:12322,root@192.168.86.116 root@192.168.86.1 "pfctl -sr | grep pass | grep -v inet6" ``` ### Sjekk ARP/aktive enheter ```bash ssh -J heine@81.167.27.54:12322,root@192.168.86.116 root@192.168.86.1 "arp -an" ``` --- ## Kjente Problemer ### PFH-PKG: Ødelagt pkg-system (oppdaget 2026-03-13) - **Symptom:** `pkg info` feiler med `Shared object "libssl.so.30" not found` - **Årsak:** Kun `libssl.so.111` finnes i `/usr/lib/` — pkg forventer `.so.30` - **Konsekvens:** Kan ikke installere, oppdatere eller liste pakker via CLI - **Risiko:** MEDIUM — pfSense fungerer ellers normalt (358+ dager uptime), men kan ikke patche via pkg - **Mulig fix:** pfSense Plus oppgradering via WebGUI kan fikse libssl-mismatch ---

## VPN - **OpenVPN:** FW-regel for port 1194 finnes, men **ingen OpenVPN-tjeneste kjører** - **IPsec:** Ingen konfigurasjon - **Konklusjon:** Ingen aktiv VPN — kommunikasjon via SSH-tunneler --- ## Sammenligning med pfSense Kontoret | Egenskap | Kontoret | Hjemme | |----------|----------|--------| | **Hardware** | Gjenbrukt enterprise-brannmur (ukjent merke) | Gammel consumer-PC | | **Versjon** | pfSense CE 2.7.2 | pfSense Plus 23.05.1 | | **Lisens** | Community Edition (gratis, open source) | Plus (gratis hjemmebruk-ISO, ingen kostnad) | | **CPU** | Q9400 (4 cores) | i7-3770K (8 cores) | | **RAM** | 4 GB | 16 GB | | **Disk** | 27 GB UFS | 211 GB ZFS | | **Uptime** | 33 dager | 358 dager | | **WAN** | 62.97.227.206/30 | 81.167.27.54/25 | | **LAN** | 172.20.0.0/24 | 192.168.86.0/24 | | **VLANs** | 0 | 3 (Corosync, WiFi, Privat) | | **DHCP statics** | 26 | 99 | | **Port forwards** | 3 | 10 | | **Bridge members** | 7 (em1-em7) | 4 (bce0, ix1, bce3, re0) | | **States** | ~1039 | ~1530 | | **WebGUI** | :8080 (HTTP) | :443 (HTTPS) | | **SSH fra agent** | Direkte | Dobbel-jump via px5 | --- ## Kjente Gotchas ### PFH-01: Dobbel-jump nødvendig for SSH fra agenten - **Symptom:** Direkte tunnel (`-J heine@81.167.27.54:12322 root@192.168.86.1`) timeout'er - **Årsak:** pfSense blokkerer trolig SSH fra tunnel-hoppet (ub-sshtunnel) - **Løsning:** Bruk dobbel-jump via px5: `-J heine@81.167.27.54:12322,root@192.168.86.116 root@192.168.86.1` ### PFH-02: pfSense Plus vs Community Edition - Hjemme kjører pfSense Plus (kommersiell), kontoret kjører CE - Ulik oppdateringsfrekvens og noen forskjeller i funksjonalitet - Plus-versjonen er 23.05.1 (eldre enn kontorets 2.7.2) ### PFH-03: OpenVPN-regel uten tjeneste - FW-regel for OpenVPN (UDP 1194) eksisterer men ingen tjeneste kjører - Kan ha vært aktiv tidligere — oppryddingskandidat ### PFH-04: Tre NPM-reservasjoner i DHCP - .14 (nx, gammel CT), .15 (nginx-pm-docker, STOPPET), .16 (aktiv VM 131) - Kun .16 er den aktive NPM-instansen

## DHCP Server ### DNS via DHCP (LAN_BRIDGE / opt9) | Parameter | Verdi | |-----------|-------| | **DNS Server 1** | 192.168.86.2 (pihole-hjemme, CT 131 på px5) | | **DNS Server 2** | — (ingen fallback — kun Pi-hole) | Alle DHCP-klienter på hjemme-LAN (192.168.86.0/24) bruker nå pihole-hjemme som DNS. Pi-hole gir lokal split DNS for *.magitek.no, *.hsal.no, etc. og blokkerer annonser/trackere. ### Hjemme-LAN (192.168.86.0/24) — 99 statiske reservasjoner **Nøkkel-enheter (aktive i ARP):** | IP | Hostname | Rolle | |----|----------|-------| | 192.168.86.1 | pfSense.magitek.no | Gateway (denne) | | 192.168.86.2 | tkl-pihole | Pi-hole DNS (CT 131) | | 192.168.86.5 | XS1920 | Zyxel switch | | 192.168.86.7 | Netgear10G | 10G switch (stue) | | 192.168.86.8 | Dell switch | Dell switch | | 192.168.86.14 | nx | NPM (gammel, CT) | | 192.168.86.15 | nginx-pm-docker | NPM (gammel Docker, STOPPET) | | 192.168.86.16 | nginx-proxy-manager-ub-vm | **NPM hjemme (aktiv, VM 131)** | | 192.168.86.21 | bckp | bckp.magitek.no | | 192.168.86.29 | DESKTOP-RSKHSHA | Studio PC (Ryzen 9) | | 192.168.86.30 | mediapcstue | Media PC stue | | 192.168.86.40 | FLX137A80 | IBM Tape stasjon | | 192.168.86.50 | Phillipstv | Phillips 70" TV | | 192.168.86.60 | prod-lan-webserver | Produksjon webserver | | 192.168.86.81 | px3 | iDRAC R620 (gammel Proxmox) | | 192.168.86.110 | nc | Nextcloud (ukjent instans) | | 192.168.86.111 | lexmark | Lexmark printer | | 192.168.86.113 | DEV126EE7 | HP fargelaser | | 192.168.86.116 | pmox5 | **px5 (Proxmox host)** | | 192.168.86.120 | truenas | **TrueNAS** | | 192.168.86.125 | truenasscale | TrueNAS Scale (alternativ) | | 192.168.86.130 | Idrac | iDRAC R610 | | 192.168.86.132 | wiki | Wiki (CT) | | 192.168.86.133 | duplicati | Duplicati backup | | 192.168.86.134 | esx2-matre | iDRAC pmox2 | | 192.168.86.135 | dockbox10 | Docker box 10 | | 192.168.86.136 | nc | Nextcloud (annen instans) | | 192.168.86.137 | pbsm | **Proxmox Backup Server** | | 192.168.86.138 | tkl-dockbox7-local-ny | Docker box 7 | | 192.168.86.139 | mautic | Mautic marketing | | 192.168.86.158 | (Birk PC) | qBitTorrent | | 192.168.86.166 | wp01 | **WordPress produksjon** (via MAC i ARP) | | 192.168.86.171 | pmox10 | Proxmox cluster-node (Selma laptop) | | 192.168.86.172 | pmox11 | Proxmox cluster-node (Birk laptop) | | 192.168.86.173 | pmox15 | Proxmox cluster-node (HP ProDesk) | | 192.168.86.175 | debian-silverbox | Debian fysisk maskin | | 192.168.86.176 | debian-asrock | Debian fysisk maskin | | 192.168.86.177 | postiz | Postiz (VM 153) | | 192.168.86.178 | humhub | HumHub social | | 192.168.86.181 | RT-N66U | ASUS WiFi AP | | 192.168.86.182 | RT-AC3200 | ASUS WiFi AP | | 192.168.86.183 | nighthawk | Netgear R7800 WiFi AP | | 192.168.86.186 | wbuild-trillium | Webstudio build | | 192.168.86.187 | homelab | homelab.magitek.no (CT 200) | | 192.168.86.188 | vtiger75-ub22 | vTiger CRM (VM 201) | | 192.168.86.190 | liveweb1-ub24 | Live webserver | | 192.168.86.192 | ub-sshtunnel | **SSH jump host** (VM 214) | | 192.168.86.193 | tkl-dockbox9-zfs | Docker ZFS (CT 155) | | 192.168.86.228 | plex-ubuntu | **Plex** (VM 142) | | 192.168.86.233 | nextcloud | **Nextcloud magitek** (VM 182/185) | *(Ytterligere ~49 reservasjoner for stoppede VMs/CTs — .194-.249)* ---

### VLANs | VLAN | Interface | Subnet | Rolle | |------|-----------|--------|-------| | VLAN 10 | re0.10 | 10.10.10.0/24 | Proxmox Corosync cluster-kommunikasjon | | VLAN 20 | re0.20 | 192.168.20.0/24 | WiFi-nettverk (isolert fra hoved-LAN) | | VLAN 30 | re0.30 | 192.168.30.0/24 | Privat hjem-nettverk | ### DNS - Lokal resolver: Unbound (127.0.0.1:53) - Upstream: 8.8.8.8, 1.1.1.1 (Google + Cloudflare) - Search domain: magitek.no --- ## NAT / Port Forwarding ### Aktive port forwards (WAN → LAN) | Ekstern port | Mål IP | Mål port | Protokoll | Beskrivelse | |-------------|--------|----------|-----------|-------------| | **80** | 192.168.86.16 | 80 | TCP | HTTP → NPM hjemme | | **81** | 192.168.86.16 | 81 | TCP | NPM Admin → NPM hjemme | | **443** | 192.168.86.16 | 443 | TCP | HTTPS → NPM hjemme | | **8007** | 192.168.86.137 | 8007 | TCP | PBS (Proxmox Backup Server) | | **12322** | 192.168.86.192 | 22 | TCP | SSH → ub-sshtunnel (jump host) | | **17018** | 192.168.86.29 | 17018 | TCP | uTorrent (Studio PC) | | **17019** | 192.168.86.29 | 17019 | TCP | qBitTorrent (Studio PC) | | **32400** | 192.168.86.228 | 32400 | TCP | Plex Media Server | | **53533** | 192.168.86.158 | 53533 | TCP | qBitTorrent (Birk PC) | | **993 (IMAPS)** | 192.168.86.188 | 993 | TCP | IMAP SSL (vtiger) | ### FW-regler på WAN Ytterligere regler utover NAT: - OpenVPN UDP pass (port 1194) til self — regel finnes, men OpenVPN er IKKE aktiv - HTTP/HTTPS → NPM hjemme (192.168.86.16) - Plex → 192.168.86.228:32400 --- ## Brannmurregler ### WAN (ix0) - NAT pass-regler for alle port forwards (se over) - OpenVPN UDP pass-regel (1194) — **inaktiv, ingen OpenVPN-tjeneste kjører** - Default deny alt annet ### Alle LAN-interfaces **Alle har "Allow all" USER_RULE:** - bce2, re0, bce3, ix1, bce0 — pass all IPv4 - VLAN10, VLAN20, VLAN30 — pass all IPv4 - bridge0 (LAN_BRIDGE) — pass all IPv4 ### Anti-lockout - bce1 (LAN1): Pass TCP til self:443, self:80, self:22 ### State Table - ~1530 aktive states (per kartlegging) ---

# Infrastructure Sub-Expert: pfSense Hjemme **Version:** 1.2 **Date:** 2026-03-13 **Parent:** coordination/experts/operations/magitek-server-ops/CURRENT.md **Load:** coordination/experts/operations/magitek-server-ops/CURRENT-pfsense-hjemme.md --- ## Identitet | Egenskap | Verdi | |----------|-------| | **Hostname** | pfSense.magitek.no | | **Type** | Fysisk maskin (gammel consumer-PC, custom pfSense-installasjon) | | **Produkt** | pfSense Plus (gratis hjemmebruk-ISO, ingen lisenskostnad) | | **Serial** | 121003619606379 | | **Netgate Device ID** | bfe761328f324a0c3a06 | | **LAN IP** | 192.168.86.1 (bridge0, LAN_BRIDGE) | | **WAN IP** | 81.167.27.54/25 (ix0, DHCP fra ISP) | | **Gateway** | 81.167.27.1 | | **Lokasjon** | Hjemme (Skeisstøa 37c) | | **OS** | pfSense Plus 23.05.1-RELEASE (FreeBSD-basert) | | **CPU** | Intel Core i7-3770K @ 3.50GHz (8 cores) | | **RAM** | 16 GB | | **Disk** | 211 GB ZFS (1% brukt) | | **Uptime** | 358+ dager (per 2026-03-01) | | **Rolle** | Brannmur, gateway, NAT, DHCP, VLAN for 192.168.86.0/24 + VLANs | | **Status** | Aktiv | --- ## Tilgang | Metode | Detaljer | |--------|----------| | **SSH** | Via dobbel-jump: `ssh -J heine@81.167.27.54:12322,root@192.168.86.116 root@192.168.86.1` | | **SSH (fra px5)** | `ssh root@192.168.86.1` (direkte fra LAN) | | **WebGUI** | https://192.168.86.1 (nginx, port 80+443) | **GOTCHA:** Direkte SSH-tunnel (`-J heine@81.167.27.54:12322 root@192.168.86.1`) **timeout'er**. Må hoppe via px5 som mellomsteg (dobbel ProxyJump). --- ## Nettverksarkitektur ### Interfaces (11 stk + VLANs) | Interface | Fysisk | Rolle | IP | Status | |-----------|--------|-------|----|--------| | **WAN_10GB** | ix0 | WAN (Internet) | 81.167.27.54/25 (DHCP) | UP | | **LAN1** | bce1 | Bridge-medlem | — | UP (anti-lockout) | | **LAN2** | bce2 | Bridge-medlem | — | UP | | **MB** | re0 | Bridge-medlem + VLAN parent | — | UP | | **LAN3** | bce3 | Bridge-medlem | — | UP | | **LAN6_10GB** | ix1 | Bridge-medlem | — | UP | | **LAN0** | bce0 | Bridge-medlem | — | UP | | **VLAN10_COROSYNC** | re0.10 | Proxmox Corosync | 10.10.10.1/24 | UP | | **VLAN20_WIFI** | re0.20 | WiFi-nettverk | 192.168.20.1/24 | UP | | **VLAN30_HJEM_PRIVAT** | re0.30 | Privat hjem-nettverk | 192.168.30.1/24 | UP | | **LAN_BRIDGE** | bridge0 | Hoved-LAN (bce0, ix1, bce3, re0) | 192.168.86.1/24 | UP | **Bridge-medlemmer:** bce0, ix1, bce3, re0 (4 porter)

### v1.2 - 2026-03-04 - RAM-optimalisering: CT-er redusert (bookstack 12→2GB, pihole 6→1GB, dockbox9 12→4GB, dockbox02 8→2GB, dockbox03 8→3GB) - VM RAM redusert: plex 8→4GB, nextcloud-magitek 8→4GB, nextcloud-nativja 12→6GB, npm 4→2GB - CT cores redusert: bookstack 12→2, pihole 8→2, dockbox02/03/9 8→4 - ZFS ARC begrenset til 8 GiB (var 31 GiB), swappiness 60→10 - Swap: 95% → ~10% etter optimalisering - qemu-guest-agent installert på VM 117 og VM 153 - SSH-aliaser lagt til: prod-lan-webserver, postiz, truenas - IP-er dokumentert i VM-tabell - TrueNAS: FreeBSD virtio_console.ko mismatch dokumentert - SSH-kommandoer forenklet med TU-px5 alias ### v1.1 - 2026-03-03 - Lagt til NFS mounts seksjon (PBS → px5 for pve-hosts og wp01-backup) - Lagt til bind mounts tabell (CT 106 og CT 212) - Gotcha PX5-06: WD3TB disk FAILED ### v1.0 - 2026-02-28 - Initial versjon — komplett kartlegging fra `qm list` + `pct list` - 47 VMs (10 running) + 23 CTs (7 running) = 70 totalt - Gotchas PX5-01 til PX5-05 dokumentert - IP-mapping TODO (krever nettverksscan eller config-lesing per VM/CT)

## Vanlige Operasjoner ### Liste VMs/CTs ```bash ssh TU-px5 "qm list && echo '---' && pct list" ``` ### Start/stopp VM ```bash ssh TU-px5 "qm start VMID" ssh TU-px5 "qm shutdown VMID" ``` ### Gå inn i container ```bash ssh TU-px5 "pct exec CTID -- bash" ``` ### Sjekk diskbruk ```bash ssh TU-px5 "df -h && echo '---' && pvesm status" ``` ### Sjekk cluster-status ```bash ssh TU-px5 "pvecm status 2>/dev/null; echo '---'; pvesh get /cluster/status" ``` ### Sjekk ZFS ARC og swap ```bash ssh TU-px5 "awk '/^size/ {printf \"ARC: %.2f GiB\n\", \$3/1024/1024/1024}' /proc/spl/kstat/zfs/arcstats && free -h" ``` ### Sjekk reell minnebruk (MemAvailable-basert) ```bash scripts/proxmox-memory-overview.sh ``` Viser MemAvailable-basert bruk for alle kjorende VM-er paa alle Proxmox-hosts. Mye mer noyaktig enn Proxmox WebGUI som viser MemFree (se PX5-11). ## Changelog ### v1.5 - 2026-03-18 - VM 153 (postiz): Disk utvidet 60→100 GB etter full-disk-hendelse - VM 153: Temporal workflow stack lagt til (3 nye containere) - Gotcha PX5-14: Proxmox MCP 401-feil — API-token tilgangsproblem - Snapshot `pre-temporal-20260318` dokumentert - Detaljert Postiz-dokumentasjon i ny CURRENT-postiz.md ### v1.4 - 2026-03-13 - Gotcha PX5-11: Proxmox ballooninfo.freemem viser MemFree (ikke MemAvailable) — villedende lav - Gotcha PX5-12: virtio_balloon er kernel built-in (CONFIG_VIRTIO_BALLOON=y), ikke modul — lsmod viser ingenting, men driveren fungerer - Gotcha PX5-13: Ballooning fungerer korrekt, deflating skjer kun ved host RAM-press (128 GB med ~60 GB ledig) - Reell minnebruk dokumentert: ~57.5 GB allokert, ~8.5 GB faktisk brukt - VM 142 (plex) kernel 5.4.0-216 mangler free_page_reporting (krever 5.8+), uproblematisk - Lagt til operasjon: `scripts/proxmox-memory-overview.sh` for MemAvailable-basert oversikt ### v1.3 - 2026-03-04 - API-token `root@pam!dashboard` dokumentert (UUID: 3a5258f8, for Hostclone dashboard) - Gotcha PX5-10: CT 212 (Duplicati) svarer ikke paa pct exec — bor undersokes

### PX5-09: WD3TB disk (/dev/sdd) FAILED - WD_WD3003FZEX-0 (3 TB) vises som **FAILED** i Proxmox Disks - Mountet som `/mnt/pve/WD3TB` (ext4) — inneholder images, dump, private, snippets, templates - **IKKE bruk for nye data!** Bør byttes ut. - Serial: WD-WMC5D0D4KDXL ### PX5-11: Proxmox ballooninfo.freemem er villedende - **Symptom:** Proxmox API viser svært lav `freemem` for VM-er (f.eks. VM 142 plex: 139 MB) - **Aarsak:** `ballooninfo.freemem` rapporterer Linux `MemFree`, IKKE `MemAvailable`. Linux bruker ledig RAM aggressivt til disk-cache, saa `MemFree` er alltid lav mens `MemAvailable` (faktisk brukbart minne) er mye hoyere (plex: 3249 MB) - **Fix:** Bruk `scripts/proxmox-memory-overview.sh` for reell oversikt, eller sjekk `MemAvailable` inne i VM via `cat /proc/meminfo` ### PX5-12: virtio_balloon er kernel built-in, ikke modul - **Symptom:** `lsmod | grep virtio_balloon` gir tomt resultat paa alle VM-er - **Aarsak:** Moderne Ubuntu/Debian-kjerner har `CONFIG_VIRTIO_BALLOON=y` (built-in), IKKE som lastbar modul. Driveren fungerer korrekt selv om den ikke vises i `lsmod` - **Fix:** Ingen — dette er normalt. Verifiser med `zgrep VIRTIO_BALLOON /proc/config.gz` eller `cat /boot/config-$(uname -r) | grep VIRTIO_BALLOON` ### PX5-13: Ballooning fungerer korrekt — deflating skjer kun ved host RAM-press - **Symptom:** VM-er bruker alltid maks tildelt RAM, ingen ballooning-reduksjon observert - **Aarsak:** Px5 har 128 GB fysisk RAM med ~60 GB ledig. Proxmox deflater kun VM-er naar HOST trenger RAM. Med rikelig host-RAM skjer ingen deflating — korrekt oppforsel - **Merknad:** Total allokert til VM-er: ~57.5 GB, faktisk brukt: ~8.5 GB (det meste er Linux disk-cache). VM 142 (plex) kjoerer kernel 5.4.0-216 (Ubuntu 20.04) som ikke stotter `free_page_reporting` (krever 5.8+), men dette er uproblematisk med nok host-RAM ### PX5-14: Proxmox MCP-server returnerer 401 for px5 - **Symptom:** `proxmox-hjemme` MCP tool `get_vm_status` returnerer 401 Unauthorized for VM 153 - **Årsak:** API-token `root@pam!dashboard` kan ha utløpt eller mangler riktige tilganger for enkelte operasjoner - **Fix:** Fallback til SSH (`ssh TU-px5 "qm status 153"`). Sjekk/forny token i Proxmox WebGUI → Datacenter → API Tokens

## Kjente Gotchas ### PX5-01: Tre Nextcloud-instanser - **VM 108:** nextcloud-hsal - **VM 185:** nextcloud-magitek (magitek.no) - **VM 208:** nextcloud-nativja (nativja) - Forveksle ikke — de er separate instanser for ulike organisasjoner ### PX5-02: NPM er VM 131, IKKE 152 - VM 131 (nginx-proxy-manager-ub-vm) er den **aktive** NPM-instansen - VM 152 (nginx-pm-docker) er **stoppet** — gammel instans, erstattet av 131 ### PX5-03: Mange test-VMer bruker ressurser - 6 stoppede Windows-VMer med 250GB disk hver = 1.5TB diskbruk - 5+ test-VMer (ubu-q35/i440fx varianter) med 16GB RAM config - 3 FreeBSD-VMer (test) - Kandidater for sletting/opprydding ### PX5-04: SSH jump host = VM 214 - ub-sshtunnel er VMID 214, ikke en container - pfsense NAT: 81.167.27.54:12322 → VM 214:22 - Hvis denne er nede, ingen SSH-tilgang fra kontoret til hjemme-nettverket ### PX5-05: Stoppede produksjons-VMer? - VM 215 (liveweb1-ub24) og VM 216 (Prod-live-webs-ub24) er **stoppet** - Kan indikere at disse er erstattet av VM 117 (prod-lan-webserver) - Verifiser før sletting! ### PX5-06: ZFS ARC spiser RAM — begrenset til 8 GiB - ZFS ARC default var 32 GiB, brukte 31 GiB — tok nesten alt ledig RAM - Begrenset til 8 GiB via `/etc/modprobe.d/zfs.conf` (`zfs_arc_max=8589934592`) - Swappiness satt til 10 via `/etc/sysctl.d/99-swappiness.conf` - **Sjekk etter reboot** at disse verdiene holder: `cat /sys/module/zfs/parameters/zfs_arc_max` ### PX5-07: VM 100 TrueNAS CORE — ingen qemu-agent mulig - FreeBSD 13.1, TrueNAS CORE 13.0-U2 - `virtio_console.ko` kernel-modul finnes ikke / version mismatch - `pkg` repos er låst av TrueNAS — kan ikke installere pakker - Bruk SSH for kommunikasjon: `sshpass -p 'Ansjos123' ssh TU-truenas` - Vurder oppgradering til TrueNAS SCALE (Linux) for full agent-støtte ### PX5-08: qemu-guest-agent status - 9 av 10 kjørende VM-er har fungerende agent (alle unntatt VM 100 TrueNAS) - Installert 2026-03-04 på VM 117 og VM 153 ### PX5-10: CT 212 (Duplicati) svarer ikke paa pct exec - **Symptom:** `pct exec 212 -- curl ...` returnerer ingen output - **Aarsak:** Ukjent — mulig container stoppet, eller exec-problem - **Workaround:** Bruk SSH inn i containeren direkte (hvis mulig), eller verifiser CT status med `pct status 212` - Bor undersokes videre

## Containere / LXC (23 totalt — 7 running, 16 stopped) ### Running CTs (optimalisert 2026-03-04) | CTID | Navn | RAM (MB) | Cores | Rolle | |------|------|----------|-------|-------| | 106 | wp01 | 8000 | 16 | WordPress produksjon (FORRETNINGSKRITISK) | | 111 | tkl-dockbox02 | 2048 | 4 | Docker (Turnkey Linux) | | 112 | tkl-dockbox03 | 3072 | 4 | Docker (Turnkey Linux) | | 132 | tkl-pihole | 1024 | 2 | Pi-hole DNS-blokkering | | 155 | tkl-dockbox9-zfs | 4096 | 4 | Docker med ZFS (Turnkey) | | 164 | bookstack-ny | 2048 | 2 | BookStack wiki/dokumentasjon | | 188 | legacy-tls-proxy-hjemme | 256 | 1 | Legacy TLS proxy | | 212 | Duplicati | 4000 | 2 | Backup-system | ### Stopped CTs | CTID | Navn | Rolle | |------|------|-------| | 103 | wiki.magitek.no | Wiki (gammel?) | | 114 | tkl-observium | Observium nettverksmonitorering | | 128 | tkl-lamp01-live | LAMP live server (Turnkey) | | 154 | OLD-docker07 | Gammel Docker | | 158 | taskwarrior | Taskwarrior oppgavehåndtering | | 167 | ub-bksk2 | BookStack #2? | | 178 | tkl-avideo | AVideo videostreaming | | 181 | tkl-jellyfin | Jellyfin medieserver | | 189 | docs-bookstack | BookStack #3 (docs) | | 193 | lamp-sandbox1 | LAMP sandbox | | 194 | ub20-docker | Docker (Ubuntu 20) | | 195 | tkl-learn | Moodle/læringsplattform? | | 196 | tkl-lamp02-dev | LAMP dev (Turnkey) | | 200 | homelab.magitek.no | Homelab dashboard | | 203 | notat.kingam.no | Notater (kingam.no) | | 204 | kursteam.magitek.no | Kursteam | ## NFS Mounts (fra andre servere) | NFS source | Mount point | Mode | Formål | |------------|-------------|------|--------| | PBS: `/mnt/datastore/pve-hosts-export` | `/mnt/pbs-pve-hosts` | ro | PVE host backup → Duplicati CT 212 | | PBS: `/mnt/datastore/mirror2x4tb/wp01-backup` | `/mnt/pbs-wp01-backup` | rw | wp01 backup → Duplicati CT 212 | Begge i `/etc/fstab` med `_netdev,vers=4.2`. ### Bind mounts til containere | Host path | CT | Mount inside CT | Mode | Formål | |-----------|-----|----------------|------|--------| | `/mnt/pbs-wp01-backup` | 106 (wp01) | `/mnt/wp01-backup` | rw | wp01 skriver DB-dumps + fil-arkiv | | `/mnt/pbs-wp01-backup` | 212 (Duplicati) | `/mnt/wp01-backup` | ro | Duplicati leser for offsite | | `/mnt/pbs-pve-hosts` | 212 (Duplicati) | (via mp12) | ro | Duplicati leser for offsite | ---

### Stopped VMs | VMID | Navn | RAM (MB) | Disk (GB) | Merknad | |------|------|----------|-----------|---------| | 113 | vm-dockbox05 | 16384 | 32 | Docker host | | 120 | mulig-trillium | 16000 | 32 | Trillium notes (kandidat) | | 129 | ubuntu20.04 | 6144 | 32 | Gammel Ubuntu | | 149 | testwin2 | 16384 | 250 | Windows test | | 150 | ub-dock-pyth3.5 | 32000 | 32 | Docker/Python (32GB RAM!) | | 151 | win10clone | 6144 | 32 | Windows 10 klon | | 152 | nginx-pm-docker | 8000 | 32 | Gammel NPM (erstattet av 131) | | 156 | ubu-q35-ovmf | 16384 | 0 | Test-VM (UEFI) | | 157 | ub24-fresh | 8000 | 60 | Ubuntu 24 fresh | | 159 | ubu-i440fx-ovmf | 16384 | 0 | Test-VM (UEFI) | | 160 | ubu-q35-sea | 16384 | 32 | Test-VM (SeaBIOS) | | 161 | ubu-i440fx-sea | 16384 | 32 | Test-VM (SeaBIOS) | | 162 | ubu-i440fx-ovmf | 16384 | 32 | Test-VM (UEFI) | | 163 | ubu-q35-ovmf | 16384 | 32 | Test-VM (UEFI) | | 171 | FreeBSD | 8192 | 50 | FreeBSD test | | 173 | freebsd-tmp | 4096 | 8 | FreeBSD temp | | 174 | freebsd-min | 4096 | 4 | FreeBSD minimal | | 175 | w10-gtx1060pt | 16384 | 250 | Windows 10 + GPU passthrough | | 179 | VM 179 | 4000 | 0 | Navnløs VM | | 180 | w11-gtx1060pt | 16384 | 250 | Windows 11 + GPU passthrough | | 182 | ubuntu20.04.5 | 32000 | 0 | Gammel Ubuntu (32GB RAM!) | | 184 | Ubuntu20.04.1-portainer2.5 | 16384 | 32 | Portainer (gammel) | | 185 | — | — | — | *(VMID 185 er running, se over)* | | 186 | ubuntu20.04.5-clean | 32000 | 32 | Gammel Ubuntu (32GB RAM!) | | 187 | resourcespace | 32000 | 0 | ResourceSpace DAM | | 197 | win10-testsoft | 16384 | 250 | Windows 10 test | | 198 | win10clean | 16384 | 250 | Windows 10 clean | | 201 | vtiger75-ub22 | 16384 | 32 | vTiger CRM | | 202 | win10testing | 16384 | 250 | Windows 10 testing | | 205 | appflowy-snap | 2000 | 32 | AppFlowy (Notion-alternativ) | | 206 | humhub | 8000 | 60 | HumHub social intranet | | 207 | dockbox10 | 3000 | 60 | Docker host | | 210 | Taguette-ub-2204 | 16000 | 32 | Taguette (kvalitativ analyse) | | 211 | ub-22.04clean | 16000 | 32 | Ubuntu 22.04 clean | | 213 | mulig-trillium | 2000 | 32 | Trillium notes (kandidat #2) | | 215 | liveweb1-ub24 | 8000 | 32 | Live webserver (stoppet!) | | 216 | Prod-live-webs-ub24 | 8000 | 32 | Prod live webserver (stoppet!) | | 217 | wbuild-trillium | 16000 | 32 | Trillium web build | **Stoppede VMer med stor disk (250GB):** 149, 175, 180, 197, 198, 202 = 1500 GB totalt (Windows VMer)

# Infrastructure Sub-Expert: px5 (Proxmox Host — Hjemme) **Version:** 1.5 **Date:** 2026-03-18 **Parent:** coordination/experts/operations/magitek-server-ops/CURRENT.md **Load:** coordination/experts/operations/magitek-server-ops/CURRENT-px5.md --- ## Identitet | Egenskap | Verdi | |----------|-------| | **Hostname** | pmox5 | | **Type** | Fysisk server (Proxmox VE host) | | **LAN IP** | 192.168.86.116 | | **Lokasjon** | Hjemme (Skeisstøa 37c) | | **OS** | Proxmox VE (Debian-basert) | | **Rolle** | Primær hypervisor hjemme — produksjon | | **Status** | Aktiv (175+ dagers uptime per 2026-03-04) | | **WebGUI** | https://px5.magitek.no / https://192.168.86.116:8006 | | **API-token** | `root@pam!dashboard` — UUID: `3a5258f8-d21d-41d8-a43a-1af8790085c5` (opprettet 2026-03-04, fungerer via direkte HTTPS, se PBS gotcha PBS-10 om SSH exec) | ## Tilgang | Metode | Detaljer | |--------|----------| | SSH (fra serveren) | `ssh TU-px5 "kommando"` (alias i ~/.ssh/config) | | WebGUI | https://px5.magitek.no (via NPM) eller direkte :8006 | | Container exec | `ssh TU-px5 "pct exec CTID -- kommando"` | | VM-gjester via SSH | `ssh prod-lan-webserver`, `ssh postiz`, `sshpass -p 'Ansjos123' ssh TU-truenas` | **OBS:** Port 22 er IKKE åpen eksternt. Krever ProxyJump via ub-sshtunnel. ## Cluster px5 er del av et Proxmox-cluster med flere noder, men **kun px5 er aktivt brukt**: | Node | IP | Status | |------|-----|--------| | **px5 (pmox5)** | 192.168.86.116 | **Aktiv** | | pmox21v | 192.168.86.121 | Cluster-node (TODO: status) | | pmox22v | 192.168.86.122 | Cluster-node (TODO: status) | | pmox10 | 192.168.86.171 | Cluster-node (gml laptop) | | pmox11 | 192.168.86.172 | Cluster-node (gml laptop) | | HP-prodesk-proxmox15 | 192.168.86.173 | Cluster-node | ## VMs (47 totalt — 10 running, 37 stopped) ### Running VMs | VMID | Navn | RAM (MB) | Disk (GB) | IP | SSH-alias | Rolle | |------|------|----------|-----------|-----|-----------|-------| | 100 | TrueNAS | 16000 | 32 | 192.168.86.120 | — | ZFS storage server (FORRETNINGSKRITISK) | | 108 | nextcloud-hsal | 4000 | 60 | 192.168.86.136 | — | Nextcloud (hsal-instans) | | 117 | prod-lan-webserver | 12000 | 32 | 192.168.86.60 | `prod-lan-webserver` / `TU-prod-lan-webserver` | Apache+PHP+MariaDB (InnoDB 6G), SkyMirror | | 131 | nginx-proxy-manager-ub-vm | 2000 | 60 | 192.168.86.16 | — | NPM hjemme (reverse proxy, SSL) | | 142 | plex-ubuntu | 4000 | 100 | 192.168.86.228 | `plex` | Plex medieserver | | 153 | postiz | 8000 | 100 | 192.168.86.177 | `postiz` / `TU-postiz` | Docker Compose: Postiz + Temporal stack (utvidet fra 60G, se CURRENT-postiz.md) | | 183 | mautic | 1000 | 60 | — | — | Mautic marketing automation | | 185 | nextcloud-magitek | 4000 | 62 | — | — | Nextcloud (magitek.no) | | 208 | nextcloud-nativja | 6000 | 60 | 192.168.86.110 | — | Nextcloud (nativja) | | 214 | ub-sshtunnel | 1500 | 32 | 192.168.86.192 | `ub-sshtunnel` / `TU-ub-sshtunnel` | SSH jump host (pfsense NAT :12322→:22) | **Running VMs totalt RAM:** ~58.5 GB (optimalisert 2026-03-04, var 74.5 GB)

### v1.0 - 2026-03-01 - Initial kartlegging via SSH (dobbel-hop via px5) - Hardware: Dell PowerEdge R620 (tvillingserver til pmox2) - 2x Xeon E5-2697 v2, 251 GB RAM, 10GbE LAN bridge - 5 VMs + 15 CTs (alt stoppet) — lab/TurnKey/SuiteCRM testing - ZFS pool "zfsa" 394 GB (27% brukt, healthy, single disk) - Ceph OSD 500 GB (fjernet) - Cluster: magitek, node ID 5, 1 vote

## Ressursoversikt ``` CPU: 48 threads (2x E5-2697 v2) — 0% brukt (ingen gjester) RAM: 251 GB total, 3.9 GB brukt (1.5%) — 248 GB ledig Disk: 233 GB SSD (boot) + 394 GB ZFS "zfsa" (tom) Net: 4x 1GbE + 10GbE TP-Link (aktiv) + Chelsio (ledig) ``` **POWERED OFF (2026-03-15).** Vedlikehold pga defekt 10GbE NIC (atlantic driver PCIe fatal errors). Helt tom server med enorm kapasitet, klar for nye workloads naar NIC-problemet er lost. ## Changelog ### v1.3 - 2026-03-15 - **PX3-10 NY:** px3-watchdog.sh cron-jobb pa px5 forhindret shutdown av px3 — fjernet 2026-03-15 - **Status oppdatert:** px3 er na POWERED OFF for vedlikehold (defekt 10GbE NIC) ### v1.2 - 2026-03-11 (patch) - **iDRAC-oppklaring:** Lagt til Service Tag `79LLB5J` og hostname `px3.magitek.no` i identitetstabellen - **Separat-server-presisering:** Tydeliggjort at px3 og pmox2 er TO SEPARATE fysiske maskiner (ikke samme server) - **Sammenligningstabellen:** Lagt til OBS-note for å unngå forveksling mellom pmox2 og px3 ### v1.2 - 2026-03-06 - **PX3-06 OPPDATERT:** Fan2B er SENSOR-feil i backplane, IKKE viftemodul-defekt. Bevist ved swap-test (modul 2↔3). ipmitool manuell kontroll fungerer men floores pa 38%. - **PX3-07 NY:** Dokumentert at LAN og Corosync er separate nettverk — noden kan vaere online i cluster men utilgjengelig via LAN - **PX3-08 NY:** px5 /etc/hosts har feil mapping for px3 (81.167.27.54 i stedet for 192.168.86.124) - **PX3-03 OPPDATERT:** Lagt til corosync-hop som fallback SSH-rute - **Tilgang-seksjonen utvidet** med fallback SSH-ruter i prioritert rekkefolgde - **LAN-problem dokumentert:** vmbr0 sender ARP men faar ingen svar (2026-03-06), under utredning - iDRAC IP og corosync IP lagt til sammenligningstabellen ### v1.1 - 2026-03-04 - **STOR OPPRYDDING:** 20 VMs/CTs arkivert til PBS (alle 20 OK), deretter slettet - px3 er na HELT TOM — ingen VMs, ingen CTs - SSH config lagt til: px3 + TU-px3 - pbs-archive-px3 midlertidig storage fjernet - zfsa begrenset tilbake til pmox2,pmox5 - Gotcha PX3-03 (SSH endret), PX3-04 (ZFS), PX3-05 (gammel PVE), PX3-06 (Fan2B) lagt til - Sammenligningstabellen oppdatert med nye VM/CT-tall og zfsa-storrelse

### PX3-10: px3-watchdog.sh pa px5 forhindret shutdown (FJERNET 2026-03-15) - **Symptom:** px3 kom automatisk tilbake opp innen 5 minutter etter shutdown - **Arsak:** Cron-jobb pa px5 (`*/5 * * * * /usr/local/bin/px3-watchdog.sh`) pinget px3 (192.168.86.124), ventet 60s ved feil, deretter kjorte `racadm serveraction powercycle` via iDRAC (192.168.86.81) med sshpass - **Bakgrunn:** Installert 2026-03-12 som workaround for TP-Link AQtion 10GbE NIC (atlantic driver) PCIe fatal errors som forarsaker nettverkstap - **Fix:** Cron-jobb fjernet fra px5 (`crontab -r`) 2026-03-15. Skriptfilen eksisterer fortsatt pa px5: `/usr/local/bin/px3-watchdog.sh` - **VIKTIG:** Hvis px3 skal slas av for vedlikehold, sjekk ALLTID at watchdog-cron ikke er gjenopprettet pa px5 (`ssh TU-px5 "crontab -l"`) ### PX3-07: LAN og Corosync er SEPARATE nettverk - **Corosync:** eno1, 10.10.10.3/24 — cluster-kommunikasjon - **LAN:** enp4s0/vmbr0, 192.168.86.124/24 — SSH, VM-trafikk, gateway - **KRITISK:** Noden kan vaere "online" i cluster men HELT utilgjengelig via LAN - **Diagnostikk:** Sjekk `ip neigh show` for FAILED/INCOMPLETE ARP-entries pa vmbr0 ### PX3-08: px5 /etc/hosts mapper px3 feil - px5 har `/etc/hosts: 81.167.27.54 px3.magitek.no` (ekstern IP) - SSH fra px5 til "px3" gaar til feil IP - **Bruk alltid numerisk IP** for SSH fra px5: `ssh root@192.168.86.124` eller `ssh root@10.10.10.3` ## Sammenligning pmox2 vs px3 > **OBS:** pmox2 og px3 er **TO SEPARATE fysiske servere** — begge Dell R620, men ulike maskiner med ulike iDRAC-er, IP-er og Service Tags. De er IKKE den samme serveren. | Egenskap | pmox2 | px3 | |----------|-------|-----| | Hardware | Dell R620 | Dell R620 | | CPU | 2x E5-2697 v2 (48T) | 2x E5-2697 v2 (48T) | | RAM | 180 GB | **251 GB** | | Boot SSD | 168 GB | **233 GB** | | Thinpool | 108 GB | **172 GB** | | ZFS (zfsa) | **888 GB** (ny) | 394 GB | | LAN bridge | eno1 (1GbE) | **enp4s0 (10GbE TP-Link)** | | VMs | 0 (1 CT: phpstan-worker) | **0** (helt tom) | | CTs | 1 (CT 220) | **0** | | NUMA | 1 node | **2 noder** (bedre for store VMs) | | iDRAC | 192.168.86.134 (idrac-rpx3) | **192.168.86.81** (idrac-px6) | | Corosync | 10.10.10.2 | **10.10.10.3** | **px3 er den kraftigste noden** — mer RAM, storre disk, 10GbE LAN, NUMA-aware. Begge noder er nesten tomme og klar for nye workloads.

### PX3-03: SSH tilgang — FALLBACK RUTER KRITISK - **Primaer:** `ssh TU-px3` — bruker SSH-tunnel via jump-host - **Fallback 1:** `ssh TU-px5 "ssh root@10.10.10.3 'kommando'"` — via corosync-nett - **Fallback 2:** iDRAC SSH via px5 (racadm) - **LAERDOM 2026-03-06:** TU-px3 tunnel kan feile selv om noden er online i cluster (LAN vs corosync er separate nettverk). ALLTID prøv corosync-hop for du gir opp. ### PX3-04: ZFS uten redundans - zfsa er single-disk pool - Kun sdb2 — ingen mirror - Akseptabel for lab/test, men ikke for produksjonsdata ### PX3-05: Gammel PVE-versjon - PVE 8.4.1 vs px5 sine 8.4.16 — bor oppgraderes ### PX3-06: Fan2B TACHOMETER-SENSOR DEFEKT (IKKE VIFTEN) - **Oppdatert 2026-03-06:** Feilen er i backplane-sensoren, IKKE i viftemodulen - **Bevis:** Viftemodul 2 og 3 ble byttet. Fan2B viste 0 RPM med BEGGE moduler i posisjon 2. Modulen som ble tatt ut av posisjon 2 fungerte perfekt i posisjon 3. - **Fysisk:** Fan2 B-rotor spinner normalt (bekreftet visuelt), men tachometer-sensoren pa backplanet gir ikke signal - **Konsekvens:** iDRAC rapporterer permanent "Fan2B Failed" og "Redundancy Lost", floorer alle vifter pa ~38% PWM - **ipmitool:** Manuell kontroll fungerer (`ipmitool raw 0x30 0x30 0x01 0x01` + `0x02 0xff 0x0a`), men iDRAC overstyrer tilbake til minimum 38% pga "Failed"-status - **Aksjon:** Ikke nodvendig a bytte vifte. Lev med 38% PWM eller bytt fan midplane. - **Temperaturer:** Alle innenfor normal (Inlet 28C, CPU1 43C, CPU2 34C) - **Fan midplane:** Separat liten PCB mellom viftene og motherboard. Dell PN **0PGXHP** (PGXHP). Har 7 kontakter (en per viftemodul) med pinner for 12V, PWM og TACH-A/TACH-B. Kan vaere defekt pull-up motstand, oksidert pin, eller brutt kretsbane for Fan2B tach-signal. Byttes ved a ta ut alle vifter + 2-4 skruer. Brukt ~$10-20 pa eBay. ### PX3-09: PCIe Fatal Error ved fysisk arbeid i chassis (NY 2026-03-06) - Under viftebytte oppstod PCIe Fatal Error pa port 0000:00:02.0 (10GbE Aquantia AQC107) - `dmesg`: "broken device, retraining non-functional downstream link at 2.5GT/s" - NIC-driver (atlantic) trodde link var oppe, men PCIe-bussen var brutt — ingen pakker sendt - `ethtool` viste "Link detected: yes" og 10000Mb/s — VILLEDENDE naar PCIe er nede - **Losning:** Reboot resatte PCIe-bussen. PCI rescan (`echo 1 > /sys/bus/pci/.../remove` + rescan) var IKKE nok. - **Forebygging:** Vaer forsiktig med fysisk arbeid naer PCIe-kort. Etter chassis-arbeid, sjekk `dmesg | grep pcieport` for feil.

### Ceph **FULLSTENDIG FJERNET 2026-03-01** — Ceph OSD LVM (osd.5) fjernet, partisjon sdb1 slettet. Ceph-pakker avinstallert. ### LVM Thinpool (local-lvm) 172.4 GB total, **tom** etter arkivering 2026-03-04. Alle VM/CT-disker slettet. ### NFS/PBS-delinger Identisk med pmox2 — delt storage.cfg via cluster: - NFS fra TrueNAS (192.168.86.120): ustar, ustar-dd, ISO, CT_templates, media1m - PBS: pbsm4TB (aktiv, 12%) - **zfsa** begrenset til pmox2,pmox5 (fjernet fra px3 2026-03-04 etter opprydding) - **pbs-archive-px3** midlertidig storage fjernet etter arkivering ## VMs (0 totalt) **INGEN VMs** — alle 5 arkivert til PBS 2026-03-04, deretter slettet. ## CTs (0 totalt) **INGEN CTs** — alle 15 arkivert til PBS 2026-03-04, deretter slettet. **px3 er HELT TOM — ingen VMs, ingen CTs.** ### Arkiverte VMs/CTs (2026-03-04) 20 gjester arkivert til PBS archive-datastore, namespace `px3`: - **5 VMs:** 118 (ub20serv2), 119 (ubuntuDT20.04), 130 (yunohost), 148 (ubu-i440fx-sea), 219 (win11-test2) - **15 CTs:** 104 (OLD-tkl-pihole-local), 105 (tkl-magento2), 110 (tkl-odoo), 116 (tkl-lamp-vtiger7), 123 (OLD-tkl-snipeit), 124 (tkl-leantime), 125 (tkl-suitecrm8-clone), 126 (tkl-invoiceninja), 127 (tkl-mysql1), 133 (tkl-laravel), 134 (tkl-ansible), 190 (kingasuitecrm), 191 (suitecrm82), 192 (websrvtempl), 199 (tkl-sc7-salbmusik) - **Alle 20 OK** — ingen feil under arkivering - Alle har beskrivende noter: `{name} (px3 arkiv 2026-03-04)` - Detaljer: Se `shared/CURRENT-vm-ct-archiving.md` ## Sikkerhet & Backup - **PBS:** pbsm4TB (Mirror2x4tb) er tilgjengelig - **PVE:** 8.4.1 — bor oppgraderes til 8.4.16 (som px5) - **ZFS:** Single-disk, ingen redundans ## Kjente Gotchas ### PX3-01: 10GbE bridge - **Detalj:** vmbr0 bridger over enp4s0 (10GbE TP-Link), ikke 1GbE som pa pmox2 - **Konsekvens:** Hoyere throughput for VM-trafikk (10 Gbit vs 1 Gbit) - **Merk:** Krever at switchen/kabelen stotter 10G pa denne porten ### PX3-02: Storre SSD enn pmox2 - **Detalj:** sda er 233 GB (vs pmox2 sine 168 GB), begge Kingston SA400 - **Konsekvens:** Storre thinpool (172 GB vs 108 GB)

### KRITISK: Fallback SSH-ruter Naar `ssh TU-px3` feiler, bruk disse i rekkefolgde: 1. **Corosync-hop via px5:** `ssh TU-px5 "ssh root@10.10.10.3 'kommando'"` - Fungerer sa lenge noden er i cluster (corosync alive) - Full shell-tilgang, ipmitool tilgjengelig lokalt 2. **iDRAC via px5:** `ssh TU-px5 "sshpass -p 'Ansjos123' ssh root@192.168.86.81 'racadm ...'"` - Fungerer ALLTID (uavhengig av OS) - Begrenset til racadm-kommandoer 3. **Proxmox WebGUI noVNC:** Aapne Shell via cluster-WebGUI - Krever at pveproxy kjorer ## Nettverk ``` eno1 (1 GbE) ------------------ 10.10.10.3/24 (Corosync) — FUNGERER eno2 (1 GbE) ------------------ ned (ledig) eno3 (1 GbE) ------------------ ned (ledig) eno4 (1 GbE) ------------------ ned (ledig) enp4s0 (10 GbE TP-Link) - vmbr0 (bridge) -- 192.168.86.124/24 (LAN) — NEDE 2026-03-06 ``` **Forskjell fra pmox2:** px3 bruker **10GbE TP-Link NIC** som LAN-bridge (vmbr0), mens pmox2 bruker 1GbE eno1. px3 har dermed 10x LAN-throughput for VM-trafikk. Chelsio-kortet (optisk) er ledig pa begge. 4x 1GbE onboard + 10GbE TP-Link (kobber, aktivt) + Chelsio (optisk, ledig). ### LAN-problem 2026-03-06 ARP-tabell pa px3 viser FAILED/INCOMPLETE for alle LAN-peers: - 192.168.86.1 (gateway) → FAILED - 192.168.86.116 (px5) → INCOMPLETE - 192.168.86.123 (pmox2) → INCOMPLETE enp4s0 og vmbr0 viser state UP, men Layer 2-trafikk gar ikke gjennom. pmox2 har SAMME problem — begge Dell R620-ene mistet LAN samtidig. Mulig arsak: felles switch-port, VLAN, eller kabelfeil. Under utredning. ## Disker og Storage ### Fysiske disker | Disk | Storrelse | Innhold | Status | |------|-----------|---------|--------| | sda | 233 GB | PVE boot (LVM: root 32G + swap 8G + data 172.4G thinpool) | OK | | sdb | 894 GB | ZFS pool "zfsa" 394G | OK | **SSD:** Kingston SA400S37960G (960 GB total, partisjonert som sda — storre enn pmox2) ### ZFS Pools | Pool | Storrelse | Brukt | Ledig | Helse | Disker | |------|-----------|-------|-------|-------|--------| | zfsa | 394 GB | ~0% (tom etter sletting) | ~394 GB | ONLINE | sdb2 (single disk, ingen redundans) |

# Infrastructure Sub-Expert: px3 **Version:** 1.3 **Date:** 2026-03-15 **Parent:** coordination/experts/operations/magitek-server-ops/CURRENT.md **Load:** coordination/experts/operations/magitek-server-ops/CURRENT-px3.md --- ## Identitet | Egenskap | Verdi | |----------|-------| | **Hostname** | px3 | | **Type** | Fysisk server (Proxmox host) | | **Hardware** | Dell PowerEdge R620 (1U rack) — **SEPARAT fysisk server** fra pmox2 (samme modell, men ulik maskin) | | **CPU** | 2x Intel Xeon E5-2697 v2 @ 2.70GHz (12C/24T per socket = 48 threads) | | **RAM** | **251 GB** (3.9 GB brukt, 248 GB ledig) | | **LAN IP** | 192.168.86.124 (vmbr0 via 10GbE, gateway 192.168.86.1) | | **Corosync IP** | 10.10.10.3 (eno1, VLAN 10) | | **iDRAC** | 192.168.86.81 (IDRAC-PX6, hostname: px3.magitek.no, Service Tag: 79LLB5J, se CURRENT-idrac-px6.md) | | **Lokasjon** | Hjemme (Skeistoa 37c) | | **PVE versjon** | 8.4.1 (kernel 6.8.12-11-pve) | | **Cluster** | magitek (node ID 5, 1 vote) | | **Rolle** | Cluster-node, **HELT TOM** etter arkivering 2026-03-04 | | **Status** | **POWERED OFF** (2026-03-15) — vedlikehold pga defekt 10GbE NIC | ## Cluster-tilhorighet Se cluster-oversikt i `CURRENT-pmox2.md` (identisk). px3 = node ID 5, 1 vote. Quorum styrt av px5 (3 votes). Corosync-nettverket (10.10.10.x) er SEPARAT fra LAN (192.168.86.x). Noden kan vaere online i cluster selv om LAN er nede. ## Tilgang | Metode | Detaljer | |--------|----------| | SSH (tunnel) | `ssh TU-px3` — **FEILET 2026-03-06** (LAN nede, "No route to host") | | SSH (corosync fallback) | `ssh TU-px5 "ssh root@10.10.10.3 'kommando'"` — **FUNGERER** | | SSH (fra hjemme-LAN) | `ssh root@192.168.86.124` — feilet 2026-03-06 | | iDRAC SSH | `ssh TU-px5 "sshpass -p 'Ansjos123' ssh root@192.168.86.81 'racadm ...'"` — **FUNGERER ALLTID** | | iDRAC WebGUI | `https://192.168.86.81` | | WebGUI | `https://px5.magitek.no/#v1:0:18:5:::::::` (via cluster, node px3) | | Proxmox API | `https://192.168.86.124:8006` (direkte, kun fra hjemme-LAN) |

## Ressursoversikt ``` CPU: 48 threads (2x E5-2697 v2) — 0% brukt RAM: 180 GB total, ~3.6 GB brukt (2%) — 177 GB ledig (DIMM_B4 errors) Disk: 168 GB SSD boot (15%) + 888 GB ZFS "zfsa" (tom) + Ekstern enclosure: 14x 558GB SAS (ikke i bruk) Net: 4x 1GbE + 2x 10GbE Chelsio (ledig) ``` **Nesten tom server.** Kun CT 220 (phpstan-worker). Krever boot-fiks for drift. ## Changelog ### v1.2 - 2026-03-11 (patch) - **iDRAC-mapping avklart:** 192.168.86.134 tilhorer pmox2 (verifisert), IKKE px3 - **Service Tag lagt til:** 59LLB5J - **Legacy iDRAC-hostname lagt til:** esx2-matre.imr.no (aldri oppdatert) - **Hardware-tekst oppdatert:** pmox2 og px3 er TO SEPARATE fysiske R620-servere ### v1.2 - 2026-03-06 - **FLYTTET** fra kontoret/proxmox/ til hjemme/proxmox/ (riktig lokasjon) - **PMOX2-06 NY:** DIMM_B4 memory errors dokumentert fra iDRAC event log - **PMOX2-07 NY:** Boot-feil etter restart — finner ikke systemdisk - **PMOX2-08 NY:** RAID-controller er ekstern enclosure, IKKE systemdisker. SATA-disker dokumentert (HGST 500GB + Crucial 250GB SSD) - **PMOX2-09 NY:** LAN og Corosync separate nettverk - **PMOX2-02 OPPDATERT:** Fallback SSH-ruter lagt til - iDRAC IP og corosync IP lagt til - Tilgang-seksjon utvidet med fallback-ruter - Disk-topologi-seksjon fullstendig restrukturert (SATA vs RAID) ### v1.1 - 2026-03-04 - STOR OPPRYDDING: 29 VMs/CTs arkivert til PBS - zfsa pool gjenskapt: 394 GB DEGRADED -> 888 GB ONLINE - Kernel- og disk-opprydding ### v1.0 - 2026-03-01 - Initial kartlegging

### PMOX2-07: Boot-feil — SATA Port A disk FEILET (NY 2026-03-06) - SATA Port A viser "device initialization error" under POST - BIOS viser disken som "unknown" — kun 960 GB SSD (Port B) er synlig - "No boot device found" — systemdisken er utilgjengelig - **Fysisk bekreftet:** Port A = ~180 GB systemdisk (Proxmox), Port B = 960 GB (ZFS) - **OBS:** iDRAC `racadm get BIOS.SataSettings` rapporterte feil port-mapping (viste C/D). Fysisk BIOS-sjekk avslort at det er Port A/B. - **Mulige arsaker:** Disk dod, SATA-kabel los, SATA-port defekt - **Neste steg:** Reseat kabel, eller reinstaller Proxmox pa Port B / ny disk ### PMOX2-08: RAID-controller er EKSTERN ENCLOSURE (NY 2026-03-06) - `racadm storage get pdisks` viser 14 bays — dette er IKKE systemdiskene - RAID.Slot.2-1 er en HBA koblet til ekstern disk-shelf (SAS 558GB HDDs) - `racadm storage get vdisks` = "No virtual disks" er NORMALT (ingen RAID arrays konfigurert) - **ALDRI anta at pdisks-output er systemdiskene.** Bruk `racadm get BIOS.SataSettings` for SATA. ### PMOX2-09: LAN og Corosync er SEPARATE nettverk - **Corosync:** eno2, 10.10.10.2/24 — cluster-kommunikasjon - **LAN:** eno1/vmbr0, 192.168.86.123/24 — SSH, VM-trafikk, gateway - Noden kan vaere "online" i cluster men utilgjengelig via LAN ### PMOX2-10: proxmox-hjemme MCP-server returnerer 401 — bruk node-spesifikk MCP som fallback [AUDIT-0012] - **Symptom:** `mcp__proxmox-hjemme__proxmox_get_vms` (eller andre tools) returnerer `401 Unauthorized`. - **Arsak:** `proxmox-hjemme` er en aggregert MCP-instans; 401 kan skyldes at token/auth er feil konfigurert for noden, ikke nødvendigvis at noden er nede. - **Riktig fallback-kjede:** (1) Prøv `mcp__proxmox-hjemme__*` → (2) ved 401: prøv node-spesifikk `mcp__proxmox-pmox2__*` → (3) kun ved MCP-feil: fall tilbake til `ssh TU-pmox2`. - **Aldri hopp direkte til SSH** etter 401 uten å prøve node-spesifikk MCP først. - **Oppdaget:** 2026-03-18 under MP-0011 (CT-opprettelse for monitoring-stack)

### PBS (Proxmox Backup Server) | Storage | Datastore | Server | Status | |---------|-----------|--------|--------| | pbsm4TB | Mirror2x4tb | 192.168.86.137 | Aktiv (12% brukt) | | extbackup | extbackup | pbsm.magitek.no | Aktiv | ## VMs (0 totalt) **INGEN VMs** — alle 5 arkivert til PBS 2026-03-04, deretter slettet. ## CTs (1 totalt) | CTID | Navn | Status | Beskrivelse | |------|------|--------|-------------| | 220 | phpstan-worker | Running (for boot-feil) | PHPStan analyse-worker | ### Arkiverte VMs/CTs (2026-03-04) 29 gjester arkivert til PBS archive-datastore, namespace `pmox2`: - **25 OK:** VMs 101,102,115,218 + CTs 107,109,122,135-141,143-147,168-170,172,176,177 - **4 korrupt (IO-error, slettet direkte):** CT 121, VM 165, CT 166, CT 209 - Detaljer: Se `shared/CURRENT-vm-ct-archiving.md` ## Sikkerhet & Backup - **PBS:** pbsm4TB og extbackup begge aktive - **PVE:** 8.4.1 — bor oppgraderes - **iDRAC:** 192.168.86.134 (idrac-rpx3) — aktiv og tilgjengelig - **DIMM_B4:** Memory errors — bor byttes (se PMOX2-06) ## Kjente Gotchas ### PMOX2-01: Ceph fjernet (lost) - Fullstendig fjernet 2026-03-01, pakker avinstallert - Full SSD frigjort for ZFS ### PMOX2-02: SSH tilgang — FALLBACK RUTER KRITISK - **Primaer:** `ssh TU-pmox2` — via SSH-tunnel - **Fallback 1:** `ssh TU-px5 "ssh root@10.10.10.2 'kommando'"` — via corosync-nett - **Fallback 2:** iDRAC SSH via px5 (racadm) - **LAERDOM 2026-03-06:** Alle tre SSH-ruter kan feile samtidig (boot-problem). iDRAC er da ENESTE tilgang. ### PMOX2-03: ZFS uten redundans - zfsa er single-disk pool (1x 960 GB Kingston SSD) - Akseptabel for lab/test, men ikke for produksjonsdata ### PMOX2-04: 4 gjester hadde korrupt LVM thinpool - CT 121, VM 165, CT 166, CT 209 — IO-errors under vzdump - Typisk for lenge stoppede VMs pa LVM thin provisioning ### PMOX2-05: Gammel PVE-versjon - PVE 8.4.1 vs px5 sine 8.4.16 — bor oppgraderes - Kernel 6.8.12-19 tilgjengelig men krever reboot ### PMOX2-06: DIMM_B4 memory errors (NY 2026-03-06) - iDRAC event log viser gjentatte "Correctable memory error rate exceeded for DIMM_B4" - Siste logg: 2025-03-07 (har pagatt lenge) - Severity: Critical / Non-Critical (veksler) - **Anbefaling:** Bytt DIMM_B4 ved neste vedlikeholdsvindu

### Tidligere dokumenterte disker (fra OS-niva) | Disk | Storrelse | Innhold | Status | |------|-----------|---------|--------| | sda | 168 GB | PVE boot (LVM: root 32G + swap 8G + data 108.5G thinpool) | SMART: PASSED, 15% brukt | | sdb | 960 GB | ZFS pool "zfsa" 888 GB (ny pool 2026-03-04) | OK | **Mismatch-merknad:** BIOS viser Crucial SSD pa 250 GB (Port D) og HGST HDD pa 500 GB (Port C). Linux ser sda=168 GB og sdb=960 GB. Diskene som ses fra OS kan vaere partisjonerte/formatterte annerledes enn raw-kapasitet. Trenger verifisering etter boot er fikset. **SSD:** Kingston SA400S37960G (960 GB total) ### Boot-problem 2026-03-06 Etter restart finner ikke pmox2 systemdisken. Mulige arsaker: 1. UEFI boot-entry korrupt 2. Crucial SSD (Port D) fysisk feilet eller los kabel 3. SATA-kontroller-problem **Diagnostikk via iDRAC:** ```bash # Sjekk SATA-porter ssh TU-px5 "sshpass -p 'Ansjos123' ssh root@192.168.86.134 'racadm get BIOS.SataSettings'" # Sjekk boot-rekkefolgde ssh TU-px5 "sshpass -p 'Ansjos123' ssh root@192.168.86.134 'racadm get BIOS.BiosBootSettings'" # Sjekk RAID-controller (DETTE ER EKSTERN ENCLOSURE, IKKE SYSTEMDISKER) ssh TU-px5 "sshpass -p 'Ansjos123' ssh root@192.168.86.134 'racadm storage get pdisks'" ``` ### ZFS Pools | Pool | Storrelse | Brukt | Ledig | Helse | Disker | |------|-----------|-------|-------|-------|--------| | zfsa | 888 GB | ~0% | ~888 GB | ONLINE | /dev/sdb1 (single disk, ingen redundans) | ### Ceph **FULLSTENDIG FJERNET 2026-03-01** — Ceph OSD LVM (osd.4) fjernet, partisjon slettet. Ceph-pakker avinstallert. ### LVM Thinpool (local-lvm) 108.5 GB total, **nesten tom** etter arkivering 2026-03-04. Tidligere innhold slettet pga IO-errors. ### NFS-delinger (fra TrueNAS 192.168.86.120) | Storage | NFS Export | Innhold | |---------|-----------|---------| | ustar | /mnt/ustar/ustar | rootdir, backup, images | | ustar-dd | /mnt/ustar/ustar-dd | backup, iso, images | | ISO | /mnt/ustar/ISO | ISO-filer | | CT_templates | /mnt/ustar/CT_templates | Container-maler | | media1m | /mnt/ustar/media1m | Media (snippets) |

### KRITISK: Fallback SSH-ruter (samme som px3) 1. **Corosync-hop via px5:** `ssh TU-px5 "ssh root@10.10.10.2 'kommando'"` 2. **iDRAC via px5:** `ssh TU-px5 "sshpass -p 'Ansjos123' ssh root@192.168.86.134 'racadm ...'"` — ALLTID tilgjengelig 3. **Proxmox WebGUI noVNC:** Aapne Shell via cluster-WebGUI ## Nettverk ``` eno1 (1 GbE) --- vmbr0 (bridge) -- 192.168.86.123/24 (LAN) eno2 (1 GbE) ------------------- 10.10.10.2/24 (Corosync) eno3 (1 GbE) --- ned (ledig) eno4 (1 GbE) --- ned (ledig) enp4s0 (10 GbE Chelsio, optisk, Cisco SFP) --- ned (ledig) enp4s0d1 (10 GbE port 2) --- ned (ledig) ``` 4x 1 GbE onboard + 2x 10 GbE Chelsio (optisk, ikke i bruk). ### LAN-problem 2026-03-06 Bade pmox2 og px3 mistet LAN (192.168.86.x) samtidig. Corosync (10.10.10.x) fungerte pa px3 men pmox2 ga "Connection reset". Mulig felles arsak: switch-port, VLAN, kabel. Under utredning. ## Disker og Storage ### KRITISK: Disk-topologi (SATA vs RAID controller) pmox2 har TO separate disk-systemer som IKKE ma forveksles: #### 1. SATA-disker (systemdisker, direkte pa motherboard) | SATA Port | Modell | Storrelse | Type | Rolle | Status | |-----------|--------|-----------|------|-------|--------| | **Port A** | **~180 GB SSD** | **~180 GB** | **SSD** | **BOOT DISK (Proxmox)** | **FEILET 2026-03-06 — "device initialization error", vises som "unknown" i BIOS** | | **Port B** | **Kingston SA400S37960G** | **960 GB** | **SSD** | ZFS pool "zfsa" | OK, synlig i BIOS | | Port C-F | (tom eller ikke i bruk) | — | — | — | — | **OBS:** iDRAC rapporterte diskene pa Port C/D — dette var FEIL mapping fra racadm. Fysisk bekreftet 2026-03-06: Port A = systemdisk ~180 GB, Port B = 960 GB. **SATA Mode:** AHCI **Boot-feil 2026-03-06:** "Port A device initialization error" + "no boot device found" #### 2. RAID-controller (ekstern enclosure — IKKE systemdisker) | Controller | Type | Disker | |-----------|------|--------| | RAID.Slot.2-1 | HBA til ekstern disk-shelf | 14 bays (Enclosure.External.0-0) | **ALLE 14 bays viser:** 558 GB SAS HDD, State=Non-Raid, Status=Unknown **VIKTIG:** `racadm storage get vdisks` returnerer "No virtual disks" — dette er NORMALT. RAID-controlleren brukes som HBA for ekstern enclosure, ikke for systemdisker. Systemdiskene (SATA) er IKKE synlige via `racadm storage get pdisks`. Sjekk SATA-disker med: `racadm get BIOS.SataSettings`

# Infrastructure Sub-Expert: pmox2 **Version:** 1.2 **Date:** 2026-03-06 **Parent:** coordination/experts/operations/magitek-server-ops/CURRENT.md **Load:** coordination/experts/operations/magitek-server-ops/hjemme/proxmox/CURRENT-pmox2.md --- ## Identitet | Egenskap | Verdi | |----------|-------| | **Hostname** | pmox2 | | **Type** | Fysisk server (Proxmox host) | | **Hardware** | Dell PowerEdge R620 (1U rack) — **TO SEPARATE fysiske servere: pmox2 og px3 er begge R620, men IKKE samme maskin** | | **CPU** | 2x Intel Xeon E5-2697 v2 @ 2.70GHz (12C/24T per socket = 48 threads) | | **RAM** | 180 GB (DIMM_B4 har memory errors — se gotcha PMOX2-06) | | **LAN IP** | 192.168.86.123 (vmbr0, gateway 192.168.86.1) | | **Corosync IP** | 10.10.10.2 (eno2, VLAN 10) | | **iDRAC** | 192.168.86.134 (idrac-rpx3, se CURRENT-idrac-rpx3.md) — **VERIFISERT: tilhorer pmox2, IKKE px3** | | **Service Tag** | 59LLB5J | | **Legacy iDRAC-hostname** | esx2-matre.imr.no (aldri oppdatert) | | **Lokasjon** | Hjemme (Skeistoa 37c) | | **PVE versjon** | 8.4.1 (kernel 6.8.12-11-pve running, 6.8.12-19 next boot) | | **Cluster** | magitek (node ID 4, 1 vote) | | **Rolle** | Cluster-node, nesten tom etter arkivering 2026-03-04 | | **Status** | BOOT-PROBLEMER 2026-03-06 — finner ikke systemdisk etter restart | ## Cluster-tilhorighet Del av Proxmox-cluster "magitek" med 3 noder: | Node | Node ID | Votes | IP (LAN) | IP (Corosync) | Status | |------|---------|-------|-----------|---------------|--------| | pmox5 (px5) | 1 | 3 | 192.168.86.116 | 10.10.10.5 | Aktiv (quorum master) | | pmox2 | 4 | 1 | 192.168.86.123 | 10.10.10.2 | BOOT-FEIL 2026-03-06 | | px3 | 5 | 1 | 192.168.86.124 | 10.10.10.3 | Online (LAN nede) | Quorum: Yes (5 expected votes, px5 har 3 = kan kjore alene) ## Tilgang | Metode | Detaljer | |--------|----------| | SSH (tunnel) | `ssh TU-pmox2` — **FEILET 2026-03-06** | | SSH (corosync fallback) | `ssh TU-px5 "ssh root@10.10.10.2 'kommando'"` — **Connection reset 2026-03-06** | | SSH (fra hjemme-LAN) | `ssh root@192.168.86.123` — feilet 2026-03-06 | | iDRAC SSH | `ssh TU-px5 "sshpass -p 'Ansjos123' ssh root@192.168.86.134 'racadm ...'"` — **FUNGERER ALLTID** | | iDRAC WebGUI | `https://192.168.86.134` | | WebGUI | `https://px5.magitek.no/#v1:0:18:4:::::::` (via cluster, node pmox2) |

### v1.1 - 2026-03-03 - Lagt til ZFS datasets mir2x4tb/pve-hosts og mir2x4tb/wp01-backup - Lagt til wp01-backup seksjon (NFS-eksportert for WordPress granulær backup) - Lagt til NFS-eksporter oversiktstabell - Boot disk 100% full identifisert — wp01-backup opprettet feil første gang, korrigert til ZFS dataset ### v1.0 - 2026-03-01 - Initial versjon — komplett kartlegging via SSH-tunnel - PBS 3.4.8 på Debian 12, i7-2600, 16 GB RAM - ZFS mirror 2x4TB **DEGRADED** — Seagate FAULTED, WD Green eneste aktive disk - 4 datastores: Mirror2x4tb (px5), extbackup (px1), ext3 (pmox15), ext2 (pmox10, stale) - 42+18+1+1 = 62 backup-IDer, 759 snapshots totalt - Prune-jobber konfigurert for alle datastores - GC daglig på alle datastores - Ingen sync-jobs, verify-jobs, remotes eller notifikasjoner - Kun root@pam bruker, ingen ACL - 8 gotchas dokumentert (ZFS degraded, stale backups, ingen verify, etc.)

### v1.7 - 2026-03-05 - ZFS pool mir2x4tb: DEGRADED → ONLINE — Seagate ST4000DM000 friskmeldt - SMART extended self-test: completed without error - `zpool clear mir2x4tb` utført, resilver startet automatisk - Gotcha PBS-01 oppdatert til RESOLVED, PBS-02 oppdatert (1 korrupt chunk gjenstår) - Brief: BRIEF-pbsm-st4000-resolved-2026-03-05.md - Notat: 16 UDMA CRC-feil — vurder SATA-kabelbytte ### v1.6 - 2026-03-04 - px3-arkivering ferdig: 20 gjester (5 VMs + 15 CTs) i namespace `px3`, alle OK - Archive datastore na: 45 gjester totalt (25 pmox2 + 20 px3), ~65 GB - Alle px3-backups har noter i format `{name} (px3 arkiv 2026-03-04)` ### v1.5 - 2026-03-04 - Ny datastore `archive` for langtidslagring av utfasede VMs/CTs - ZFS dataset: mir2x4tb/archive, mountpoint: /mnt/datastore/archive - Ingen prune/GC schedule (arkiv, ikke roterende backup) - Gotcha PBS-11: Nested datastores er IKKE tillatt — sett eksplisitt mountpoint - pmox2-arkivering ferdig: 25 OK i namespace `pmox2`, 4 feilet (LVM IO-error) - Namespaces brukes for aa organisere arkiv per kilde-node - Prosedyre: Se shared/CURRENT-vm-ct-archiving.md ### v1.4 - 2026-03-04 - API-token `root@pam!dashboard` dokumentert (UUID: fc48662c) - Gotcha PBS-10: `!` i API-token brytes av bash shell-escaping via SSH exec - Workaround: ticket-autentisering via POST `/api2/json/access/ticket` ### v1.3 - 2026-03-04 - KRITISK FIX: Boot disk 100% full — pve-hosts-export skrev til root istedenfor ZFS - Opprettet ZFS-dataset `mir2x4tb/pve-hosts-export` (mountpoint `/mnt/datastore/pve-hosts-export`) - Frigjort 19 GB fra root (27% → var 100%) - SSH-alias `TU-pbsm` lagt til for enklere tilgang - Orion SSH-nøkkel allerede på plass ### v1.2 - 2026-03-03 - PBS VM/CT datastore offsite: NFS → px5 → CT 212 → Duplicati → Google Drive - NFS-eksporter oppdatert med all_squash anonuid=34 for chunk-tilgang - ext3 NFS-eksport lagt til - Cron fix-pbs-chunk-perms.sh (daglig 06:00) for nye chunk-mapper - Offsite-seksjon lagt til backup-arkitektur - Job 19 (ext3) verifisert OK: 25.4 GB, 32 min

## Changelog ### v2.0 - 2026-03-13 - VM 100 (TrueNAS) lagt til daglig backup-jobb pa px5 — kun scsi0 (32G boot), ~7s inkrementell - Gotcha PBS-15: VM 100 backup dokumentert, fjernet fra PBS-04 stale-listen - Gotcha PBS-14: local-lvm fjernet fra cluster storage.cfg — 9 dager feilende backup for 7 gjester - Fix: local-lvm lagt tilbake med `nodes pmox5,px3`, CT 212 stale lock fjernet - Verify-status per datastore dokumentert i PBS-03 — 33-65% uverifisert pa aktive datastores - Manuell full verify startet pa alle datastores for a ta igjen etterslep - Backup-jobb VMID-liste oppdatert (39 gjester totalt) ### v1.9 - 2026-03-11 - Offsite kopi av archive-pmox2 og archive-px3 til Google Drive (engangs, ikke recurring) - NFS-eksporter lagt til for begge archive-datastores (ro, all_squash anonuid=34) - Duplicati CT 212 Job 21 (archive-pmox2) og Job 22 (archive-px3) opprettet - Google Drive: `duplicati/backup/pbs-archive-pmox2/` og `duplicati/backup/pbs-archive-px3/` - CT 212 fikk mp17 (archive-pmox2) og mp18 (archive-px3) bind mounts - px5: `zfsc` ZFS storage re-registrert i Proxmox (manglet fra config) - px5: stale NFS handle på `/mnt/pbs-pve-hosts` fikset - fix-pbs-chunk-perms.sh oppdatert til også å dekke archive-datastores ### v1.8 - 2026-03-05 - KRITISK FIX: LimitNOFILE 1024→65536 for proxmox-backup-proxy og proxmox-backup - WebGUI hang pga "Too many open files" — proxy brukte 1018/1024 FDs - GC for extbackup feilet av samme grunn — vil lykkes ved neste kjøring - Verify jobs opprettet for 5 datastores (ukentlig lørdag, staggered 03:00-06:00) - apt dist-upgrade: 52 pakker inkl. PBS 3.4.8-3, OpenSSL 3.0.18, kernel 6.8.12-19 - Ny kernel installert men venter reboot (kjører 6.8.12-15) - PBS 4.1 (Debian 13) vurdert — anbefaling: VENT, stabiliser først - Gotcha PBS-03 oppdatert til FIKSET, PBS-12 og PBS-13 lagt til - Arkiv-datastores splittet: `archive` (namespace-basert) → `archive-pmox2` + `archive-px3` (separate datastores) - Grunn: Proxmox GUI viser ikke namespaces — umulig å skille gjester uten kommentarer - Metode: PBS localhost remote + pull med --remote-ns, deretter verify - archive-pmox2: 25 gjester (4 VMs + 21 CTs), 38 GB, verify OK - archive-px3: 20 gjester (5 VMs + 15 CTs), 64 GB, verify OK - Gammel `archive` datastore beholdes inntil manuell bekreftelse av sletting

### PBS-14: local-lvm fjernet fra cluster storage — 9 dager feilende backup (FIKSET 2026-03-13) - **Symptom:** 7 VM/CT-er (101, 102, 106, 132, 164, 185, 188, 214) feilet backup i 9 dager - **Aarsak:** `local-lvm` ble fjernet fra `/etc/pve/storage.cfg` (cluster-delt via pmcxfs) da den ble slettet fra pmox2. Forsvant dermed ogsa fra pmox5/px3 som brukte den - **Impact:** Alle gjester med disk pa local-lvm mistet backup — ingen feilmelding uten a sjekke task-log - **Fix:** `local-lvm` lagt tilbake i storage.cfg med `nodes pmox5,px3` for a begrense til aktive noder - **Ekstra:** CT 212 (Duplicati) hadde stale `lock: mounted` som blokkerte backup — fjernet manuelt - **Lekse:** Fjernes en storage fra cluster config, pavirkes ALLE noder — bruk `nodes`-filter for node-spesifikk storage ### PBS-15: VM 100 (TrueNAS) lagt til daglig backup (2026-03-13) - **Tidligere:** VM 100 var IKKE inkludert i daglig backup-jobb til pbsm4TB — stale siden oppstart - **Fix:** Lagt til i px5 jobs.cfg, daglig backup-jobb - **Viktig:** Kun scsi0 (32 GB boot-disk) backupes — passthrough-disker har `backup=0` og ekskluderes - **Ytelse:** Inkrementell backup tar ~7 sekunder (liten boot-disk, PBS deduplisering) - **Full VMID-liste i backup-jobb:** 100,142,220,111,112,113,155,167,185,189,193,215,216,203,196,195,210,201,128,204,213,153,131,132,106,103,108,164,183,206,207,214,205,212,208,101,117,188,102 --- ## Vanlige Operasjoner ### SSH fra laravelserver-v11 ```bash ssh TU-pbsm "kommando" # eller: ssh -J heine@81.167.27.54:12322 root@192.168.86.137 "kommando" ``` ### Sjekk ZFS-helse ```bash ssh -J heine@81.167.27.54:12322 root@192.168.86.137 "zpool status mir2x4tb" ``` ### Sjekk datastore-innhold ```bash ssh -J heine@81.167.27.54:12322 root@192.168.86.137 "proxmox-backup-manager datastore list" ``` ### Sjekk siste GC-status ```bash ssh -J heine@81.167.27.54:12322 root@192.168.86.137 "cat /mnt/datastore/Mirror2x4tb/.gc-status" ``` ### Manuell GC ```bash ssh -J heine@81.167.27.54:12322 root@192.168.86.137 "proxmox-backup-manager garbage-collection start Mirror2x4tb" ``` ---

### PBS-11: Nested datastores er IKKE tillatt - **Symptom:** `nested datastores not allowed: 'Mirror2x4tb' already in "/mnt/datastore/mirror2x4tb"` - **Aarsak:** ZFS child-dataset arver mountpoint under parent (f.eks. `mir2x4tb/archive` → `/mnt/datastore/mirror2x4tb/archive`) - **PBS avviser** datastore-path som ligger inne i en eksisterende datastores path - **Fix:** Sett eksplisitt mountpoint UTENFOR parent: ```bash zfs create mir2x4tb/archive zfs set mountpoint=/mnt/datastore/archive mir2x4tb/archive ``` - **Viktig:** Gjelder for ALLE nye datasets som skal bli PBS datastores — sett alltid eksplisitt mountpoint ### PBS-12: LimitNOFILE for lav (1024) — FIKSET 2026-03-05 - **Symptom:** WebGUI hang, "Too many open files (os error 24)" i proxy-log - **Aarsak:** Default soft limit 1024 FDs — proxy brukte 1018/1024 - **Impact:** WebGUI uresponsiv, GC for extbackup feilet - **Fix:** Systemd override `LimitNOFILE=65536` for begge tjenester: - `/etc/systemd/system/proxmox-backup-proxy.service.d/override.conf` - `/etc/systemd/system/proxmox-backup.service.d/override.conf` - **NB:** Disse overrides kan overskrives ved PBS-oppgradering — verifiser etter `apt upgrade` ### PBS-13: PBS 4.1 tilgjengelig — oppgraderingsvurdering - **Tilgjengelig:** PBS 4.1 (nov 2025) basert på Debian 13 Trixie - **Nye features:** S3 backend (tech preview), verify parallellisme, RAIDZ expansion, NIC pinning - **Upgrade path:** Proxmox sier "seamless from 3.4" - **Vurdering (2026-03-05): VENT.** - Debian 12→13 er major OS-oppgradering — risiko for breaking changes - NIC-navn kan endre seg → mister SSH-tilgang - Ingen av nye features er kritiske for oss (mirror, ikke RAIDZ; ingen S3-behov) - Produksjons backup-server uten staging - **Plan:** Stabiliser først (reboot for ny kernel, la verify jobs kjøre), vurder igjen om 2-4 uker - **Før evt. oppgradering:** Host backup, dokumenter NIC-config, sikre fysisk tilgang ### PBS-09: Sekundær NIC (enp2s0f1) konfigurert men muligens ubrukt - enp2s0f1 har IP 192.168.86.136/24 (uten gateway) - enp9s0 (hovedkort) har 192.168.86.137/24 med gateway — dette er hoved-IP - pfSense DHCP har reservasjon for .137 (pbsm), men .136 er ukjent - Kan være for redundans eller et gammelt oppsett

### PBS-04: Stale backups - 10+ backup-IDer har ikke fått ny backup på >3 måneder - Mirror2x4tb: VM 142 (Plex), 188, 217, CT 114, 120, 154, 181, 200 - **2026-03-13:** VM 100 (TrueNAS) fjernet fra stale-listen — nå lagt til i daglig backup-jobb (se PBS-15) - Trolig stoppede VMs/CTs — men bør verifiseres ### PBS-05: Kontoret-backup over WAN? - extbackup og ext3 mottar backup fra px1/pmox15 (kontoret, 172.20.0.x) - PBS er på hjemme-LAN (192.168.86.x) - Backup må gå over SSH-tunnel — kan være tregt for store VMs - VM 112 (ReportMaker, 80 GB RAM) backup over WAN er spesielt relevant ### PBS-06: Kun 1 bruker, ingen ACL - Kun `root@pam` bruker — ingen separasjon mellom backup-kilder - Alle Proxmox-noder bruker trolig same fingerprint/token - For bedre sikkerhet: opprett per-node brukere med begrenset datastore-tilgang ### PBS-07: Ingen notifikasjoner konfigurert - Ingen `/etc/proxmox-backup/notifications.cfg` - GC-feil, backup-feil eller disk-problemer rapporteres IKKE - Anbefaling: Sett opp email-varsling til heine.salbu@gmail.com ### PBS-08: Boot disk nesten full (25 GB) — FIKSET 2026-03-04 - `/dev/mapper/pbs-root` er 25 GB — kan fylle seg fort - **2026-03-04:** Boot disk 100% full (25/25 GB) — `pve-hosts-export.sh` skrev til vanlig mappe på root - **Fix:** Opprettet ZFS-dataset `mir2x4tb/pve-hosts-export` med mountpoint `/mnt/datastore/pve-hosts-export` - Slettet 19 GB gammel data fra root → nå 6.2 GB brukt (27%) - NFS-eksport uendret (peker til samme path, nå ZFS-backed) - **ALDRI opprett vanlige mapper under `/mnt/datastore/`** — de havner på boot disk, IKKE ZFS - Bruk `zfs create mir2x4tb/<dataset>` + `zfs set mountpoint=...` for å få data på ZFS-poolen - NFS-eksporter må peke til ZFS mountpoint ### PBS-10: API-token med `!` fungerer IKKE via SSH exec - **Symptom:** `ssh TU-pbsm "curl -H 'Authorization: PBSAPIToken=root@pam!dashboard:UUID' ..."` feiler - **Aarsak:** Bash shell-escaping bryter `!` i `root@pam!dashboard` — PBS 3.4.8 via SSH exec - **Workaround:** Bruk ticket-autentisering: POST `/api2/json/access/ticket` med `username=root@pam&password=Ansjos123` → hent `ticket` fra JSON-respons → bruk som cookie `PBSAuthCookie={ticket}` - API-token `root@pam!dashboard` ble opprettet (UUID: `fc48662c-f7eb-4b7a-8131-a6144844f3fe`) men brukes ikke pga shell-problemet - Tokens med `!` fungerer fint via direkte HTTPS (ikke SSH) — problemet er KUN ssh exec + bash

## Tjenester | Tjeneste | Status | PID | Minne | |----------|--------|-----|-------| | proxmox-backup-proxy | Active (running) | — | LimitNOFILE=65536 | | proxmox-backup-api | Active (running) | — | LimitNOFILE=65536 | **Systemd overrides:** - `/etc/systemd/system/proxmox-backup-proxy.service.d/override.conf` — `LimitNOFILE=65536`, `PBS_SKIP_ATIME_CHECK=1` - `/etc/systemd/system/proxmox-backup.service.d/override.conf` — `LimitNOFILE=65536` **SSL-sertifikat:** Self-signed, pbsm.magitek.no, utløper 3024 (1000 år) --- ## Kjente Gotchas ### PBS-01: ZFS mirror — RESOLVED 2026-03-05 - **Tidligere:** Seagate ST4000DM000 FAULTED med 54 read + 84 checksum errors - **2026-03-05:** SMART extended self-test: PASSED uten feil. Burst av 21 UNC i ett LBA-område, ikke utbredt degradering - **Fix:** `zpool clear mir2x4tb` → begge disker ONLINE, resilver startet automatisk - **Status:** ONLINE, full redundans gjenopprettet - **Overvåk:** 16 UDMA CRC-feil på Seagate — vurder SATA-kabelbytte ved neste vedlikeholdsvindu - **Detaljer:** Se `BRIEF-pbsm-st4000-resolved-2026-03-05.md` ### PBS-02: 1 korrupt chunk-fil (fra tidligere DEGRADED) - 1 korrupt PBS chunk-fil gjenstår: `ea2c900f...` i mirror2x4tb - Vil overskrives av neste backup-syklus som berører denne chunken - Ikke kritisk — backup-data har redundans via prune/retention ### PBS-03: Ingen verify-jobs — FIKSET 2026-03-05 - **Tidligere:** Ingen verify-jobs konfigurert - **2026-03-05:** Opprettet ukentlige verify-jobs for alle aktive datastores: | Job ID | Datastore | Schedule | ignore-verified | outdated-after | |--------|-----------|----------|-----------------|----------------| | verify-mirror2x4tb | Mirror2x4tb | sat 03:00 | true | 30 dager | | verify-extbackup | extbackup | sat 04:00 | true | 30 dager | | verify-archive | archive | sat 05:00 | true | 30 dager | | verify-pve-hosts | pve-hosts | sat 05:30 | true | 30 dager | | verify-ext3 | ext3 | sat 06:00 | true | 30 dager | - **Verify-status per 2026-03-13:** | Datastore | Uverifisert | Totalt | Prosent uverifisert | |-----------|-------------|--------|---------------------| | Mirror2x4tb | 206 | 477 | 43% | | extbackup | 95 | 291 | 33% | | ext3 | 22 | 34 | 65% | | pve-hosts | 25 | 46 | 54% | | archive-pmox2 | 0 | 25 | 0% (fullstendig verifisert) | | archive-px3 | 0 | 20 | 0% (fullstendig verifisert) | | ext2 | 1 | 1 | 100% | - Verify-jobber kjorer kun lordag med ignore-verified=1, outdated-after=30 - **2026-03-13:** Manuell full verify startet pa alle datastores for a ta igjen etterslep

## Backup-arkitektur ``` ┌─────────────────────┐ ┌──────────────────────┐ ┌────────────────────┐ │ px5 (hjemme) │ │ px1 (kontoret) │ │ pmox15 (kontoret) │ │ 192.168.86.116 │ │ 172.20.0.34 │ │ 172.20.0.33 │ │ 10 VMs + 7 CTs │ │ 2 VMs kjørende │ │ VM 104 (NPM) │ │ Backup scheduler ├────►│ Backup scheduler ├────►│ Backup scheduler │ │ → Mirror2x4tb │ │ → extbackup │ │ → ext3 │ │ (LAN direkte) │ │ (via SSH tunnel?) │ │ (via SSH tunnel?) │ └─────────────────────┘ └──────────────────────┘ └────────────────────┘ │ ▼ ┌──────────────────────┐ │ PBS (pbsm) │ │ 192.168.86.137 │ │ ZFS mirror 2x4TB │ │ (ONLINE) │ └──────────────────────┘ ``` **Viktig:** Backup-jobbene er konfigurert på **Proxmox-nodene** (px5, px1, pmox15), IKKE på PBS. PBS har verify-jobs (ukentlig lørdag) men ingen sync-jobs eller remotes — den er primært et passivt mottaks-mål. ### Offsite til Google Drive (NYTT 2026-03-03) Alle PBS VM/CT-datastores kopieres nå til Google Drive via Duplicati CT 212: ``` PBS datastores (NFS ro) → px5 mount → CT 212 bind mount → Duplicati → Google Drive ``` | Duplicati Job | PBS Datastore | Kilde | Størrelse | Schedule (UTC) | |---------------|---------------|-------|-----------|----------------| | 17 | Mirror2x4tb | px5 VMs+CTs | ~227 GB | 01:00 | | 18 | Extbackup | px1 VMs+CTs | ~268 GB | 14:00 | | 19 | Ext3 | pmox15 NPM | ~25 GB | 20:00 | | 21 | Archive-pmox2 | pmox2 arkiv | ~38 GB | Ingen (engangs) | | 22 | Archive-px3 | px3 arkiv | ~64 GB | Ingen (engangs) | **Metode:** Kopierer PBS chunk-filer (.chunks/) + indekser (vm/, ct/) direkte — ingen eksport nødvendig. **Restore:** Kopier filer tilbake til PBS datastore-path, PBS kan lese dem direkte. **Google Drive path:** `duplicati/backup/pbs-{datastore-navn}/` (inkl. `pbs-archive-pmox2/` og `pbs-archive-px3/`) **Inkrementelle backups:** Kun endrede chunks sendes — PBS deduplisering betyr at endringer er små. **Detaljer:** Se `CURRENT-duplicati.md` og `shared/CURRENT-pve-host-backup.md` ---

### archive-px3 — Arkiv fra px3 (Dell R620 hjemme) | Egenskap | Verdi | |----------|-------| | **Path** | /mnt/datastore/archive-px3 | | **ZFS dataset** | mir2x4tb/archive-px3 | | **GC schedule** | INGEN | | **Prune** | INGEN | | **Formaal** | Langtidslagring av utfasede VMs/CTs fra px3 | **Innhold:** 5 VMs (118, 119, 130, 148, 219) + 15 CTs (104, 105, 110, 116, 123-127, 133-134, 190-192, 199) = 20 gjester **Storrelse:** ~64 GB **Arkivert:** 2026-03-04, migrert fra namespace til egen datastore 2026-03-05 **Offsite:** Google Drive `duplicati/backup/pbs-archive-px3/` — engangs-kopi (ikke recurring), Duplicati CT 212 Job 22 **NFS-eksport:** `/mnt/datastore/archive-px3` → px5 `/mnt/pbs-archive-px3` (ro, all_squash anonuid=34) → CT 212 mp18 ### archive — DEPRECATED (venter på sletting) | Egenskap | Verdi | |----------|-------| | **Path** | /mnt/datastore/archive | | **ZFS dataset** | mir2x4tb/archive | | **Status** | ERSTATTET av archive-pmox2 + archive-px3 (2026-03-05) | **Alt innhold er kopiert og verifisert til de nye datastorene. Kan slettes etter bekreftelse.** **Prosedyre:** Se `shared/CURRENT-vm-ct-archiving.md` --- ## NFS-eksporter | Export path | Klient | Tilgang | Formål | |-------------|--------|---------|--------| | `/mnt/datastore/mirror2x4tb` | 192.168.86.0/24 | ro, all_squash anonuid=34 | PBS datastore → Duplicati offsite | | `/mnt/datastore/extbackup` | 192.168.86.0/24 | ro, all_squash anonuid=34 | PBS datastore → Duplicati offsite | | `/mnt/datastore/ext3` | 192.168.86.0/24 | ro, all_squash anonuid=34 | PBS datastore → Duplicati offsite | | `/mnt/datastore/pve-hosts-export` | 192.168.86.0/24 | ro | PVE host backup → Duplicati | | `/mnt/datastore/mirror2x4tb/wp01-backup` | 192.168.86.0/24 | rw, no_root_squash | wp01 backup → Duplicati | | `/mnt/datastore/archive-pmox2` | 192.168.86.0/24 | ro, all_squash anonuid=34 | Arkiv-datastore → Duplicati offsite (engangs) | | `/mnt/datastore/archive-px3` | 192.168.86.0/24 | ro, all_squash anonuid=34 | Arkiv-datastore → Duplicati offsite (engangs) | **NB:** `all_squash,anonuid=34,anongid=34` mapper alle NFS-klienter til `backup`-bruker (UID 34) for å lese `.chunks/`-mapper. **Cron:** `/etc/cron.d/fix-pbs-chunk-perms` kjører daglig kl 06:00 — setter `o+rx` på nye chunk-mapper. **Script:** `/usr/local/bin/fix-pbs-chunk-perms.sh` dekker nå også archive-pmox2 og archive-px3 (i tillegg til mirror2x4tb, extbackup, ext3). ---

### ext2 — Backup fra pmox10 (Selma laptop) | Egenskap | Verdi | |----------|-------| | **Path** | /mnt/datastore/ext2 | | **Størrelse** | 542 MB chunks | | **GC schedule** | daily | | **Prune** | keep-last:3, daily:7, weekly:4, monthly:6, yearly:1 | | **Prune schedule** | daily | | **Backup-kilde** | pmox10 (172.20.0.32, Selma laptop, idle) | **Innhold: 1 CT (ID 100), 1 snapshot fra 2025-05-08 — svært stale** ### pve-hosts — PVE host OS backups (NYTT 2026-03-03) | Egenskap | Verdi | |----------|-------| | **Path** | /mnt/datastore/pve-hosts | | **ZFS dataset** | mir2x4tb/pve-hosts | | **GC schedule** | daily | | **Prune** | keep-last:3, daily:7, weekly:4, monthly:3 | | **Prune schedule** | daily | | **Backup-kilde** | Alle PVE-hoster (host OS, ikke VMs/CTs) | **Innhold: 1 host (pmox10), 1 snapshot — nytt system under utrulling** **NFS-eksport:** `/mnt/datastore/pve-hosts-export` → Duplicati CT 212 → Google Drive offsite **Detaljer:** Se `shared/CURRENT-pve-host-backup.md` ### wp01-backup — WordPress granulær backup (NYTT 2026-03-03) | Egenskap | Verdi | |----------|-------| | **Path** | /mnt/datastore/mirror2x4tb/wp01-backup | | **ZFS dataset** | mir2x4tb/wp01-backup | | **Type** | Rå filer (IKKE PBS datastore) — mysqldump + tar-arkiv | | **Størrelse** | ~8.5 GB per dag, 14 dagers retensjon (~120 GB maks) | | **Backup-kilde** | CT 106 (wp01) via bind mount | **NFS-eksport:** `/mnt/datastore/mirror2x4tb/wp01-backup` → px5 `/mnt/pbs-wp01-backup` (rw, no_root_squash) **Pipeline:** wp-backup.sh (cron 01:00 UTC) → NFS → Duplicati CT 212 (Job 15+16) → Google Drive **Detaljer:** Se `hjemme/services/CURRENT-wp01.md` ### archive-pmox2 — Arkiv fra pmox2 (Dell R620 kontoret) | Egenskap | Verdi | |----------|-------| | **Path** | /mnt/datastore/archive-pmox2 | | **ZFS dataset** | mir2x4tb/archive-pmox2 | | **GC schedule** | INGEN | | **Prune** | INGEN | | **Formaal** | Langtidslagring av utfasede VMs/CTs fra pmox2 | **Innhold:** 4 VMs (101, 102, 115, 218) + 21 CTs (107, 109, 122, 135-147, 168-170, 172, 176-177) = 25 gjester **Storrelse:** ~38 GB **Arkivert:** 2026-03-04, migrert fra namespace til egen datastore 2026-03-05 **Offsite:** Google Drive `duplicati/backup/pbs-archive-pmox2/` — engangs-kopi (ikke recurring), Duplicati CT 212 Job 21 **NFS-eksport:** `/mnt/datastore/archive-pmox2` → px5 `/mnt/pbs-archive-pmox2` (ro, all_squash anonuid=34) → CT 212 mp17

### Boot Disk | Disk | Modell | Størrelse | Rolle | |------|--------|-----------|-------| | sdb | SP032GISSD301SV0 (SSD) | 32 GB | Boot, LVM (pbs-root + swap) | --- ## Datastores (8 stk, inkl. deprecated archive) ### Mirror2x4tb — Backup fra px5 (hjemme) | Egenskap | Verdi | |----------|-------| | **Path** | /mnt/datastore/mirror2x4tb | | **Størrelse** | 332 GB chunks | | **GC schedule** | 22:00 daglig | | **Prune** | keep-last:2, daily:5, weekly:2, monthly:2, yearly:1 | | **Prune schedule** | 21:00 daglig | | **Backup-kilde** | px5 (192.168.86.116) — Proxmox VE | **Innhold: 20 VMs + 22 CTs = 42 backup-IDer, 455 snapshots** | Type | IDer | Aktive backups (siste 2026-03-01) | Stale (>3 mnd) | |------|------|----------------------------------|-----------------| | VM | 100, 108, 113, 131, 142, 153, 183, 185, 188, 201, 205, 206, 207, 208, 210, 213, 214, 215, 216, 217 | 16 | 4 (142, 188, 200, 217) | | CT | 101, 103, 106, 111, 112, 114, 120, 128, 132, 154, 155, 164, 167, 181, 189, 193, 195, 196, 200, 203, 204, 212 | 17 | 5 (114, 120, 154, 181, 200) | ### extbackup — Backup fra px1 (kontoret) | Egenskap | Verdi | |----------|-------| | **Path** | /mnt/datastore/extbackup | | **Størrelse** | 269 GB chunks | | **GC schedule** | daily | | **Prune** | keep-last:3, daily:7, weekly:4, monthly:4, yearly:1 | | **Prune schedule** | daily | | **Backup-kilde** | px1 (172.20.0.34) — Proxmox VE | **Innhold: 14 VMs + 4 CTs = 18 backup-IDer, 267 snapshots** | Type | IDer | Aktive (siste 2026-03-01) | Stale | |------|------|--------------------------|-------| | VM | 101, 110, 111, 112, 113, 114, 115, 116, 122, 123, 124, 125, 128, 208 | 11 | 3 (101, 122, 125) | | CT | 103, 120, 129, 130 | 2 | 2 (103) | **Merknad:** VM 112 (laravel-v11 / ReportMaker) backup er aktiv — dette er off-site backup av produksjonsserveren! ### ext3 — Backup fra pmox15 (kontoret, HP ProDesk) | Egenskap | Verdi | |----------|-------| | **Path** | /mnt/datastore/ext3 | | **Størrelse** | 24 GB chunks | | **GC schedule** | daily | | **Prune** | keep-last:3, daily:7, weekly:4, monthly:6, yearly:1 | | **Prune schedule** | daily | | **Backup-kilde** | pmox15 (172.20.0.33) | **Innhold: 1 VM (ID 104 = NPM), 36 snapshots, sist 2026-03-01**

# Infrastructure Sub-Expert: Proxmox Backup Server (Hjemme) **Version:** 2.0 **Date:** 2026-03-13 **Parent:** coordination/experts/operations/magitek-server-ops/CURRENT.md **Load:** coordination/experts/operations/magitek-server-ops/CURRENT-pbs-hjemme.md --- ## Identitet | Egenskap | Verdi | |----------|-------| | **Hostname** | pbsm.magitek.no | | **Type** | Fysisk maskin (dedikert backup-server) | | **LAN IP** | 192.168.86.137/24 (enp9s0, hovedkort-NIC) | | **Sekundær NIC** | enp2s0f1 — 192.168.86.136/24 (konfigurert men ubrukt?) | | **Gateway** | 192.168.86.1 | | **Lokasjon** | Hjemme (Skeisstøa 37c) | | **OS** | Debian 12 (Bookworm), kernel 6.8.12-15-pve (6.8.12-19 installert, venter reboot) | | **PBS versjon** | 3.4.8-3 (apt dist-upgrade utført 2026-03-05, alle pakker oppdatert) | | **CPU** | Intel Core i7-2600 @ 3.40GHz (4 cores, 8 threads) | | **RAM** | 16 GB (9 GB brukt, 6.6 GB available) | | **Boot disk** | 32 GB SSD (SP032GISSD301SV0), LVM: pbs-root 25 GB (37% brukt) + 3.5 GB swap | | **Data disker** | 2x 4 TB i ZFS mirror (ONLINE) | | **Uptime** | 152 dager (per 2026-03-05) | | **Subscription** | Ingen (no subscription key) | | **WebGUI** | https://pbsm.magitek.no / https://192.168.86.137:8007 | | **Rolle** | Sentralisert backup for alle Proxmox-noder (px5 hjemme + px1/pmox15 kontoret) | | **Status** | Aktiv, ZFS ONLINE | --- ## Tilgang | Metode | Detaljer | |--------|----------| | **SSH** | Via tunnel: `ssh -J heine@81.167.27.54:12322 root@192.168.86.137` | | **SSH (fra LAN)** | `ssh root@192.168.86.137` | | **WebGUI** | https://192.168.86.137:8007 (self-signed cert, pbsm.magitek.no) | | **Bruker** | `root@pam` (eneste bruker, email: heine.salbu@gmail.com) | | **API-token** | `root@pam!dashboard` — UUID: `fc48662c-f7eb-4b7a-8131-a6144844f3fe` (opprettet 2026-03-04, se gotcha PBS-10 om shell-escaping) | --- ## Storage ### ZFS Pool: mir2x4tb | Egenskap | Verdi | |----------|-------| | **Størrelse** | 3.62 TB | | **Brukt** | 624 GB (16%) | | **Ledig** | 3.02 TB | | **Type** | mirror-0 (2x 4TB) | | **Tilstand** | **ONLINE** (friskmeldt 2026-03-05, se BRIEF) | | **Scrub** | Sist 2026-02-08, reparerte 3.9 MB. Resilver startet 2026-03-05 | | **Frag** | 19% | **Disker:** | Disk | Modell | Størrelse | Status | Feil | |------|--------|-----------|--------|------| | sda | ST4000DM000-1F2168 (Seagate Desktop, 5900 rpm) | 4 TB | **ONLINE** | Cleared 2026-03-05 | | sdc | WDC WD40EZRX-00SPEB0 (WD Green, 5400 rpm) | 4 TB | **ONLINE** | Cleared 2026-03-05 | **SMART status:** Begge disker PASSED. Seagate SMART extended test 2026-03-05: OK, ingen feil. **Historikk:** Seagate var FAULTED pga burst av 21 UNC-feil i ett LBA-område. Friskmeldt etter self-test + clear. Se `BRIEF-pbsm-st4000-resolved-2026-03-05.md`. **ZFS Datasets (4 stk — alle datastores):** | Dataset | Brukt | Tilgj. | Mountpoint | |---------|-------|--------|------------| | mir2x4tb | 331 GB | 2.39 TB | /mnt/datastore/mirror2x4tb | | mir2x4tb/extbackup | 268 GB | 2.39 TB | /mnt/datastore/extbackup | | mir2x4tb/ext3 | 23.6 GB | 2.39 TB | /mnt/datastore/ext3 | | mir2x4tb/ext2 | 526 MB | 2.39 TB | /mnt/datastore/ext2 | | mir2x4tb/pve-hosts | 13.5 GB | 2.38 TB | /mnt/datastore/pve-hosts | | mir2x4tb/pve-hosts-export | ~19 GB | 2.35 TB | /mnt/datastore/pve-hosts-export | | mir2x4tb/wp01-backup | ~8.5 GB | 2.38 TB | /mnt/datastore/mirror2x4tb/wp01-backup | | mir2x4tb/archive | ny | 2.34 TB | /mnt/datastore/archive |

### v1.4 - 2026-02-28 - **NPM hjemme kartlagt:** VM 131, IP 192.168.86.16 (IKKE .14/.15 som antatt) - 153 proxy hosts identifisert (130 med SSL), kategorisert - Sub-ekspert opprettet: `CURRENT-npm-hjemme.md` → `EXPERT-infrastructure-npm-hjemme-v1.0-20260228.md` - CURRENT.md: fikset IP for NPM hjemme, oppdatert I-08 gotcha ### v1.3 - 2026-02-28 - **px5 kartlagt:** 47 VMs + 23 CTs = 70 totalt (17 running, 53 stopped) - CURRENT.md oppdatert med faktiske VMID/CTID-er (erstatter ?-verdier) - Sub-ekspert opprettet: `CURRENT-px5.md` → `EXPERT-infrastructure-px5-v1.0-20260228.md` - SSH-tunnel til hjemme bekreftet OK (host key lagt til known_hosts) ### v1.2 - 2026-02-28 - **FIKSET:** Fjernet feilaktig "tre tilkoblingskontekster" logikk - Claude Code kjører ALLTID på laravelserver-v11 — ingen kontekst-identifisering nødvendig - Brukerens maskin (ORION/HERMES) er irrelevant for agentens SSH-kommandoer - Forenklet SSH-seksjon til kun "fra serveren til kontoret" og "fra serveren til hjemme" - Gotcha I-07 oppdatert fra Windows SSH config til "aldri identifiser brukerkontekst" ### v1.1 - 2026-02-28 - **SSH arkitektur kartlagt:** 3 tilkoblingskontekster (server/laptop/arbeidsstasjon) - **Jump hosts identifisert:** VM 113 (172.20.0.95) kontoret, ub-sshtunnel (192.168.86.192) hjemme - **pfsense NAT kartlagt:** 62.97.227.206:12322 → VM113, 81.167.27.54:12322 → ub-sshtunnel - **HERMES SSH config importert:** Komplett Windows SSH config fra laptop - **px5 IP bekreftet:** 192.168.86.116 - **~30 VM/CT-er kartlagt med IP** fra SSH config (VM/CT ID-er fortsatt ukjente) - **Gotchas I-07, I-08 lagt til** (maskin-spesifikk SSH config, to NPM-instanser) ### v1.0 - 2026-02-28 - Initial version med kjent informasjon fra bruker - To lokasjoner dokumentert (kontoret + hjemme) - Grunnstruktur for VM/CT/tjenester/SSH/domener - Mange TODO-felter for kartlegging

### v1.9 - 2026-03-01 - **TrueNAS kartlagt:** VM 100 på px5, IP 192.168.86.120, TrueNAS 13.0-U2 (FreeBSD) - 3 ZFS pools: ustar 32.7 TB (78% full, RAID0 2x18TB), nvme 1TB (15%), boot 31.5 GB - 14 NFS-delinger + 20 SMB-delinger, alle NFS "Everyone" - SSH OK via tunnel (root, nøkkel akseptert) - QEMU guest agent mangler — bør installeres - Sub-ekspert opprettet: `CURRENT-truenas.md` ### v1.8 - 2026-03-01 - **pmox10 kartlagt:** 172.20.0.32, Ryzen 5 2500U, 18 GB RAM, idle (0 running) - **pmox15 kartlagt:** 172.20.0.33, i5-7500T, 7.7 GB RAM, hoster NPM (VM 104) + homelab (CT 107) - pmox15 har 2 inaktive PBS-entries (pbsm timeout, pbsm2 fingerprint feil) - CT 107 (homelab.magitek.no) identifisert: IP 172.20.0.89, kjører BookStack - Sub-eksperter opprettet: `CURRENT-pmox10.md`, `CURRENT-pmox15.md` ### v1.7 - 2026-03-01 - **px1 fullstendig kartlagt:** IP 172.20.0.34, PVE 8.4.14, 24 cores, 94 GB RAM - 25 VMs (2 running: VM 112 laravel-v11, VM 113 ssh-server) + 8 CTs (alle stopped) - 5 storage pools kartlagt (raid10 zfspool 1.7 TB, extbackup PBS 2.7 TB) - SSH OK fra laravelserver-v11 (nøkkel akseptert) - **2 ekstra Proxmox-noder funnet:** pmox10 (172.20.0.32, idle), pmox15 (172.20.0.33, hoster NPM) - NPM (NginxPM-ub2404) kjører på pmox15, IKKE px1 — korrigert i CURRENT.md - Sub-ekspert opprettet: `CURRENT-px1.md` ### v1.6 - 2026-03-01 - **pfSense kontoret kartlagt:** IP 172.20.0.1 (default gateway), WebGUI på port 8080 - SSH deaktivert (filtered), REST API ikke installert, xmlrpc aktiv - Port-scan: 22/80/443/8443 filtered, 8080 open (nginx frontend) - Neste steg: aktiver SSH via WebGUI for CLI-tilgang fra agenten ### v1.5 - 2026-02-28 - **NPM kontoret kartlagt:** hostname nginxpm-ub2404, Ubuntu 24.04, Docker compose i /home/heine/ - SQLite DB (ikke MariaDB), Packeton-container pa port 8088 - Sub-ekspert opprettet: `CURRENT-npm-kontoret.md` → `EXPERT-infrastructure-npm-kontoret-v1.0-20260228.md` - packages.magitek.no proxy host (ID 16) + SSL-sertifikat (ID 17, Let's Encrypt, utloper 2026-05-29)

### v2.2 - 2026-03-01 - **PBS hjemme (pbsm) fullstendig kartlagt via SSH-tunnel** - Fysisk maskin (i7-2600, 16 GB RAM), PBS 3.4.8, Debian 12 - ZFS mirror 2x4TB — Seagate ST4000DM000 var FAULTED, friskmeldt 2026-03-05 (SMART OK, zpool clear) - 4 datastores: Mirror2x4tb (px5, 332 GB), extbackup (px1, 269 GB), ext3 (pmox15, 24 GB), ext2 (pmox10, 542 MB) - 62 backup-IDer, 759 snapshots totalt - Prune + GC daglig på alle datastores, men **ingen verify-jobs** - Ingen sync-jobs, remotes, eller notifikasjoner - Kun root@pam bruker, ingen ACL - VM 112 (ReportMaker) har off-site backup via extbackup - Sub-ekspert opprettet: `CURRENT-pbs-hjemme.md` ### v2.1 - 2026-03-01 - **pfSense hjemme fullstendig kartlagt via dobbel-jump SSH** - Fysisk Netgate appliance (i7-3770K, 16GB, 211GB ZFS), pfSense Plus 23.05.1 - 11 interfaces + 3 VLANs (Corosync 10.10.10.0/24, WiFi 192.168.20.0/24, Privat 192.168.30.0/24) - 10 port forwards: HTTP/HTTPS→NPM, :12322→SSH, :32400→Plex, :8007→PBS, etc. - 99 DHCP static mappings dokumentert (komplett IP-plan for hjemme) - FW: WAN deny-default, alle LAN/VLAN allow-all - **Ingen aktiv VPN** — OpenVPN-regel finnes men ingen tjeneste kjører - SSH via dobbel-jump: `-J heine@81.167.27.54:12322,root@192.168.86.116 root@192.168.86.1` - Direkte tunnel timeout'er — GOTCHA dokumentert - 358+ dager uptime — vedlikehold bør planlegges - Sub-ekspert opprettet: `CURRENT-pfsense-hjemme.md` ### v2.0 - 2026-03-01 - **pfSense kontoret fullstendig kartlagt via SSH** - Fysisk Netgate appliance (Q9400, 4GB, 27GB disk), pfSense 2.7.2-RELEASE - 10 interfaces (WAN em0 + 7 LAN em1-em7 bridget til bridge0), kun em3 link up - 3 port forwards: :12322→SSH, :80→NPM, :443→NPM - 26 DHCP static mappings dokumentert (komplett IP-plan .1-.110) - FW: WAN deny-default, LAN allow-all, NAT reflection aktiv - **Ingen VPN** mellom lokasjoner — bekreftet (OpenVPN/IPsec tom) - SSH aktivert og nøkkel-auth satt opp fra laravelserver-v11 - Sub-ekspert opprettet: `CURRENT-pfsense.md` - CURRENT.md: pfSense-seksjon oppdatert, SSH-status lagt til, I-04 korrigert

### v2.6 - 2026-03-01 - **CT 134 (infra-tools) opprettet** — erstatter VM 107 for SNMP-verktøy - Ubuntu 22.04, 256 MB RAM, 1 core, 2 GB disk, IP 172.20.0.134 - SNMP-verktøy installert (snmpwalk/snmpget/snmpset) - Testet mot Bizhub C220 (172.20.0.55) — OK - RAM-bruk: 35 MB (CT) vs 460 MB (VM 107) — 13x mer effektiv - VM 107 stoppet (beholdt som reserve) - Sub-eksperter opprettet: `CURRENT-infra-tools.md`, `CURRENT-legacy-tls-proxy.md` - SSH-nøkkel fra laravelserver-v11 konfigurert - Kartlagt enheter: TP-Link TL-SG105E (172.20.0.4, kun web-GUI), Bizhub C220 (172.20.0.55, SNMP+OpenAPI+web) ### v2.5 - 2026-03-01 - **NPM reverse proxy for ZyXEL switch** - `https://zyxel1920.nativja.no` → NPM → stunnel → ZyXEL (LE-cert, ingen Chrome-advarsel) - pfSense Unbound host override: zyxel1920.nativja.no → 172.20.0.42 (lokal DNS) - NPM proxy host ID 17, SSL cert ID 18 (LE, utløper 2026-05-30) - Access list "LAN_Kontor_hjemme_Scandic" (ID 5) for IP-begrensning - `proxy_ssl_verify off;` i advanced config (stunnel bruker self-signed cert) - DNS wildcard *.nativja.no hos webhuset.no → 62.97.227.206 (kontorets public IP) - CURRENT.md: nettverkstjenester, NPM-seksjon, DNS-seksjon oppdatert ### v2.4 - 2026-03-01 - **Legacy TLS proxy container opprettet på px1** - CT 133 "legacy-tls-proxy", Ubuntu 20.04, 256 MB RAM, 2 GB disk - IP 172.20.0.5 (DHCP static mapping i pfSense, MAC BC:24:11:3F:EF:ED) - stunnel4: `https://172.20.0.5:8443` → `https://172.20.0.3:443` (SSLv3/TLS1.0) - Løser Chrome ERR_SSL_VERSION_OR_CIPHER_MISMATCH for ZyXEL XS1920-12 - OpenSSL 1.1.1f med SECLEVEL=0 for å tillate svake ciphers - Autostart aktivert, kan gjenbrukes for andre legacy-enheter - Root-passord: satt (se CURRENT-credentials.md) - CURRENT.md og CURRENT-px1.md oppdatert ### v2.3 - 2026-03-01 - **ZyXEL XS1920-12 managed switch kartlagt via SSH** - IP 172.20.0.3, MAC a0:e4:cb:7f:93:ab, firmware ZyNOS V4.30 (2016) - 12-port (8x RJ45 + 4x SFP+), 8/12 aktive: 1x 10G, 5x 1G, 2x 100M - Flat nettverk: kun VLAN 1, ingen LACP/trunking, nesten factory default - SSH med legacy krypto (standardpassord, pexpect for automatisering) - Sub-ekspert opprettet: `CURRENT-zyxel-xs1920.md` - CURRENT.md: lagt til i sub-experts og nettverkstjenester

### v2.9 - 2026-03-01 - **px3 fullstendig kartlagt via SSH (dobbel-hop via px5)** - Dell PowerEdge R620 (tvillingserver til pmox2), 2x Xeon E5-2697 v2 (48 threads), **251 GB RAM** - IP 192.168.86.124 (LAN), 10.10.10.3 (Corosync) - **10GbE TP-Link NIC** som LAN bridge (vmbr0) — kraftigste node i clusteret - PVE 8.4.1, cluster "magitek" node 5 (1 vote) - 5 VMs + 15 CTs — **alle stoppet** (lab/TurnKey/SuiteCRM-testing) - 233 GB SSD boot + 394 GB ZFS "zfsa" (27%, healthy) + 500 GB Ceph OSD (inaktiv) - 2 NUMA-noder (bedre for store VMs enn pmox2) - Alle 3 cluster-noder na fullstendig kartlagt - Sub-ekspert opprettet: `CURRENT-px3.md` ### v2.8 - 2026-03-01 - **pmox2 fullstendig kartlagt via SSH (dobbel-hop via px5)** - Dell PowerEdge R620 (1U rack), 2x Xeon E5-2697 v2 (48 threads), 180 GB RAM - IP 192.168.86.123 (LAN), 10.10.10.2 (Corosync) - PVE 8.4.1 (bor oppgraderes), cluster "magitek" node 4 (1 vote) - 5 VMs + 19 CTs — **alle stoppet** (lab/TurnKey-appliances) - 168 GB SSD boot + 394 GB ZFS "zfsa" (healthy) + 500 GB Ceph OSD (inaktiv) - 4x 1GbE onboard + 2x 10GbE Chelsio optisk (ikke i bruk) - iDRAC-port tilgjengelig men ned - **Cluster-info oppdatert:** 3 aktive noder (pmox5, pmox2, px3) — bekreftet via `pvecm nodes` - Tidligere antatte noder (pmox21v, pmox22v, laptoper) IKKE i corosync.conf - Sub-ekspert opprettet: `CURRENT-pmox2.md` ### v2.7 - 2026-03-01 - **FreshTomato R7000 kartlagt via SSH** - Netgear R7000 (Nighthawk AC1900), FreshTomato 2024.3, ARM dual-core, 256 MB RAM - WAN: 172.20.0.2 (DHCP fra pfSense), LAN: 192.168.1.1/24 (eget subnett, dobbel-NAT) - WiFi: 2.4 GHz (FreshTomato24, ch6) + 5 GHz (FreshTomato50, ch36) - SSH OK (dropbear, root/admin), rate-limited (4 connections/60s) - Telnet aktiv på port 23 — anbefalt å deaktivere - Ingen aktive port forwards, ingen DHCP static mappings, QoS av - 1 tilkoblet klient (OnePlus-9 på 192.168.1.21) - Sub-ekspert opprettet: `CURRENT-freshtomato.md` - CURRENT.md: lagt til i enheter, nettverkstjenester, SSH-status

### v3.2 - 2026-03-01 - **Ceph fullstendig fjernet fra alle 3 cluster-noder** (px5, pmox2, px3) - Ceph var satt opp mars-april 2024 men aldri tatt i bruk — ingen VM/CT brukte Ceph-storage - Alle Ceph-tjenester stoppet, deaktivert og maskert (ceph-mon, ceph-mgr, ceph-mds, ceph-osd, ceph-crash) - Ceph-pakker avinstallert (dpkg purge) på px5 og px3, pmox2 venter på apt upgrade - Ceph config fjernet: /etc/ceph/ceph.conf, /etc/pve/ceph/, Ceph keyring - **500 GB frigjort på pmox2:** Ceph OSD LVM (osd.4) fjernet, partisjon sdb1 slettet, GPT reparert fra backup - **500 GB frigjort på px3:** Ceph OSD LVM (osd.5) fjernet, partisjon sdb1 slettet via fdisk - ZFS pool "zfsa" verifisert ONLINE og feilfri på begge noder etter opprydding - Totalt **1 TB disk frigjort** (2x 500 GB Kingston SA400S37960G) - iDRAC thermal tuning: ThermalProfile → Minimum Power, ThirdPartyPCIFanResponse → Disabled på begge R620 - px3 Fan2B FAILED — iDRAC tvinger 40% PWM, fysisk viftebytte nødvendig - pmox2 vifter optimale: 12% PWM / ~3200 RPM - ipmitool installert på px3 (manglet fra før) ### v3.1 - 2026-03-01 - **ZyXEL XS1920-12 hjemme HTTPS-tilgang komplett** - CT 188 "legacy-tls-proxy-hjemme" opprettet på px5 (Ubuntu 20.04, 256 MB, IP 192.168.86.188) - stunnel4: to-stegs proxy (frontend modern TLS + backend legacy TLS med SECLEVEL=0) - NPM proxy host 114 oppdatert: `https://zyxel1920.magitek.no` → stunnel → ZyXEL - LE-sertifikat ID 321 (utl. 2026-05-30), Force SSL, proxy_ssl_verify off - pfSense hjemme DNS host override: zyxel1920.magitek.no → 192.168.86.16 (NPM) - Full kjede verifisert: TLSv1.3, HTTP/2, LE-cert OK - **GOTCHA:** Ubuntu 22.04 (OpenSSL 3.0) fungerer IKKE — MÅ bruke 20.04 (OpenSSL 1.1.1f) - Sub-ekspert opprettet: `CURRENT-legacy-tls-proxy-hjemme.md` - CURRENT.md: tjenester, domener, CT-liste oppdatert ### v3.0 - 2026-03-01 - **ZyXEL XS1920-12 hjemme fullstendig kartlagt via SSH (pexpect via px5)** - IP 192.168.86.5, MAC bc:cf:4f:64:94:4b, firmware V4.30(AASR.2) 2018 — **nyere enn kontoret** - 6/12 porter aktive: **3x 10G** (1 RJ45 + 2 SFP+), 2x 1G — mer 10G enn kontoret - Mer konfigurert enn kontoret: VLAN trunking på 3 porter, navngitte porter - Port 1 "TRUNK UPL" (10G, VLAN trunk) — uplink - Port 2 "VLAN10" (forbidden i VLAN 1, forced 1G, QoS prio 7) — Corosync? - Port 11 (10G SFP+) tyngst nåværende rate (62 KB/s) - Port 12 (10G SFP+) har **266K feil** — bør sjekkes fysisk (SFP/kabel) - 3 managed switcher på hjemme-LAN: ZyXEL + Netgear MS510TX + Dell 5548 PowerConnect - 359 dager switch-uptime, men alle porter har kort uptime (servere rebootet) - pexpect installert på px5 for SSH-automatisering - Sub-ekspert opprettet: `CURRENT-zyxel-xs1920-hjemme.md` - CURRENT.md: nettverksutstyr-seksjon lagt til, SSH-status oppdatert

### v3.4 - 2026-03-02 - **Netgear MS510TX hjemme fullstendig kartlagt** - IP 192.168.86.7, MAC 8c:3b:ad:70:13:10, firmware 6.7.0.50 (Sep 2020), serial 6H72157S00041 - 8-port multi-gig (4x1G + 2x2.5G + 2x5G) + 1x 10G RJ45 + 1x 10G SFP+ = 10 porter - 2/10 porter aktive: gi1 (WiFi router, 100M), te9 (trunk uplink, 10G) - VLAN 1 (default) + VLAN 10 (Corosync), te9 er trunk (begge VLAN tagged) - RSTP root bridge (priority 32768), 44°C, fans OK - 13 MAC-adresser i tabell, alle via te9 (uplink) - **Ingen SSH/Telnet** — kun WebGUI + Remote Diagnostics (telnet port 60000, krever aktivering) - **Oppdaget Netgear XML API format** for konfigurasjonsendringer via wcd POST - API format: `<?xml version="1.0"?><DeviceConfiguration><version>1.0</version><API action="set">...</API></DeviceConfiguration>` - Content-Type: `data:text/xml;charset=utf-8` (ikke standard text/xml!) - Python urllib fungerer (requests URL-encoder curly braces) - home.js er gzip-komprimert inline (549 KB dekomprimert) - Klokke viser 2020 — ingen NTP/SNTP konfigurert - gi3 har PVID 20 men er i VLAN 10 — mulig feilkonfigurasjon - Sub-ekspert opprettet: `CURRENT-netgear-ms510tx-hjemme.md` - CURRENT.md: nettverksutstyr, sub-experts oppdatert ### v3.3 - 2026-03-01 - **Dell PowerConnect 5548 hjemme fullstendig kartlagt** - IP 192.168.86.8, MAC f8:b1:56:42:7a:30, firmware 4.1.0.24 (2020), service tag H4D00Z1 - 48-port 1GbE + 2x 10G SFP+ managed switch i vaskerommet - 9/50 porter aktive: 8x 1GbE + 1x 10G SFP+ (te1/0/1 trunk) - VLAN 1 (default) + VLAN 10 (corosync) — partallsporter 2,4,6,8,10,12 for Corosync - te1/0/1 er trunk til ZyXEL XS1920 (bærer VLAN 1 untagged + VLAN 10 tagged) - RSTP aktiv, root bridge er enhet på gi1/0/23 (MAC 9c:3d:cf:f7:7b:0d) - **ALARM: Viftefeil (FAILURE)** + 66°C temperatur — sjekk fysisk! - **SSH aktivert** (RSA + DSA nøkler generert, admin/admin) - Telnet også aktiv (bør deaktiveres) - Klokke feil (viser 2007) — trenger NTP-konfigurasjon - 27 MAC-adresser lært, inkl. 5x bc:24:11:* (Proxmox VM-er via uplink) - Kartlagt via Telnet/SSH fra px5 (pexpect) - Sub-ekspert opprettet: `CURRENT-dell5548-hjemme.md` - CURRENT.md: nettverksutstyr, SSH-status, sub-experts oppdatert

### v3.7 - 2026-03-03 - **FreshTomato R7000 fullstendig sikret og omgjort til AP-modus** - AP/bridge-modus: dobbel-NAT eliminert, alle interfaces i br0 på 172.20.0.0/24 - WiFi sikret: 4 SSID-er (Nativja24, Nativja50, Magitek24, Magitek50) med WPA2-Personal+AES - Telnet deaktivert, passord endret, hostname satt - HTTPS aktivert (self-signed lokalt + LE-cert via NPM) - NPM proxy host #18: `freshtomato.nativja.no` → http://172.20.0.2:80 (LE cert #20, Force SSL, HTTP/2) - pfSense DNS overrides: freshtomato.nativja.no + freshtomato.magitek.no → 172.20.0.42 - TomatoAnon-advarsel fjernet - CURRENT.md: FreshTomato-oppføringer oppdatert (tjenester, DNS, NPM, sub-expert-beskrivelse) ### v3.6 - 2026-03-02 - **WireGuard VPN sub-ekspert opprettet** basert på live data fra begge pfSense-bokser - Komplett dokumentasjon: begge sider config, boot-scripts, peers, nøkler, FW-regler - Road-warrior klient-konfig og DNS-oppsett dokumentert - 5 gotchas (oppgradering, SSH vs WG, dynamisk WAN, DNS, AllowedIPs mismatch) - Vanlige operasjoner: status-sjekk, restart, legge til ny peer - Sub-ekspert opprettet: `CURRENT-wireguard.md` ### v3.5 - 2026-03-02 - **WireGuard VPN satt opp mellom begge lokasjoner** - Site-to-site tunnel: pfSense hjemme (10.0.0.1) ↔ pfSense kontoret (10.0.0.3) - Road-warrior peer: Heine (10.0.0.2) via 81.167.27.54:51820 - pfSense hjemme: WireGuard innebygd (Plus 23.05.1), tun_wg0 (opt10), kernel if_wg.ko - pfSense kontoret: WireGuard-pakke installert (CE 2.7.2), tun_wg0 (opt8) - FW-regler: WAN UDP 51820 pass + WG interface allow all (begge bokser) - Statiske ruter: 172.20.0.0/24→10.0.0.3 (hjemme), 192.168.86.0/24→10.0.0.1 (kontoret) - Boot-persistens: /usr/local/etc/rc.d/wireguard_setup.sh + loader.conf if_wg_load - Cross-LAN ping verifisert: ~14.8ms latency (ORION, px5, laravelserver alle OK) - **HERMES statisk DHCP**: 38:d5:7a:18:02:1f → 192.168.86.148 (var dynamisk) - **ORION kartlagt**: 172.20.0.22 (MAC a8:a1:59:87:56:fa, statisk DHCP) - **NPM proxy**: vpn.magitek.no → pfSense WebGUI (ID 203, LE-cert ID 322) - **DNS**: vpn.magitek.no → 192.168.86.16 (Unbound host override hjemme) - Klient-konfig: /home/heine/wireguard-keys/wg-heine-roadwarrior.conf - Nøkler: /home/heine/wireguard-keys/ (6 filer: 3 keypairs) - Sikkerhetskopier: /home/heine/backups/pfsense/ (begge bokser) - CURRENT.md: topologi, VPN-seksjon, domener, gotchas oppdatert

### I-09: DNS-strategi — Anbefaler Cloudflare Free (migrering fra Webhuset) - **Dagens situasjon:** Domenestyring er spredt over Webhuset, One.com, PRO ISP, Domeneshop - **Problem:** Webhuset og andre har darlig API-støtte, ingen Terraform-integrasjon, tungvinte brukergrensesnitt - **Anbefaling:** Migrer alle domener til **Cloudflare Free** som nameserver-leverandor - Gratis (DNS-hosting er gratis pa Cloudflare) - API-tilgang for automatisering og Terraform - Moderne brukergrensesnitt, rask TTL-propagasjon - DNSSEC, Analytics, DDoS-beskyttelse inkludert - **Fremgangsmate:** Legg til domene i Cloudflare → importer DNS-records → endre nameservere hos registrar (Webhuset etc.) - **Registrarer beholdes:** Kun nameserver-styring flyttes til Cloudflare (domener forblir registrert hos Webhuset/One.com etc.) - **Prioritet:** Start med interne/dev-domener (nativja.no), deretter produksjonsdomener - Se `CURRENT-webhuset-dns.md` for komplett domeneliste og migrasjonsplan --- ## TODO: Kartlegging som trengs Denne ekspert-filen er v1.0 med mye som må fylles inn. Prioritert rekkefølge: 1. **SSH-tilgang:** Test SSH til px1 og px5, noter brukere/passord som fungerer 2. **VM/CT-liste:** Kjør `qm list` og `pct list` på begge Proxmox-hoster 3. **IP-adresser:** Kartlegg alle VM/CT IP-adresser 4. **NPM proxy hosts:** Liste alle proxy-oppføringer 5. ~~**pfsense:** Finn IP, bekreft tilgang, noter firewall-regler~~ DONE (v2.0) 6. **DNS:** Kartlegg alle domener og hvor de peker 7. ~~**VPN/WAN:** Bekreft hvordan de to lokasjonene er forbundet~~ DONE — Ingen VPN, kun SSH-tunneler 8. ~~**Cluster:** Kartlegg alle Proxmox cluster-noder (hjemme)~~ DONE (v2.8+v2.9) — 3 noder: px5, pmox2, px3 9. **Credentials:** Fyll inn alle passord i Credentials Vault-seksjonen --- ## Changelog ### v3.8 - 2026-03-04 - **Pi-hole DNS + Unbound opprettet pa kontoret** (CT 108 pa pmox15) - CT 108 "pihole-kontoret", Ubuntu 22.04, 512 MB RAM, 4 GB disk, IP 172.20.0.6 - Pi-hole v6.4 med Unbound som lokal rekursiv DNS-resolver (ingen upstream 3rd-party DNS) - DNS over lokal root: 172.20.0.6:5335 (Unbound) → root servers - Annonseblokkering aktiv (standard blocklists), WebGUI: http://172.20.0.6:80 - Klienter peker pa 172.20.0.6:53 for DNS-oppslag - **DNS-strategi diskutert:** Anbefaler migrering fra Webhuset til Cloudflare Free for domenestyring - Cloudflare Free: gratis, API-tilgang, Terraform-support, mye bedre brukeropplevelse enn Webhuset - Plan: flytt domenene ett etter ett (nameserver-endring hos Webhuset → Cloudflare) - Se gotcha I-09 for detaljer om Cloudflare-anbefalingen - Sub-ekspert opprettet: `CURRENT-pihole-kontoret.md` - CURRENT.md: nettverkstjenester, sub-experts, DNS-seksjon oppdatert

### I-03: Proxmox cluster — 3 noder aktive (alle kartlagt) - Cluster "magitek" har 3 noder: pmox5 (px5), pmox2, px3 - pmox2 og px3 har 1 vote hver, px5 har 3 votes (quorum alene) - pmox2: Dell R620, 180 GB RAM, 1GbE LAN, alt stoppet — ren lab - px3: Dell R620, 251 GB RAM, **10GbE LAN**, alt stoppet — ren lab - Ceph var installert men aldri brukt — **fullstendig fjernet 2026-03-01** (1 TB frigjort, se v3.2) - Alle 3 noder rebootet 2026-03-01 (~5 timer uptime) ### I-04: Container vs VM - LXC containere (pct) deler kernel med host — lettere men begrenset - KVM VMs (qm) har full isolasjon — tyngre men fleksibelt - pfSense på begge lokasjoner er **fysiske maskiner** med pfSense installert, IKKE VM-er eller Netgate-appliances - Kontoret: gjenbrukt enterprise-brannmur (ukjent merke). Hjemme: gammel consumer-PC - Begge gratis: CE (open source) på kontoret, Plus (gratis hjemmebruk-ISO) hjemme ### I-05: Public keys mangler (server) - `/home/heine/.ssh/` har private keys men ingen `.pub` filer - Generer: `ssh-keygen -y -f ~/.ssh/id_ed25519 > ~/.ssh/id_ed25519.pub` - Distribuer til alle servere: `ssh-copy-id -i ~/.ssh/id_ed25519.pub user@host` ### I-06: SSH config mangler (server) - Ingen `/home/heine/.ssh/config` på serveren — lag en for enklere tilkobling - Laptopen (HERMES) og arbeidsstasjonen (ORION) HAR config (`C:\Users\heine\.ssh\config`) - Server-config bør opprettes med ProxyJump-entries til hjemme-nettverket ### I-07: Claude Code kjører ALLTID fra serveren — IKKE identifiser "brukerkontekst" - Claude Code kjører på laravelserver-v11 (172.20.0.94, kontoret) — alltid - Brukeren kobler til via SSH fra ORION (oftest) eller HERMES (noen ganger) - Brukerens maskin er irrelevant for SSH-kommandoer agenten kjører - ALDRI kast bort tokens på å "identifisere kontekst" med hostname/ip-kommandoer - Til kontoret: direkte. Til hjemme: `-J heine@81.167.27.54:12322` ### I-08: To NPM-instanser - Kontoret: 172.20.0.42 (NPM for reportmaker.magitek.no etc.) - Hjemme: **192.168.86.16** (VM 131, 153 proxy hosts, se `CURRENT-npm-hjemme.md`) - Forveksle IKKE — de håndterer ulike domener og SSL-sertifikater - Gammel NPM hjemme (VM 152, nginx-pm-docker) er STOPPET — ikke bruk den

## Proxmox-kommandoer (referanse) ```bash # Liste VM-er qm list # Liste containere (LXC) pct list # VM-status qm status <vmid> # Container-status pct status <ctid> # Start/stopp VM qm start <vmid> qm stop <vmid> qm shutdown <vmid> # Start/stopp container pct start <ctid> pct stop <ctid> pct shutdown <ctid> # Gå inn i container pct enter <ctid> # Cluster-status pvecm status # Storage pvesm status # Node-info pvesh get /nodes/<node>/status ``` --- ## Vanlige operasjoner ### Sjekk om server er tilgjengelig ```bash # Ping test ping -c 3 172.20.0.42 # NPM ping -c 3 172.20.0.94 # Denne serveren (loopback-test) # SSH test ssh -o ConnectTimeout=5 root@px1 "hostname; uptime" ssh -o ConnectTimeout=5 root@px5.magitek.no "hostname; uptime" ``` ### Kartlegg infrastruktur (discovery) ```bash # Scan lokalt nettverk (kontoret) nmap -sP 172.20.0.0/24 2>/dev/null || arp -a # Fra px1: liste alle VMs/CTs ssh root@px1 "qm list; echo '---'; pct list" # Fra px5: liste alle VMs/CTs ssh root@px5.magitek.no "qm list; echo '---'; pct list" ``` ### NPM-operasjoner ```bash # Sjekk NPM proxy hosts (API) ssh root@172.20.0.42 "docker exec -it npm-app cat /data/nginx/proxy_host/*.conf 2>/dev/null || ls /data/nginx/proxy_host/" ``` --- ## Gotchas ### I-01: To separate LAN — forbundet via WireGuard + SSH-tunneler - 172.20.0.x (kontoret) og 192.168.86.x (hjemme) er forbundet via **WireGuard site-to-site VPN** (10.0.0.0/24) - pfSense-boksene ruter trafikk mellom nettverkene automatisk via WG-tunnelen - SSH mellom lokasjoner (fra denne serveren) krever fortsatt **ProxyJump** (serveren bruker ikke WG-tunnelen direkte): - Kontoret → hjemme: `-J heine@81.167.27.54:12322` - Hjemme → kontoret: `-J heine@62.97.227.206:12322` - Port 22 er IKKE åpen eksternt — kun port 12322 (NATet til ssh-server) ### I-02: NPM er IKKE på denne serveren - NPM (Nginx Proxy Manager) kjører på 172.20.0.42, IKKE lokalt - Endringer i proxy/SSL → SSH til NPM-serveren eller bruk NPM WebGUI

## WireGuard VPN ### Topologi ``` Mobil/laptop (ute) ──UDP 51820──► pfSense Hjemme (10.0.0.1) │ ├── 192.168.86.0/24 (hjemme-LAN) │ │ site-to-site tunnel ▼ pfSense Kontoret (10.0.0.3) │ └── 172.20.0.0/24 (kontor-LAN) ``` ### Tunnelkonfigurasjon | Parameter | pfSense Hjemme | pfSense Kontoret | |-----------|----------------|------------------| | **Interface** | tun_wg0 (opt10) | tun_wg0 (opt8) | | **Tunnel IP** | 10.0.0.1/24 | 10.0.0.3/24 | | **Listen port** | UDP 51820 | UDP 51820 | | **Public key** | BdvWS4ogB+cGLSW2xOgrqIQWZ/By356G8VL7iKj+7mI= | JeKZfX2CuF7BCrbxH7J3Hk7GqbEPUxQsHKFo65TeAg8= | | **Endpoint** | 81.167.27.54:51820 | 62.97.227.206:51820 | | **Routes** | 172.20.0.0/24 → 10.0.0.3 | 192.168.86.0/24 → 10.0.0.1 | | **FW rules** | WAN: UDP 51820 pass, WG: allow all | WAN: UDP 51820 pass, WG: allow all | | **Boot** | /usr/local/etc/rc.d/wireguard_setup.sh | /usr/local/etc/rc.d/wireguard_setup.sh | | **Private key** | /cf/conf/wireguard/server.key | /cf/conf/wireguard/server.key | ### Peers | Peer | WG IP | Public Key | Rolle | |------|-------|------------|-------| | pfSense Hjemme | 10.0.0.1 | BdvWS4og...7mI= | Server + site-to-site | | Heine (road-warrior) | 10.0.0.2 | KGJI1aYd...VDk0= | Mobil/laptop klient | | pfSense Kontoret | 10.0.0.3 | JeKZfX2C...eAg8= | Site-to-site | ### Klient-konfigurasjon Fil: `/home/heine/wireguard-keys/wg-heine-roadwarrior.conf` Importeres i WireGuard-app (Android/iOS/Windows/macOS). Split tunnel: kun hjemme-LAN + kontor-LAN + WG-subnet via VPN. ### Latency - Site-to-site: ~14.8ms (bekreftet 2026-03-02) - Cross-LAN ping (ORION, px5, laravelserver): ~15ms ### Management - pfSense WebGUI: `https://vpn.magitek.no` (via NPM, LE-cert ID 322) - WireGuard styres fra pfSense WebGUI → VPN → WireGuard - Nøkler lagret i: `/home/heine/wireguard-keys/` (på laravelserver-v11) ---