submitted 1 year ago by [M] to c/noutati@lemmit.ro
 

So, it happened: the Lemmy PostgreSQL database crashed today.

Unfortunately, the last available backup was from three days ago. Which means, all the new user registrations are now forever lost.

Going forward, the following action items are open:

  • run the database backup every hour (#1)
  • monitor the successful run of the database backup (#2)

Deci, s-a întâmplat: baza de date PostgreSQL a instanței Lemmy a fost distrusă astăzi.

Din păcate, ultimul backup disponibil este vechi de trei zile. Ceea ce înseamnă că toți utilizatorii înregistrați în ultimele zile sunt pierduți.

Planul în continuare:

  • efectuarea backup-ului la fiecare oră (#1)
  • monitorizarea procesului de backup (#2)
submitted 1 year ago by [M] to c/tech@lemmit.ro
 

Cross-posted from "Detalii tehnice - lemmit.ro" by @tlex@lemmit.ro in !noutati@lemmit.ro


Hosting

lemmit.ro rulează pe trei servere dedicate, în Helsinki, închiriate de la https://www.hetzner.com/.

Utilizarea hardware

Hardware-ul este închiriat pentru proiecte personale, nu folosit în exclusivitate de lemmit.ro.

Domeniul și DNS

Domeniul a fost cumpărat prin cyberfolks.ro iar DNS-ul este ținut la cloudflare.com.

Sistemul de operare

Toate serverele rulează Ubuntu 20.04. În următoarea lună, vor trebui să fie reinstalate.

Configurația serverelor

Inițial, configurația a fost făcută exclusiv cu Saltstack. Însă, evoluția Saltstack din ultimii ani (de când a fost cumpărat de VMWare și apoi VMWare de Broadcom) m-au făcut să încep migrarea către Ansible.

Monitorizarea

Monitorizarea se face cu Prometheus, alarmele sunt livrate cu Alertmanager. Unele alerte sunt livrate prin e-mail, altele însă, cu alertmanager-notify, la o instanță de Gotify.

Statistici - ultimile 24h

Utilizare RAM (Grafana)

RAM Usage - lemmit.ro 24h

Utilizare procesor (Grafana)

CPU Usage - lemmit.ro 24h

IOPS (Grafana)

IOPS - lemmit.ro 24h

Utilizare rețea (Grafana)

Network - lemmit.ro 24h

Vizitatori (Cloudflare)

Cloudflare Web Requests - lemmit.ro 24h

submitted 1 year ago by [M] to c/noutati@lemmit.ro
 

Hosting

lemmit.ro rulează pe trei servere dedicate, în Helsinki, închiriate de la https://www.hetzner.com/.

Utilizarea hardware

Hardware-ul este închiriat pentru proiecte personale, nu folosit în exclusivitate de lemmit.ro.

Domeniul și DNS

Domeniul a fost cumpărat prin cyberfolks.ro iar DNS-ul este ținut la cloudflare.com.

Sistemul de operare

Toate serverele rulează Ubuntu 20.04. În următoarea lună, vor trebui să fie reinstalate.

Configurația serverelor

Inițial, configurația a fost făcută exclusiv cu Saltstack. Însă, evoluția Saltstack din ultimii ani (de când a fost cumpărat de VMWare și apoi VMWare de Broadcom) m-au făcut să încep migrarea către Ansible.

Monitorizarea

Monitorizarea se face cu Prometheus, alarmele sunt livrate cu Alertmanager. Unele alerte sunt livrate prin e-mail, altele însă, cu alertmanager-notify, la o instanță de Gotify.

Statistici - ultimile 24h

Utilizare RAM (Grafana)

RAM Usage - lemmit.ro 24h

Utilizare procesor (Grafana)

CPU Usage - lemmit.ro 24h

IOPS (Grafana)

IOPS - lemmit.ro 24h

Utilizare rețea (Grafana)

Network - lemmit.ro 24h

Vizitatori (Cloudflare)

Cloudflare Web Requests - lemmit.ro 24h

[–] 1 point 1 year ago (4 children)

I enjoy the way OpenSuse Tumbleweed set it up:

Laptop:

NAME                                   MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
nvme0n1                                259:0    0 476.9G  0 disk  
├─nvme0n1p1                            259:1    0     1G  0 part  /boot/efi
└─nvme0n1p2                            259:2    0 475.9G  0 part  
  └─cr_nvme-eui.044a5011215f41f7-part2 254:0    0 475.9G  0 crypt 
    ├─system-root                      254:1    0   168G  0 lvm   /var
    │                                                             /usr/local
    │                                                             /srv
    │                                                             /root
    │                                                             /opt
    │                                                             /boot/grub2/x86_64-efi
    │                                                             /boot/grub2/i386-pc
    │                                                             /.snapshots
    │                                                             /
    ├─system-swap                      254:2    0     2G  0 lvm   [SWAP]
    └─system-home                      254:3    0 305.9G  0 lvm   /home
$ sudo fdisk -l
Disk /dev/nvme0n1: 476.94 GiB, 512110190592 bytes, 1000215216 sectors
Disk model: UMIS RPIRJ512VME2OWD
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt

Device           Start        End   Sectors   Size Type
/dev/nvme0n1p1    2048    2099199   2097152     1G EFI System
/dev/nvme0n1p2 2099200 1000215182 998115983 475.9G Linux LVM

Desktop:

NAME              MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS
nvme0n1           259:0    0 931.5G  0 disk  
├─nvme0n1p1       259:1    0   512M  0 part  /boot/efi
└─nvme0n1p2       259:2    0   931G  0 part  
  └─cr-auto-1     254:1    0   931G  0 crypt 
    ├─system-root 254:2    0   610G  0 lvm   /var
    │                                        /usr/local
    │                                        /root
    │                                        /srv
    │                                        /opt
    │                                        /boot/grub2/x86_64-efi
    │                                        /boot/grub2/i386-pc
    │                                        /.snapshots
    │                                        /
    ├─system-swap 254:3    0  62.5G  0 lvm   [SWAP]
    └─system-home 254:4    0   1.2T  0 lvm   /home
nvme1n1           259:3    0 931.5G  0 disk  
└─nvme1n1p1       259:4    0 931.5G  0 part  
  └─cr-auto-2     254:0    0 931.5G  0 crypt 
    └─system-home 254:4    0   1.2T  0 lvm   /home
$ sudo fdisk -l /dev/nvme?n1
Disk /dev/nvme0n1: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: WD_BLACK SN850X 1000GB                  
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt

Device           Start        End    Sectors  Size Type
/dev/nvme0n1p1    2048    1050623    1048576  512M EFI System
/dev/nvme0n1p2 1050624 1953525134 1952474511  931G Linux LVM


Disk /dev/nvme1n1: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: WD_BLACK SN850X 1000GB                  
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt

Device         Start        End    Sectors   Size Type
/dev/nvme1n1p1  2048 1953525134 1953523087 931.5G Linux LVM
  • source
  • view more: next ›