Продублировал свои видео с лекциями по Linux на рутуб и решил все их выложить в открытый доступ, ранее только некоторые были доступны для всех.

Буду рад, если лекции помогут узнать что-то новое и побудят к дальнейшему изучению GNU/Linux.

GNU/Linux для новичков - #1 Введение, UNIX, GNU/Linux
GNU/Linux для новичков - #2 Интерфейс командной строки
GNU/Linux для новичков - #3 Организация файлов и каталогов
GNU/Linux для новичков - #4 Процессы и права доступа
GNU/Linux для новичков - #5 Управление системой, службы
GNU/Linux для новичков - #6 Установка ПО в Linux
GNU/Linux. Что такое ZFS?

От увеличения сообщества вокруг Linux выиграют все в долгосрочной перспективе. ?

@HWvsSW

Вчера многим пришли письма уведомления о возможной приостановки предоставления облачных услуг от Microsoft, Amazon и Google в связи с требованиями новых положений Регламента ЕС 833/2014, который вводит ограничения на поставку в Россию различных видов программного обеспечения.

Решил найти оригинал этого документа от ЕС и своими глазами посмотреть, что там.

Вот сам документ в европейском журнале, информация на 279-280 страницах. Скрины из документа в этом посте.

Это не отменяет возможности полной блокировки облачных услуг, даже которые не относятся к перечню в документе.

@HWvsSW

Делюсь опытом ускорения базы данных PostgreSQL путём миграции на файловую систему ZFS.

Про ZFS ранее я уже рассказывал.

Итак, имеем PG базу на сервере с обычными HDD: 6 штук по 14Тб, диски собраны в софтовый рейд 10 (mdraid). Общий объем хранилища - 42 Тб.

База занимает около 30Тб и постоянно растет.

Основные проблемы:
▪️Из-за HDD под большой нагрузкой время ответа базы неприлично большое.
▪️Свободного места на хранилище 25%.

Обе проблемы можно решить переходом на SSD хранилище, но стоимость замены HDD на серверные SSD в лучшем случае составит 1 мил.руб., если менять на диски с запасом - 1,5 мил.руб.

Исправляем проблемы минимальными затратами и переезжаем на ZFS, заодно сравним скорость работы БД на ZFS RAID-Z2 (аналог RAID6) и ZFS RAID-10.

Добавляем в сервер кэширующий NVME SSD на 2Тб за 20 тысяч рублей. Его ZFS будет использовать для кеша журнала намерений (ZIL) и кэша чтения L2ARC.

Сравниваем производительность на крупной задаче:

mdraid raid-10:
Done rebuilding historical materialized view in 4.821 h

zfs raid-z2:
Done rebuilding historical materialized view in 13.25 h

zfs raid-10:
Done rebuilding historical materialized view in 2.606 h

Плюс на zfs включили сжатие и теперь на хранилище все данные занимают не 30Тб, а только 14Тб, т.е. если ранее было занято 75% на хранилище, теперь занято только 32%.

Время отклика при большой нагрузке на базу тоже в десятки раз улучшилось.

Таким способом сэкономили бюджет на апгрейд сервера, ускорили работу, отложили расширение хранилища, а так же повысили надежность хранилища, zfs максимально заточен на сохранность данных.

Почему RAID-Z2 медленнее? Т.к. это по сути RAID-6 (или 5, суть таже) максимальное количество IOPS у нас получается ограниченным самым медленным одним диском, так же плюс на вычисление XOR сумм уходят ресурсы CPU. База под большой нагрузкой очень чувствительна к IOPS хранилища.

На RAID-10 же IOPS складывается со всех дисков в массиве.

@HWvsSW