https://www.youtube.com/shorts/qjdV8u-CBf0 база про использование ORM

Новый выпуск!

#9

Обзор статьи "What Goes Around Comes Around... And Around..." залетел в топы.
Сделали целый выпуск про статью.

Статья авторитетов индустрии и наше ~~ценное~~ мнение на этот счет.
Приятного просмотра:

https://www.youtube.com/watch?v=ibNrVbcAw24

https://pdos.csail.mit.edu/6.824/papers/spanner.pdf - еще один, уже классический, подход по реализации консистентности в распределенной СУБД - "Spanner: Google’s Globally-Distributed Database".

Ребята из гугла придумали TrueTime API - он предоставляет время с некоторой точностью и на основе этого спроектировали MVCC который хорошо скейлится.

Продолжаем с классикой - "Calvin: Fast Distributed Transactions
for Partitioned Database Systems":

https://www.cs.yale.edu/homes/thomson/publications/calvin-sigmod12.pdf

СУБД которая реализована по принципам из статьи - YDB.

TL;DR

The essence of Calvin lies in separating the system into three separate layers of processing:

• The sequencing layer (or “sequencer”) intercepts transactional inputs and places them into a global transactional input
sequence—this sequence will be the order of transactions to
which all replicas will ensure serial equivalence during their
execution. The sequencer therefore also handles the replication and logging of this input sequence.

• The scheduling layer (or “scheduler”) orchestrates transaction execution using a deterministic locking scheme to guarantee equivalence to the serial order specified by the sequencing layer while allowing transactions to be executed concurrently by a pool of transaction execution threads. (Although
they are shown below the scheduler components in Figure 1,
these execution threads conceptually belong to the scheduling layer.)

• The storage layer handles all physical data layout. Calvin
transactions access data using a simple CRUD interface; any
storage engine supporting a similar interface can be plugged
into Calvin fairly easily.

Такой дизайн накладывает ограничение:

All transactions are therefore required to declare their full read/write
sets in advance;

Но есть трюки что бы его ~~почти~~ обойти.

Рекомендации от Databricks и других умных ребят как строить современное хранилище данных.

Кажется, что все крупные игроки уже так делают, хотя пейперу всего 3 года.

Пейпер легко читается - можно подчерпнуть некторые идеи.

А вот и форкнутый выпуск подкаста - рекомендуется к просмотру!

https://t.me/apacheigniteRus/172

Telegram

Apache Ignite Community RUS

Впереди долгие выходные, и к просмотру предлагается видео про то, как правильно писать "распределенные, конкурентные и устойчивые к падениям сервисы". Эксперты обсудили контринтуитивность подхода, его применимость и даже немного программировали на Яве, чтобы…

Если когда-то возникал вопрос "Как ConsumerGroup'ы работают в Кафке?" - то вот ответ: https://www.youtube.com/watch?v=MmLezWRI3Ys

GitHub

KAFKA-8104: Consumer cannot rejoin to the group after rebalancing (#7… · apache/kafka@00374c3

…460) This PR contains the fix of race condition bug between "consumer thread" and "consumer coordinator heartbeat thread". It reproduces in many production env...