Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· OpenAIAi2 WildChat-4.8M (AI2)

у нас в компании есть ETL из одной postgres в другую postgres. У нас хранится последний…

  1. User

    у нас в компании есть ETL из одной postgres в другую postgres. У нас хранится последний id, который мы забрали и хранится limit, сколько за раз надо забирать из базы данных. мы формируем запрос типа select * from external.table limit 1000 where id> ... . Но есть проблема с транзакциями: если в базе, с которой мы забираем данные, происходит транзакция, то база как бы резервирует id, но в select'e их не отдает пока что. и получается так если последний id был 4000, то мы делаем запрос select * from external.table where id > 4000 limit 1000. в этот момент происходит транзакция и база резервирует 500 id. тогда мы получим строки с id >= 4501 до 5000, и получается, мы теряем 500 строк из-за транзакции. есть ли способ или может технология, позволяющая решить проблему?

  2. Assistant

    Для решения этой проблемы можно воспользоваться конструкцией SQL "FOR UPDATE", которая блокирует выбранные строки до окончания транзакции. Она позволит избежать потери данных при выборке, так как строки будут заблокированы до конца операции и не будут изменены другими транзакциями.

    Пример запроса с использованием "FOR UPDATE":

    SELECT * FROM external.table WHERE id > 4000 LIMIT 1000 FOR UPDATE;

    Данный запрос выберет строки, начиная с id 4000, заблокирует их и не позволит другой транзакции изменить эти строки до конца операции.

    Кроме того, можно рассмотреть возможность использования технологий репликации данных и механизмов распределенных транзакций, таких как PostgreSQL logical replication или 2PC (two-phase commit), для синхронизации данных между базами данных и контроля транзакций. Это позволит избежать конфликтов при выборке данных и гарантировать целостность данных в многопоточной среде.

  3. User

    да, но проблема заключается-то в том, что кто-то уже до нас сделал select FOR UPDATE, и мы не знаем, пропустили ли мы какие-то данные

  4. Assistant

    Если кто-то другой уже заблокировал часть данных с помощью "FOR UPDATE" до вашей выборки, то ваш запрос может не получить эти данные.

    Для решения этой проблемы можно использовать механизмы конкурентного доступа к данным, например, оптимистическую блокировку. Она предполагает, что транзакции не блокируют друг друга, а проверяют, не были ли изменены обрабатываемые ими данные другими транзакциями. Если это произошло, то транзакция может принять решение о повторной выборке данных.

    Также можно рассмотреть возможность добавления в таблицу поля, которое будет использоваться для определения времени последнего изменения данных. Это позволит вам определить, были ли изменены данные после вашей последней выборки, и принять решение о повторной выборке при необходимости.

    Наконец, вы можете использовать другие библиотеки и инструменты, которые поддерживают оффлайн-репликацию данных и уведомления о событиях. Это поможет вам отловить события изменения данных и своевременно обновлять свои локальные копии данных.

  5. User

    переведи с perl на python sub _get_max_pk { my self=shift;myself = shift; my instr = shift; my $dbh_dst = shift;

    # если инструкция перезаписываемая, то максимальный прошлый id - всегда 0
    return undef if $instr->{overwrite};
    return undef if $instr->{is_diff_required};
    
    my $max_pk = $self->_get_max_col(
        dbh => $instr->{dbh_dst },
        tb  => $instr->{ dst_tb_original },
        col => $instr->{ pk     },
    );
    return $max_pk if not $instr->{is_history};
    
    
    my $max_pk__history = $self->_get_max_col(
        dbh => $instr->{dbh_dst },
        tb  => $instr->{ dst_tb },
        col => $instr->{ pk     },
    );
    $max_pk = $max_pk__history  if $max_pk__history and $max_pk__history > $max_pk;
    return $max_pk;
    

    }

  6. Assistant

    def get_max_pk(self, instr, dbh_dst): if instr["overwrite"] or instr["is_diff_required"]: return None

    max_pk = self.get_max_col(dbh=instr["dbh_dst"], tb=instr["dst_tb_original"], col=instr["pk"])
    if not instr["is_history"]:
        return max_pk
    
    max_pk_history = self.get_max_col(dbh=instr["dbh_dst"], tb=instr["dst_tb"], col=instr["pk"])
    if max_pk_history and max_pk_history > max_pk:
        max_pk = max_pk_history
    return max_pk
    

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.