Переделай код чтобы добавлять в базу не по 1 пользователю а пачкой например по 100 from…
- User
Переделай код чтобы добавлять в базу не по 1 пользователю а пачкой например по 100 from peewee import SqliteDatabase, Model, TextField import sqlite3
Conexión a la base de datos
db = SqliteDatabase('tg_out.db')
class BaseModel(Model): class Meta: database = db
class Users(BaseModel): numbers = TextField(default="-") name = TextField(default="-") birsday = TextField(default="-") vk_id = TextField(default="-") tg_id = TextField(default="-") mail = TextField(default="-") addres = TextField(default="-")
Conexión a la base de datos y creación de tablas
db.connect() db.create_tables([Users], safe=True)
Obtenemos todos los usuarios existentes
existing_users = {user.numbers: user for user in Users.select()}
Conexión a la base de datos de entrada
conn = sqlite3.connect('tg_in.db') cursor = conn.cursor()
Ejecutamos consulta para obtener datos de la tabla users
cursor.execute("SELECT numbers, name, birsday, vk_id, tg_id, mail, addres FROM users")
Обрабатываем результаты
for row in cursor.fetchall(): numbers, name, birsday, vk_id, tg_id, mail, addres = row if numbers in existing_users: user = existing_users[numbers] updated = False
if name not in user.name and user.name != '-': user.name += ',' + name updated = True print('имя обновлено') if birsday not in user.birsday and user.birsday != '-': user.birsday += ',' + birsday updated = True print('др обновлён') if addres not in user.addres and user.addres != '-': user.addres += ',' + addres updated = True print('адрес обновлён') if updated: user.save() print('Запись обновлена') else: Users.create(numbers=numbers, name=name, birsday=birsday, vk_id=vk_id, tg_id=tg_id, mail=mail, addres=addres) print('добавлен новый пользователь')Cerramos la conexión
conn.close()
- Assistant
Чтобы добавлять пользователей пачками по 100, можно сначала собирать данные пользователей в список, а затем одной операцией добавлять их в базу данных. Ниже приведен переделанный код:
from peewee import SqliteDatabase, Model, TextField import sqlite3 # Conexión a la base de datos db = SqliteDatabase('tg_out.db') class BaseModel(Model): class Meta: database = db class Users(BaseModel): numbers = TextField(default="-") name = TextField(default="-") birsday = TextField(default="-") vk_id = TextField(default="-") tg_id = TextField(default="-") mail = TextField(default="-") addres = TextField(default="-") # Conexión a la base de datos y creación de tablas db.connect() db.create_tables([Users], safe=True) # Obtenemos todos los usuarios existentes existing_users = {user.numbers: user for user in Users.select()} # Conexión a la base de datos de entrada conn = sqlite3.connect('tg_in.db') cursor = conn.cursor() # Ejecutamos consulta para obtener datos de la tabla users cursor.execute("SELECT numbers, name, birsday, vk_id, tg_id, mail, addres FROM users") # Подготовка для пакетной вставки batch = [] batch_size = 100 # Обрабатываем результаты for row in cursor.fetchall(): numbers, name, birsday, vk_id, tg_id, mail, addres = row if numbers in existing_users: user = existing_users[numbers] updated = False if name not in user.name and user.name != '-': user.name += ',' + name updated = True print('имя обновлено') if birsday not in user.birsday and user.birsday != '-': user.birsday += ',' + birsday updated = True print('др обновлён') if addres not in user.addres and user.addres != '-': user.addres += ',' + addres updated = True print('адрес обновлён') if updated: user.save() print('Запись обновлена') else: batch.append({ 'numbers': numbers, 'name': name, 'birsday': birsday, 'vk_id': vk_id, 'tg_id': tg_id, 'mail': mail, 'addres': addres }) print('подготовлен новый пользователь для добавления') # Если достигнут размер пачки, добавляем в базу и очищаем список if len(batch) >= batch_size: Users.insert_many(batch).execute() batch.clear() # Добавление оставшихся пользователей if batch: Users.insert_many(batch).execute() # Cerramos la conexión conn.close()Этот код собирает новые записи в список
batchи вставляет их в базу данных пачками по 100 записей, используяinsert_many. Обновления существующих записей производятся по одной, как раньше, чтобы не нарушить логику обновления.