Привет, разработай мне простой сервис, а точнее базу для Conversational AI. Это должен…
- User
Привет, разработай мне простой сервис, а точнее базу для Conversational AI.
Это должен быть:
-
Сайт на flask бэкенде, написанный на чистом js, jquery, html, css. Он должен представлять из себя круг по центру экрана, который бы был черного цвета(фон белый). Снизу, по центру, будут кнопки управления звонком. Изначально, будет кнопка с иконкой старта звонка. Как только на нее нажимаем, на сервер отправляется запрос на начало звонка. Если он одобрен, то ответ получает js и создает новые кнопки: Отключить микрофон, сбросить звонок. Кнопки должны быть круглые. Дизайн очень минималистичный с анимациями.
-
Второй сервер на flask, который бы помогал первому в низкоуровневых задачах с AI, а именно, предоставлял бы доступ к модель Whisper для транскрибации звука. Для этого надо создать отдельный эндпоинт. Важно, чтобы клиент не мог напрямую связываться с вторым сервером, только с первым, а он уже, в свою очередь, со вторым.
На сайте сделай красивые анимации, в том числе, адаптивное изменение размера черного круга под громкость нашего микрофона. Это важно, чтобы можно было получать фитбек от интерфейса и видно было что нас слушают.
Я не знаю, но это очень важный момент. Нужно сделать так, чтобы система автоматически решала когда пользователь закончил говорить. Для этого нужно использовать модель VAD. Либо ее надо использовать на клиенте(на js), либо на втором сервере(это тот случай, когда клиент может связаться с ним напрямую).
Я знаю одну хорошую библиотеку VAD. А именно SileroVAD. Она лучшая в своем роде. Вот пример ее использования:
import collections, queue import numpy as np import pyaudio import webrtcvad from halo import Halo import torch import torchaudio class Audio(object): """Streams raw audio from microphone. Data is received in a separate thread, and stored in a buffer, to be read from.""" FORMAT = pyaudio.paInt16 # Network/VAD rate-space RATE_PROCESS = 16000 CHANNELS = 1 BLOCKS_PER_SECOND = 50 def __init__(self, callback=None, device=None, input_rate=RATE_PROCESS): def proxy_callback(in_data, frame_count, time_info, status): #pylint: disable=unused-argument callback(in_data) return (None, pyaudio.paContinue) if callback is None: callback = lambda in_data: self.buffer_queue.put(in_data) self.buffer_queue = queue.Queue() self.device = device self.input_rate = input_rate self.sample_rate = self.RATE_PROCESS self.block_size = int(self.RATE_PROCESS / float(self.BLOCKS_PER_SECOND)) self.block_size_input = int(self.input_rate / float(self.BLOCKS_PER_SECOND)) self.pa = pyaudio.PyAudio() kwargs = { 'format': self.FORMAT, 'channels': self.CHANNELS, 'rate': self.input_rate, 'input': True, 'frames_per_buffer': self.block_size_input, 'stream_callback': proxy_callback, } self.chunk = None # if not default device if self.device: kwargs['input_device_index'] = self.device self.stream = self.pa.open(**kwargs) self.stream.start_stream() def read(self): """Return a block of audio data, blocking if necessary.""" return self.buffer_queue.get() def destroy(self): self.stream.stop_stream() self.stream.close() self.pa.terminate() frame_duration_ms = property(lambda self: 1000 * self.block_size // self.sample_rate) class VADAudio(Audio): """Filter & segment audio with voice activity detection.""" def __init__(self, aggressiveness=3, device=None, input_rate=None): super().__init__(device=device, input_rate=input_rate) self.vad = webrtcvad.Vad(aggressiveness) def frame_generator(self): """Generator that yields all audio frames from microphone.""" if self.input_rate == self.RATE_PROCESS: while True: yield self.read() else: raise Exception("Resampling required") def vad_collector(self, padding_ms=300, ratio=0.75, frames=None): """Generator that yields series of consecutive audio frames comprising each utterence, separated by yielding a single None. Determines voice activity by ratio of frames in padding_ms. Uses a buffer to include padding_ms prior to being triggered. Example: (frame, ..., frame, None, frame, ..., frame, None, ...) |---utterence---| |---utterence---| """ if frames is None: frames = self.frame_generator() num_padding_frames = padding_ms // self.frame_duration_ms ring_buffer = collections.deque(maxlen=num_padding_frames) triggered = False for frame in frames: if len(frame) < 640: return is_speech = self.vad.is_speech(frame, self.sample_rate) if not triggered: ring_buffer.append((frame, is_speech)) num_voiced = len([f for f, speech in ring_buffer if speech]) if num_voiced > ratio * ring_buffer.maxlen: triggered = True for f, s in ring_buffer: yield f ring_buffer.clear() else: yield frame ring_buffer.append((frame, is_speech)) num_unvoiced = len([f for f, speech in ring_buffer if not speech]) if num_unvoiced > ratio * ring_buffer.maxlen: triggered = False yield None ring_buffer.clear() def main(ARGS): # Start audio with VAD vad_audio = VADAudio(aggressiveness=ARGS.webRTC_aggressiveness, device=ARGS.device, input_rate=ARGS.rate) print("Listening (ctrl-C to exit)...") frames = vad_audio.vad_collector() # load silero VAD torchaudio.set_audio_backend("soundfile") model, utils = torch.hub.load(repo_or_dir='snakers4/silero-vad', model=ARGS.silaro_model_name, force_reload= ARGS.reload) (get_speech_ts,_,_, _,_, _, _) = utils # Stream from microphone to DeepSpeech using VAD spinner = None if not ARGS.nospinner: spinner = Halo(spinner='line') wav_data = bytearray() for frame in frames: if frame is not None: if spinner: spinner.start() wav_data.extend(frame) else: if spinner: spinner.stop() print("webRTC has detected a possible speech") newsound= np.frombuffer(wav_data,np.int16) audio_float32=Int2Float(newsound) time_stamps =get_speech_ts(audio_float32, model,num_steps=ARGS.num_steps,trig_sum=ARGS.trig_sum,neg_trig_sum=ARGS.neg_trig_sum, num_samples_per_window=ARGS.num_samples_per_window,min_speech_samples=ARGS.min_speech_samples, min_silence_samples=ARGS.min_silence_samples) if(len(time_stamps)>0): print("silero VAD has detected a possible speech") else: print("silero VAD has detected a noise") print() wav_data = bytearray() def Int2Float(sound): _sound = np.copy(sound) # abs_max = np.abs(_sound).max() _sound = _sound.astype('float32') if abs_max > 0: _sound *= 1/abs_max audio_float32 = torch.from_numpy(_sound.squeeze()) return audio_float32 if __name__ == '__main__': DEFAULT_SAMPLE_RATE = 16000 import argparse parser = argparse.ArgumentParser(description="Stream from microphone to webRTC and silero VAD") parser.add_argument('-v', '--webRTC_aggressiveness', type=int, default=3, help="Set aggressiveness of webRTC: an integer between 0 and 3, 0 being the least aggressive about filtering out non-speech, 3 the most aggressive. Default: 3") parser.add_argument('--nospinner', action='store_true', help="Disable spinner") parser.add_argument('-d', '--device', type=int, default=None, help="Device input index (Int) as listed by pyaudio.PyAudio.get_device_info_by_index(). If not provided, falls back to PyAudio.get_default_device().") parser.add_argument('-name', '--silaro_model_name', type=str, default="silero_vad", help="select the name of the model. You can select between 'silero_vad',''silero_vad_micro','silero_vad_micro_8k','silero_vad_mini','silero_vad_mini_8k'") parser.add_argument('--reload', action='store_true',help="download the last version of the silero vad") parser.add_argument('-ts', '--trig_sum', type=float, default=0.25, help="overlapping windows are used for each audio chunk, trig sum defines average probability among those windows for switching into triggered state (speech state)") parser.add_argument('-nts', '--neg_trig_sum', type=float, default=0.07, help="same as trig_sum, but for switching from triggered to non-triggered state (non-speech)") parser.add_argument('-N', '--num_steps', type=int, default=8, help="number of overlapping windows to split audio chunk into (we recommend 4 or 8)") parser.add_argument('-nspw', '--num_samples_per_window', type=int, default=4000, help="number of samples in each window, our models were trained using 4000 samples (250 ms) per window, so this is preferable value (lesser values reduce quality)") parser.add_argument('-msps', '--min_speech_samples', type=int, default=10000, help="minimum speech chunk duration in samples") parser.add_argument('-msis', '--min_silence_samples', type=int, default=500, help=" minimum silence duration in samples between to separate speech chunks") ARGS = parser.parse_args() ARGS.rate=DEFAULT_SAMPLE_RATE main(ARGS)Особенность SileroVAD, что он принимает только чанки фиксированного размера, а также поддерживает только 8000 Hz и 16000 Hz. Главное, чтобы аудио с клиента ПОСТОЯННО транслировалось на сервер для определения VAD. Используй для этого соответствующие технологии. Как только мы не будем ничего говорить 3 секунды, то он сохранит накопленные чанки на сервере в файл output.wav. Это важно, мы не должны с клиента отправлять записанное аудио, а должны транслировать его и аккумулировать на сервере.
Далее, это аудио мы должны пропустить через Whisper. Недавно вышла новая версия: Whisper V3-Turbo. Вот как ей пользоваться:
from faster_whisper import WhisperModel model = WhisperModel("deepdml/faster-whisper-large-v3-turbo-ct2") segments, info = model.transcribe("audio.mp3") for segment in segments: print("[%.2fs -> %.2fs] %s" % (segment.start, segment.end, segment.text))Сегменты мы должны вернуть на первый сервер и пока ничего с этим не делать. Далее, я пропущу это через LLM, а потом через синтез речи. Синтезированная речь должна будет транслироваться в браузер в потоке. Сейчас сделай просто затычку, сделай так, чтобы аудио сразу же, после whisper, начинало транслироваться на клиент. Это будет, например, то же аудио, которое у нас по чанкам собралось. Мы его начинаем в потоке транслировать на клиент. В этот момент кружок станет чуть красноватым и начнет деформироваться под громкость не микрофона, а транслированного аудио. Важно, чтобы даже в этот момент мы не приостанавливали трансляцию своего аудио на VAD(только если мы не нажали на значок микрофона), т.к. если он задетектит речь, то нужно будет прервать воспроизведение аудио-файла и начать снова "слушать пользователя". Сделай так, чтобы когда сервер начнет обрабатывать аудио через whisper, а потом и типо через LLM, то клиент это узнает и кружок временно поменяет цвет и в этот момент только, перестанет слушать, то есть отправлять аудио на VAD. До тех пор, пока он не начнет воспроизводить аудио.
Я надеюсь ты все понял. Реализуй это пожалуйста при помощи соответствующий технологий, разработанных для этого. Все должно работать в потоке, стандартный API запрос должен быть только для создания сессии разговора(а она необходима, чтобы сервер понимал контекст, это еще и безопасность. Напиши отдельный класс на pytohn с sqlite3 с текущими сессиями. Таже добавь туда значение с историей диалога в json мне на будущее, чтобы модно было просто из функции получать нужный json по id разговора. А также, сколько он длится. Сделай так, чтобы длина ограничивалась 10-минутами. Как только время закончится, на клиент отправится об этом информация и там напишется соответствующее сообщение. Не используй стандартные alert(), сделай свою функцию в js и html, чтобы были свои красивые всплывающие сообщения в минимализме.
Реализуй все что я тут написал и приведи код. Это очень важно для меня. Спасибо!
-
- Assistant
Привет! Я понял, что тебе нужен комплексный сервис для Conversational AI с несколькими компонентами. Ниже я приведу пошаговое руководство по созданию такого сервиса, включая код для серверной и клиентской частей. Мы разделим проект на следующие части:
- Структура проекта
- Первый Flask сервер (Frontend сервер)
- Второй Flask сервер (AI сервер)
- База данных для управления сессиями
- Frontend (HTML, CSS, JS)
- Настройка взаимодействия между сервером и клиентом
- Функции уведомлений и анимаций
1. Структура проекта
Для удобства организации проекта предлагаю следующую структуру файлов:
conversational_ai/ ├── frontend_server/ │ ├── app.py │ ├── templates/ │ │ └── index.html │ ├── static/ │ │ ├── css/ │ │ │ └── styles.css │ │ ├── js/ │ │ │ └── scripts.js │ │ └── images/ │ └── sessions.db ├── ai_server/ │ ├── ai_app.py │ └── models/ ├── requirements.txt └── README.mdfrontend_server/: Содержит первый Flask сервер, который обслуживает frontend и взаимодействует с клиентом.ai_server/: Содержит второй Flask сервер, который обрабатывает аудио, осуществляет VAD и транскрибацию через Whisper.requirements.txt: Зависимости проекта.README.md: Инструкции по запуску проекта.
2. Первый Flask сервер (Frontend сервер)
Этот сервер отвечает за предоставление веб-интерфейса, управление сессиями и взаимодействие с AI сервером.
frontend_server/app.pyfrom flask import Flask, render_template, request, jsonify, send_from_directory import requests import sqlite3 import uuid import time import os from datetime import datetime, timedelta app = Flask(__name__) # Настройки AI сервера AI_SERVER_URL = 'http://localhost:5001' # Настройки базы данных DB_PATH = 'sessions.db' # Инициализация базы данных def init_db(): conn = sqlite3.connect(DB_PATH) c = conn.cursor() c.execute('''CREATE TABLE IF NOT EXISTS sessions (id TEXT PRIMARY KEY, history TEXT, start_time REAL)''') conn.commit() conn.close() init_db() # Класс для управления сессиями class SessionManager: def __init__(self, db_path=DB_PATH): self.db_path = db_path def create_session(self): session_id = str(uuid.uuid4()) history = [] start_time = time.time() conn = sqlite3.connect(self.db_path) c = conn.cursor() c.execute("INSERT INTO sessions (id, history, start_time) VALUES (?, ?, ?)", (session_id, jsonify(history).get_data(as_text=True), start_time)) conn.commit() conn.close() return session_id def get_session(self, session_id): conn = sqlite3.connect(self.db_path) c = conn.cursor() c.execute("SELECT history, start_time FROM sessions WHERE id=?", (session_id,)) row = c.fetchone() conn.close() if row: history, start_time = row return {'history': history, 'start_time': start_time} return None def update_history(self, session_id, new_entry): session = self.get_session(session_id) if session: history = request.get_json(force=True) or [] history.append(new_entry) conn = sqlite3.connect(self.db_path) c = conn.cursor() c.execute("UPDATE sessions SET history=? WHERE id=?", (jsonify(history).get_data(as_text=True), session_id)) conn.commit() conn.close() def is_session_expired(self, session_id): session = self.get_session(session_id) if session: start_time = session['start_time'] return (time.time() - start_time) > 600 # 10 минут return True def delete_session(self, session_id): conn = sqlite3.connect(self.db_path) c = conn.cursor() c.execute("DELETE FROM sessions WHERE id=?", (session_id,)) conn.commit() conn.close() session_manager = SessionManager() @app.route('/') def index(): return render_template('index.html') @app.route('/start_call', methods=['POST']) def start_call(): session_id = session_manager.create_session() return jsonify({'status': 'approved', 'session_id': session_id}) @app.route('/end_call', methods=['POST']) def end_call(): data = request.get_json() session_id = data.get('session_id') session_manager.delete_session(session_id) return jsonify({'status': 'ended'}) @app.route('/status/<session_id>', methods=['GET']) def status(session_id): if session_manager.is_session_expired(session_id): session_manager.delete_session(session_id) return jsonify({'status': 'expired'}) return jsonify({'status': 'active'}) @app.route('/notify', methods=['POST']) def notify(): data = request.get_json() message = data.get('message') # Здесь можно добавить логику для хранения истории return jsonify({'status': 'received'}) # Прокси для отправки аудио на AI сервер @app.route('/process_audio', methods=['POST']) def process_audio(): session_id = request.form.get('session_id') audio = request.files.get('audio') if session_manager.is_session_expired(session_id): return jsonify({'status': 'expired'}), 400 # Отправляем аудио на AI сервер files = {'audio': audio} response = requests.post(f"{AI_SERVER_URL}/transcribe", files=files, data={'session_id': session_id}) if response.status_code == 200: return jsonify(response.json()) else: return jsonify({'status': 'error'}), 500 if __name__ == '__main__': app.run(port=5000, debug=True)Объяснение
-
Маршруты:
/: Главная страница./start_call: Инициация звонка и создание сессии./end_call: Завершение звонка и удаление сессии./status/<session_id>: Проверка статуса сессии./process_audio: Прокси для отправки аудио на AI сервер.
-
SessionManager: Управляет сессиями, используя SQLite3. Создаёт, проверяет и удаляет сессии.
-
AI_SERVER_URL: Адрес второго Flask сервера, который будет обрабатывать аудио.
3. Второй Flask сервер (AI сервер)
Этот сервер отвечает за обработку аудио, VAD и транскрибацию с помощью Whisper.
ai_server/ai_app.pyfrom flask import Flask, request, jsonify, send_file import os import uuid import wave import subprocess from faster_whisper import WhisperModel import torch import json from silero_vad import SileroVAD # Предполагается, что есть модуль для SileroVAD app = Flask(__name__) # Путь для сохранения аудио AUDIO_DIR = 'ai_server/audio_chunks' os.makedirs(AUDIO_DIR, exist_ok=True) # Инициализация модели Whisper MODEL_PATH = "deepdml/faster-whisper-large-v3-turbo-ct2" model = WhisperModel(MODEL_PATH, device="cpu", compute_type="int8") # Используй 'cuda' если доступно # Инициализация VAD vad = SileroVAD(model_name="silero_vad", sample_rate=16000) # Прокси для передачи данных, например S3 или другое хранилище # Здесь мы будем просто сохранять локально @app.route('/transcribe', methods=['POST']) def transcribe(): session_id = request.form.get('session_id') audio = request.files.get('audio') if not session_id or not audio: return jsonify({'status': 'error', 'message': 'Missing session_id or audio'}), 400 # Сохранение аудио filename = f"{session_id}_{uuid.uuid4().hex}.wav" filepath = os.path.join(AUDIO_DIR, filename) audio.save(filepath) # VAD обработка is_speech = vad.detect_speech(filepath) if not is_speech: return jsonify({'status': 'no_speech'}) # Транскрибация с помощью Whisper segments, info = model.transcribe(filepath, beam_size=5) transcript = " ".join([segment.text for segment in segments]) # Возвращаем транскрипцию return jsonify({ 'status': 'success', 'transcript': transcript, 'segments': [{'start': seg.start, 'end': seg.end, 'text': seg.text} for seg in segments] }) if __name__ == '__main__': app.run(port=5001, debug=True)Объяснение
-
Маршруты:
/transcribe: Принимает аудио, применяет VAD и транскрибирует через Whisper.
-
VAD: Использует библиотеку SileroVAD для определения речи. Предполагается, что у тебя есть модуль
silero_vad.py. Если нет, нужно будет его реализовать или использовать существующую библиотеку. -
Whisper Model: Использует библиотеку
faster_whisperдля более быстрой транскрибации.
Пример реализации SileroVAD (
ai_server/silero_vad.py)import torch import torchaudio class SileroVAD: def __init__(self, model_name="silero_vad", sample_rate=16000): self.sample_rate = sample_rate self.model, utils = torch.hub.load(repo_or_dir='snakers4/silero-vad', model=model_name, force_reload=True) self.get_speech_ts = utils[0] def detect_speech(self, filepath, min_speech_duration=3.0): speech_threshold = 0.6 wav, sr = torchaudio.load(filepath) wav = wav.squeeze().numpy() if sr != self.sample_rate: resampler = torchaudio.transforms.Resample(orig_freq=sr, new_freq=self.sample_rate) wav = resampler(torch.tensor(wav)).numpy() speech_timestamps = self.get_speech_ts(torch.tensor(wav), self.model) total_speech = sum([ts['end'] - ts['start'] for ts in speech_timestamps]) return total_speech >= min_speech_durationОбъяснение
- SileroVAD Class: Загружает модель SileroVAD и предоставляет метод
detect_speech, который определяет, есть ли в аудио речь длительностью не менее 3 секунд.
4. База данных для управления сессиями
Мы уже создали простую базу данных
sessions.dbв первом Flask сервере для хранения сессий. Это позволяет отслеживать активные сессии, их историю и время начала.5. Frontend (HTML, CSS, JS)
frontend_server/templates/index.html<!DOCTYPE html> <html lang="ru"> <head> <meta charset="UTF-8"> <title>Conversational AI</title> <link rel="stylesheet" href="{{ url_for('static', filename='css/styles.css') }}"> </head> <body> <div class="container"> <div id="circle" class="circle"></div> <div class="controls"> <button id="start_call" class="control-button"> <img src="{{ url_for('static', filename='images/start.png') }}" alt="Start"> </button> <div id="call_buttons" class="hidden"> <button id="mute" class="control-button"> <img src="{{ url_for('static', filename='images/mute.png') }}" alt="Mute"> </button> <button id="end_call" class="control-button"> <img src="{{ url_for('static', filename='images/end.png') }}" alt="End"> </button> </div> </div> </div> <!-- Уведомления --> <div id="notifications" class="notifications"></div> <script src="https://code.jquery.com/jquery-3.6.0.min.js"></script> <script src="{{ url_for('static', filename='js/scripts.js') }}"></script> </body> </html>frontend_server/static/css/styles.cssbody, html { margin: 0; padding: 0; height: 100%; width: 100%; background-color: white; display: flex; justify-content: center; align-items: center; position: relative; } .container { text-align: center; } .circle { width: 200px; height: 200px; background-color: black; border-radius: 50%; transition: all 0.3s ease; } .controls { margin-top: 20px; } .control-button { width: 60px; height: 60px; border: none; border-radius: 50%; background-color: #f0f0f0; margin: 0 10px; cursor: pointer; transition: background-color 0.3s ease, transform 0.3s ease; } .control-button:hover { background-color: #e0e0e0; transform: scale(1.1); } .hidden { display: none; } /* Уведомления */ .notifications { position: fixed; top: 20px; right: 20px; z-index: 1000; } .notification { background-color: rgba(0,0,0,0.8); color: white; padding: 10px 20px; margin-bottom: 10px; border-radius: 5px; animation: fadein 0.5s, fadeout 0.5s 4.5s; } @keyframes fadein { from { opacity: 0; right: 0; } to { opacity: 1; right: 20px; } } @keyframes fadeout { from { opacity: 1; right: 20px; } to { opacity: 0; right: 0; } }frontend_server/static/js/scripts.js$(document).ready(function() { let sessionId = null; let mediaRecorder = null; let audioStream = null; let isCalling = false; let audioChunks = []; let socket = null; // Функция для показа уведомлений function showNotification(message) { let notification = $('<div class="notification"></div>').text(message); $('#notifications').append(notification); setTimeout(function() { notification.remove(); }, 5000); } // Запрос доступа к микрофону function startMicrophone() { return navigator.mediaDevices.getUserMedia({ audio: true }); } // Инициация звонка $('#start_call').click(function() { $.post('/start_call', function(data) { if(data.status === 'approved') { sessionId = data.session_id; isCalling = true; $('#start_call').hide(); $('#call_buttons').removeClass('hidden'); showNotification('Звонок начат'); startRecording(); } }); }); // Завершение звонка $('#end_call').click(function() { if(sessionId) { $.post('/end_call', { session_id: sessionId }, function(data) { if(data.status === 'ended') { showNotification('Звонок завершен'); stopRecording(); $('#call_buttons').addClass('hidden'); $('#start_call').show(); } }); } }); // Отключение микрофона $('#mute').click(function() { if(audioStream) { audioStream.getTracks().forEach(track => track.enabled = !track.enabled); let status = audioStream.getTracks()[0].enabled ? 'Включен' : 'Отключен'; showNotification('Микрофон ' + status); } }); // Запись аудио function startRecording() { startMicrophone().then(stream => { audioStream = stream; mediaRecorder = new MediaRecorder(stream); mediaRecorder.start(); mediaRecorder.ondataavailable = function(e) { audioChunks.push(e.data); // Отправка чанка на сервер sendAudioChunk(e.data); }; // Анализ громкости для анимации let audioContext = new (window.AudioContext || window.webkitAudioContext)(); let analyser = audioContext.createAnalyser(); let source = audioContext.createMediaStreamSource(stream); source.connect(analyser); analyser.fftSize = 256; let dataArray = new Uint8Array(analyser.frequencyBinCount); function animate() { requestAnimationFrame(animate); analyser.getByteFrequencyData(dataArray); let avg = dataArray.reduce((a, b) => a + b) / dataArray.length; let scale = 1 + avg / 128; $('#circle').css('transform', `scale(${scale})`); } animate(); }).catch(err => { console.error('Ошибка доступа к микрофону:', err); showNotification('Не удалось получить доступ к микрофону'); }); } function stopRecording() { if(mediaRecorder) { mediaRecorder.stop(); audioChunks = []; audioStream.getTracks().forEach(track => track.stop()); $('#circle').css('transform', 'scale(1)'); } } // Отправка аудио на сервер function sendAudioChunk(chunk) { let formData = new FormData(); formData.append('session_id', sessionId); formData.append('audio', chunk, 'chunk.wav'); $.ajax({ url: '/process_audio', type: 'POST', data: formData, processData: false, contentType: false, success: function(response) { if(response.status === 'success') { // Здесь можно обработать транскрипцию console.log('Транскрипция:', response.transcript); } else if(response.status === 'expired') { showNotification('Сессия истекла'); } }, error: function() { showNotification('Ошибка при отправке аудио'); } }); } });Объяснение
-
Элементы интерфейса:
- Центральный кружок, который анимируется в зависимости от громкости.
- Кнопки управления звонком: старт, mute, end.
-
Функции:
start_call: Инициирует звонок, создаёт сессию и начинает запись.end_call: Завершает звонок и останавливает запись.mute: Включает или отключает микрофон.startRecording: Начинает запись аудио с микрофона и отправку чанков на сервер.sendAudioChunk: Отправляет аудио чанки на/process_audio.
-
Анимация:
- Анализирует громкость микрофона и изменяет масштаб кружка.
-
Уведомления:
- Пользовательские уведомления вместо стандартных
alert().
- Пользовательские уведомления вместо стандартных
6. Настройка взаимодействия между сервером и клиентом
Клиент отправляет аудио чанки на первый сервер, который перенаправляет их на AI сервер. AI сервер обрабатывает аудио, применяет VAD и транскрибирует через Whisper, затем возвращает транскрипцию на клиент.
7. Функции уведомлений и анимаций
Уже реализовано в фронтенд части через функцию
showNotificationи изменение масштаба кружка в зависимости от громкости.Дополнительные рекомендации
-
WebSockets для реального времени: Для более эффективного обмена данными в режиме реального времени можно использовать WebSockets. Flask поддерживает их через расширения, такие как
Flask-SocketIO. -
Аутентификация и безопасность: Убедись, что только авторизованные пользователи могут инициировать звонки. Можно добавить JWT токены или сессионные куки.
-
Обработка ошибок: Добавь больше обработчиков ошибок на клиентской и серверной сторонах для улучшенной устойчивости.
-
Оптимизация производительности: Используй асинхронные задачи (например, Celery) для обработки аудио и транскрибации, чтобы не блокировать основной поток сервера.
-
Синтез речи: После получения транскрипции можно интегрировать синтезатор речи (например, Google Text-to-Speech) и транслировать аудио обратно на клиент через WebSockets.
Заключение
Этот проект включает множество компонентов, и приведённый код служит отправной точкой. Для полноценной реализации потребуется дополнительная настройка, оптимизация и тестирование. Если у тебя возникнут конкретные вопросы или проблемы при реализации, не стесняйся обращаться!