Error loading ASGI app. Could not import module "main"
- User
Error loading ASGI app. Could not import module "main"
- Assistant
The error message:
Error loading ASGI app. Could not import module "main"usually means that the server (like Uvicorn or Hypercorn) is trying to load an ASGI application from a Python module named
main, but it cannot find or import it. This can be due to several reasons.Here are some common causes and how to fix them:
1. The module
main.pydoes not exist in your working directoryMake sure there is a file named
main.pyin the directory you are running the command from.Example:
ls main.pyIf it's not there, either create it or run the server from the correct directory.
2. The module name or location is different
If your ASGI app is in a different file or the module is named differently, adjust the command accordingly.
For example, if your app is in
app.py, run:uvicorn app:appWhere the first
appis the module name (file without.py) and the secondappis the ASGI application variable inside the module.
3. The ASGI app is not named
appinsidemain.pyBy default, most servers try to load the variable named
appfrom the module.Check your
main.pyfor something like this:from fastapi import FastAPI app = FastAPI() # define routes...If your ASGI application variable is named something else, e.g.,
application, you need to specify that in the command:uvicorn main:application
4. Python environment issues
Make sure your Python environment is activated and the dependencies (FastAPI, Uvicorn, etc.) are installed.
Run:
pip show fastapi uvicornIf the packages are not installed, install them using:
pip install fastapi uvicorn
5. Syntax or import errors inside
main.pyTry running
main.pyor importing it manually to see if there are errors.From Python shell:
import mainIf this raises an error, fix the import or syntax errors inside
main.py.
Summary
- Ensure
main.pyexists. - Ensure the ASGI app inside
main.pyis namedappor specify the correct name. - Run the server with:
uvicorn main:app - Check for syntax or import errors.
- Make sure dependencies are installed.
If after these steps it still doesn't work, please provide:
- The command you are running.
- The structure/content of
main.py. - The full error traceback if possible.
I can then help debug more specifically.
- Ensure
- User
kiểm tra code sau
- Assistant
Bạn vui lòng gửi đoạn code cần kiểm tra để mình xem giúp nhé!
- User
import asyncio from fastapi import FastAPI, UploadFile, File, HTTPException from fastapi.responses import FileResponse import torch import io import os import uuid import aiofiles import edge_tts
from transformers import ( WhisperProcessor, WhisperForConditionalGeneration, MT5Tokenizer, AutoModelForSeq2SeqLM )
from inference_wav2lip import run_wav2lip from concurrent.futures import ThreadPoolExecutor
UPLOAD_DIR = "uploads" OUTPUT_DIR = "outputs" os.makedirs(UPLOAD_DIR, exist_ok=True) os.makedirs(OUTPUT_DIR, exist_ok=True)
app = FastAPI()
Load Whisper ASR model + processor
model_asr_name = "hoangdeeptry/whisper-vietnamese-3" processor_asr = WhisperProcessor.from_pretrained(model_asr_name) model_asr = WhisperForConditionalGeneration.from_pretrained(model_asr_name) model_asr.eval()
Load chatbot Vietnamese mT5
model_chat_name = "google/mt5-base" tokenizer_chat = MT5Tokenizer.from_pretrained(model_chat_name, use_fast=False) model_chat = AutoModelForSeq2SeqLM.from_pretrained(model_chat_name) model_chat.eval()
executor = ThreadPoolExecutor(max_workers=2)
async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): # Whisper yêu cầu raw audio 16kHz float import soundfile as sf audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) # Nếu sample rate khác 16k, bạn có thể resample (để đơn giản tạm bỏ qua) if sample_rate != 16000: import torchaudio waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription
loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _speech2text_sync, audio_bytes)async def chat_llm(text: str) -> str: def _chat_llm_sync(text_sync): inputs = tokenizer_chat.encode(text_sync, return_tensors="pt", max_length=512, truncation=True) outputs = model_chat.generate(inputs, max_length=128, num_beams=5) reply = tokenizer_chat.decode(outputs[0], skip_special_tokens=True) return reply
loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _chat_llm_sync, text)async def text2speech(text: str) -> io.BytesIO: communicate = edge_tts.Communicate(text, voice="vi-VN-Nam-AiNeural") buffer = io.BytesIO() async for chunk in communicate.stream(): buffer.write(chunk) buffer.seek(0) return buffer
@app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4")
try: async with aiofiles.open(face_path, 'wb') as f_face: await f_face.write(await face.read()) async with aiofiles.open(audio_path, 'wb') as f_audio: audio_bytes = await audio.read() await f_audio.write(audio_bytes) # ASR transcription = await speech2text(audio_bytes) if not transcription.strip(): raise HTTPException(status_code=400, detail="No speech detected") # Chatbot reply_text = await chat_llm(transcription) # TTS tts_audio = await text2speech(reply_text) tts_audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") async with aiofiles.open(tts_audio_path, 'wb') as f_tts: await f_tts.write(tts_audio.read()) tts_audio.seek(0) # Wav2Lip lip-sync run_wav2lip(face_path, tts_audio_path, output_video_path) return FileResponse(output_video_path, media_type="video/mp4") except Exception as e: print("Error:", e) raise HTTPException(status_code=500, detail=str(e))from fastapi.staticfiles import StaticFiles
app.mount("/", StaticFiles(directory="static", html=True), name="static")
if name == "main": import uvicorn
uvicorn.run(app, host="0.0.0.0", port=8000) - Assistant
Cảm ơn bạn đã gửi code! Mình đã đọc qua và dưới đây là một số nhận xét, gợi ý và một số điểm cần kiểm tra để code bạn chạy ổn định hơn:
1. Về tổng thể
- Code cấu trúc tương đối chuẩn cho một app FastAPI, với xử lý upload file, chạy inference song song cho ASR, chatbot, TTS và đầu ra video lip-sync.
- Sử dụng
ThreadPoolExecutorđể chạy các hàm đồng bộ trong async function khá hợp lý. - Đảm bảo tạo thư mục
uploadsvàoutputsđể lưu trữ file. - Mount
StaticFilescho thư mụcstatic(nhưng bạn không đính kèm thư mục này trong repo bên trên).
2. Một số điểm cần chú ý / cải tiến:
2.1. Khả năng lỗi
Error loading ASGI app. Could not import module "main"Nếu bạn lưu file trên là
main.py, chạy uvicorn bằng lệnh:uvicorn main:app --reloadđảm bảo đang đứng đúng thư mục chứa
main.py. Nếu tên file khác thì đổi tương ứng.
2.2. Về việc resample âm thanh trong
speech2text- Nếu đoạn âm thanh bạn upload không phải 16kHz, code có gọi
torchaudiođể resample. - Đảm bảo server của bạn đã cài
torchaudio(không phải luôn tự cài theotorch). - Gợi ý: hãy xử lý ngoại lệ khi import
torchaudio, hoặc ít nhất log lỗi để debug dễ hơn.
2.3.
speech2text– Xử lý đọc audio bằngsoundfilesoundfile.readcó thể không đọc tất cả các định dạng âm thanh.- Bạn nên kiểm tra rõ định dạng file audio upload (mp3, wav,...).
- Có thể thêm log để debug nếu lỗi xảy ra.
2.4. Phần TTS với
edge-tts- Việc nhận được âm thanh bằng stream và ghi vào
BytesIOrất tốt. - Tuy nhiên, đoạn này:
chắc chắn chunk trả về có kiểuasync for chunk in communicate.stream(): buffer.write(chunk)byteskhông?
Nếu buffer không được ghi đúng, filewavsẽ hỏng.
2.5. Ghi file
tts_audiovào ổ cứng- Sau khi
await text2speech(), bạn ghi file bằng:async with aiofiles.open(tts_audio_path, 'wb') as f_tts: await f_tts.write(tts_audio.read()) - Nhưng
tts_audio.read()là hành động đồng bộ (sync). Trong hàm async bạn gọi sync code này có thể gây lỗi/block. - Thường nên dùng bộ nhớ đệm sync với
awaithoặc chuyển qua sync vớiwith open(...)đơn giản. - Nếu dùng
aiofiles, bạn nên đọctts_audiobằngawait tts_audio.read()(cần kiểm tra vìBytesIOkhông hỗ trợ async đọc). - Gợi ý thay đoạn trên bằng:
with open(tts_audio_path, "wb") as f: f.write(tts_audio.getbuffer()) - Hoặc tách riêng hàm xử lý ghi sync.
2.6. Hàm
run_wav2lip- Đây là hàm sync, gọi trực tiếp trong async function
/chat. - Tốt nhất bạn bọc vào
await loop.run_in_executor(...)để tránh block event loop:loop = asyncio.get_event_loop() await loop.run_in_executor(executor, run_wav2lip, face_path, tts_audio_path, output_video_path) - Với cách này, server không bị treo khi xử lý video.
2.7. Lưu file tạm
- Bạn lưu tất cả file trong thư mục
uploadsmà không xóa sau khi xử lý. - Có thể tốn dung lượng từ từ, nên cân nhắc xóa file tạm (cả mặt, audio, tts) sau khi xong.
Ví dụ:
import os try: # ... xử lý ... finally: for fpath in [face_path, audio_path, tts_audio_path]: if os.path.exists(fpath): os.remove(fpath)
3. Một số đề xuất bổ trợ
- Thêm logging chi tiết hơn thay vì chỉ
print. - Thêm kiểm tra định dạng file upload cho
facevàaudio. - Thêm timeout hoặc giới hạn kích thước file upload để tránh server bị quá tải.
- Tệp
staticnên có (để phục vụ UI nếu cần) hoặc bạn có thể bỏ phần mountStaticFilesnếu không dùng.
4. Tóm tắt chỉnh sửa chính cho đoạn
/chat@app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4") try: async with aiofiles.open(face_path, 'wb') as f_face: await f_face.write(await face.read()) async with aiofiles.open(audio_path, 'wb') as f_audio: audio_bytes = await audio.read() await f_audio.write(audio_bytes) # ASR transcription = await speech2text(audio_bytes) if not transcription.strip(): raise HTTPException(status_code=400, detail="No speech detected") # Chatbot reply_text = await chat_llm(transcription) # TTS tts_audio = await text2speech(reply_text) tts_audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") # Ghi file tạm sync để tránh lỗi với aiofiles + BytesIO with open(tts_audio_path, "wb") as f_tts: f_tts.write(tts_audio.getbuffer()) # getbuffer() trả về bộ nhớ bytes # Wav2Lip lip-sync chạy trong executor loop = asyncio.get_event_loop() await loop.run_in_executor(executor, run_wav2lip, face_path, tts_audio_path, output_video_path) return FileResponse(output_video_path, media_type="video/mp4") except Exception as e: print("Error:", e) raise HTTPException(status_code=500, detail=str(e)) finally: for fpath in [face_path, audio_path, tts_audio_path]: if os.path.exists(fpath): os.remove(fpath) # xóa file tạm nếu có
Nếu bạn cần mình hỗ trợ kiểm tra lỗi cụ thể (traceback, lỗi runtime...), bạn vui lòng cung cấp thêm thông tin nhé!
- User
Unexpected token 'I', "Internal S"... is not valid JSON
- Assistant
Lỗi
"Unexpected token 'I', "Internal S"... is not valid JSON"thường xảy ra khi client (ví dụ frontend hoặc Postman) nhận được response từ server mà server trả về không phải JSON trong khi client đang cố parse response đó dưới dạng JSON.
Nguyên nhân phổ biến trong trường hợp của bạn
- Server trả về lỗi dạng plain text, ví dụ thông báo lỗi hoặc trang lỗi (có thể "Internal Server Error" hoặc tương tự).
- Client gọi API mong đợi JSON response nhưng nhận về HTML hoặc text nên báo lỗi parse JSON.
Cách xử lý
- Xem response thực tế server trả về
- Khi gọi API
/chat, bạn thử dùng curl hoặc Postman và xem response thực tế server trả về. - Nếu là lỗi 500, chắc chắn lỗi không trả về JSON mà là HTML hoặc text lỗi.
- Xem log server để biết lỗi gốc
- Trong
except Exception as e, bạn đangprint("Error:", e). Hãy kiểm tra console log để xem lỗi cụ thể là gì. - Đôi khi lỗi xuất phát từ phần xử lý ASR, TTS, hay chạy
run_wav2lip.
- Cải thiện việc trả lỗi JSON trong FastAPI
Thay vì chỉ raise
HTTPExceptionvới detail là string, bạn có thể custom response để tránh lỗi parse JSON hoặc client dễ bắt lỗi.Ví dụ trong xử lý lỗi:
from fastapi.responses import JSONResponse @app.exception_handler(Exception) async def global_exception_handler(request, exc): return JSONResponse( status_code=500, content={"error": str(exc)} )hoặc chắc chắn
HTTPExceptionvớidetaillà string được FastAPI tự trả về JSON chuẩn.- Đảm bảo client gọi đúng
- Nếu client đang dùng
fetchhoặc axios, bắt lỗi parse JSON khi nhận response lỗi. - Có thể check response header
content-type.
Ví dụ xử lý lỗi trong endpoint
/chatThay vì chỉ in lỗi, bạn có thể thêm logging hoặc raise error chi tiết rõ hơn.
Kiểm tra thêm
- Kiểm tra xem API có trả về file video mp4 hay luôn trả về lỗi.
- Kiểm tra xem các file đã upload, các model đã load có lỗi không.
- Kiểm tra xem có bất cứ lỗi nào khi gọi:
uvicorn main:app --reload
Nếu bạn có log lỗi chi tiết (stack trace) hoặc ví dụ request-response, mình sẽ giúp bạn chuẩn đoán kỹ hơn. Bạn có thể gửi thêm nhé!
- User
File "D:\Project_Pycharm\digital_human_demo\app.py", line 127, in chat_api for fpath in [face_path, audio_path, tts_audio_path]: UnboundLocalError: local variable 'tts_audio_path' referenced before assignment
- Assistant
Lỗi
UnboundLocalError: local variable 'tts_audio_path' referenced before assignmentnghĩa là biến
tts_audio_pathđược sử dụng trong câu lệnhforởfinallychưa được gán giá trị ở tất cả các luồng chạy (chẳng hạn khi lỗi xảy ra trước khi biến này được khởi tạo).
Cụ thể vấn đề trong code của bạn
Bạn có đoạn:
@app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4") try: # ... các bước xử lý tts_audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") # ghi tạm file tts_audio_path # ... tiếp tục xử lý except Exception as e: print("Error:", e) raise HTTPException(status_code=500, detail=str(e)) finally: for fpath in [face_path, audio_path, tts_audio_path]: if os.path.exists(fpath): os.remove(fpath)Nếu trong khối
trycó lỗi xảy ra trước khi biếntts_audio_pathđược tạo (assigned) thì khi vào phầnfinally, Python chạy tớifor fpath in [... tts_audio_path], nó sẽ báo lỗi vì biến chưa được định nghĩa.
Cách sửa
Cách 1: Khởi tạo biến
tts_audio_pathtrướctry, ví dụ đặt giá trị mặc định ban đầu@app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4") tts_audio_path = None # khởi tạo trước try: # các bước xử lý tts_audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") # ghi file tts_audio_path ... # ... except Exception as e: print("Error:", e) raise HTTPException(status_code=500, detail=str(e)) finally: for fpath in [face_path, audio_path, tts_audio_path]: if fpath and os.path.exists(fpath): os.remove(fpath)Cách 2: Kiểm tra biến trước khi sử dụng trong
finallyfinally: for fpath in [face_path, audio_path]: if os.path.exists(fpath): os.remove(fpath) if 'tts_audio_path' in locals() and tts_audio_path and os.path.exists(tts_audio_path): os.remove(tts_audio_path)
Tổng quát
Cách 1 thường gọn và an toàn hơn, vì bạn đã có định nghĩa biến trước, tránh các lỗi không mong muốn.
Bạn thử sửa như vậy và chạy lại xem lỗi UnboundLocalError đã hết chưa nhé! Nếu còn thắc mắc vui lòng gửi mình tiếp để cùng hỗ trợ.
- User
hoàn chỉnh cả đoạn code
- Assistant
Dưới đây mình chỉnh sửa hoàn chỉnh hàm
/chattheo đúng yêu cầu với khởi tạo biến trướctryvà xử lý ghi file tạm đồng bộ. Đồng thời bọc hàm đồng bộrun_wav2lipvào executor tránh block event loop. Phần xóa file cũng được bảo vệ tránh lỗiUnboundLocalError.@app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4") tts_audio_path = None # Khởi tạo trước để tránh UnboundLocalError try: # Lưu file mặt async with aiofiles.open(face_path, 'wb') as f_face: await f_face.write(await face.read()) # Lưu file audio async with aiofiles.open(audio_path, 'wb') as f_audio: audio_bytes = await audio.read() await f_audio.write(audio_bytes) # ASR chuyển từ giọng nói sang text transcription = await speech2text(audio_bytes) if not transcription.strip(): raise HTTPException(status_code=400, detail="No speech detected") # Chatbot trả lời reply_text = await chat_llm(transcription) # TTS chuyển text sang âm thanh tts_audio = await text2speech(reply_text) tts_audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") # Ghi file âm thanh TTS đồng bộ vì aiofiles không hỗ trợ BytesIO async đọc with open(tts_audio_path, "wb") as f_tts: f_tts.write(tts_audio.getbuffer()) # Chạy lip-sync Wav2Lip trong executor tránh block event loop loop = asyncio.get_event_loop() await loop.run_in_executor(executor, run_wav2lip, face_path, tts_audio_path, output_video_path) # Trả về video kết quả return FileResponse(output_video_path, media_type="video/mp4") except Exception as e: print("Error:", e) raise HTTPException(status_code=500, detail=str(e)) finally: # Xóa file tạm nếu tồn tại, tránh lỗi nếu biến chưa được gán giá trị for fpath in [face_path, audio_path]: if os.path.exists(fpath): os.remove(fpath) if tts_audio_path and os.path.exists(tts_audio_path): os.remove(tts_audio_path)
Bạn nhớ chạy uvicorn với:
uvicorn main:app --reload(giả sử file bạn đặt tên
main.pyvà biến FastAPI làapp)Nếu gặp lỗi hoặc cần mình hỗ trợ bước kế tiếp, cứ thoải mái hỏi nhé!
- User
Lỗi server: Internal Server Error
- Assistant
Lỗi Internal Server Error (500) là lỗi tổng quát do server ném ra khi có exception không được bắt hoặc lỗi trong quá trình xử lý request. Với FastAPI thì bạn có thể làm theo các bước sau để debug và xử lý lỗi này:
1. Xem log chi tiết lỗi trên server
Bạn cần bật logging chi tiết khi chạy
uvicorn. Ví dụ:uvicorn main:app --reload --log-level debugHoặc trong code:
import logging logging.basicConfig(level=logging.DEBUG)Giúp bạn nhìn thấy stack trace và nguyên nhân cụ thể gây lỗi trong terminal.
2. Bắt lỗi chi tiết với middleware hoặc exception handler
Bạn có thể thêm một Exception Handler để in log đầy đủ:
from fastapi import Request from fastapi.responses import JSONResponse @app.exception_handler(Exception) async def all_exception_handler(request: Request, exc: Exception): import traceback tb_str = ''.join(traceback.format_exception(type(exc), exc, exc.__traceback__)) print("EXCEPTION OCCURRED:\n", tb_str) return JSONResponse( status_code=500, content={"detail": "Internal Server Error", "error": str(exc)} )Điều này giúp bạn biết rõ lỗi gì xảy ra thay vì chỉ thấy
"Internal Server Error".
3. Một số nguyên nhân phổ biến thường xảy ra với đoạn code bạn gửi
3.1 Loading model or packages
- Đảm bảo các mô hình (
WhisperProcessor,WhisperForConditionalGeneration,MT5Tokenizer,AutoModelForSeq2SeqLM) có thể load được bình thường (đường mạng, token, OAuth, đường dẫn model...) - Một số model lớn cần GPU hoặc RAM đủ lớn, nếu thiếu tài nguyên có thể ném exception.
3.2. Lỗi đọc file audio hoặc xử lý âm thanh
- Audio upload có thể định dạng hoặc encoding không chuẩn, gây lỗi lúc
soundfile.readhoặctorchaudio.load. - Bạn có thể thêm
try/exceptquanh đoạn đọc audio để log lỗi chi tiết.
3.3. Lỗi
edge-ttshoặc ghi file tts_audioedge-ttssẽ stream audio, có một số lỗi có thể xảy ra khi kết nối hoặc khi ghi buffer.- Kiểm tra xem đoạn thu âm thanh có thành công? Có bytes hay rỗng không?
3.4. Lỗi do hàm
run_wav2lip- Hàm này không cho sẵn, bạn cần chắc chắn hàm
run_wav2lip(face_path, tts_audio_path, output_video_path)chạy không lỗi. - Đây là hàm đồng bộ, nếu có lỗi bên trong, exception sẽ ném ra.
- Bạn có thể thử chạy độc lập hàm
run_wav2lipvới các file sample xem có lỗi không.
4. Gợi ý debug bước từng phần
Bạn có thể thêm các
printhoặclogging.infotrong từng bước:print("Saving face image...") print("Saving audio file...") print("Starting ASR...") print("ASR result:", transcription) print("Starting chatbot...") print("Chatbot reply:", reply_text) print("Starting TTS...") print("TTS done, save file...") print("Running wav2lip...") print("Returning video file...")Rồi chạy lại, kiểm tra bước nào bị lỗi hoặc không chạy tới.
5. Ví dụ bổ sung try-except chi tiết trong speech2text
async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): import soundfile as sf try: audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) except Exception as e: print(f"Error reading audio: {e}") raise if sample_rate != 16000: import torchaudio try: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) except Exception as e: print(f"Error loading audio using torchaudio: {e}") raise resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _speech2text_sync, audio_bytes)
6. Nếu vẫn chưa fix được
Bạn vui lòng:
- Đăng nhật ký lỗi chi tiết (full traceback).
- Đăng lại phiên bản Python, FastAPI, uvicorn đang dùng.
- Cho mình snippet hay log lỗi phần stack trace.
Mình sẽ hỗ trợ bạn phân tích chi tiết hơn!
- Đảm bảo các mô hình (
- User
Error loading ASGI app. Could not import module "main"
- Assistant
Lỗi
Error loading ASGI app. Could not import module "main"thường xảy ra khi bạn chạy lệnh như:uvicorn main:appnhưng:
- File
main.pykhông tồn tại trong thư mục làm việc hiện tại, hoặc - File có tên khác chứ không phải
main.py, hoặc - Tên app (ở đây
app) không được định nghĩa đúng trong file, hoặc - Có lỗi cú pháp/nhập khẩu trong file
main.pykhiến nó không thể load.
Các bước kiểm tra và sửa
- Kiểm tra file
main.pycó tồn tại ở thư mục bạn chạy lệnh?
ls | grep main.py # unix/mac dir main.py # windows- Nếu file bạn có tên khác, ví dụ
app.pythì bạn chạy:
uvicorn app:app- Trong file
main.py(hoặc file của bạn) phải có dòng tạo FastAPI instance:
from fastapi import FastAPI app = FastAPI()Nếu tên biến bạn đặt khác
app, ví dụ làapplication, thì bạn chạy:uvicorn main:application- Kiểm tra lỗi cú pháp trong file
Mở Python REPL và thử import file:
python >>> import mainNếu có lỗi, sửa lỗi import/syntax trước.
- Chạy uvicorn đúng thư mục
Nếu bạn đang ở thư mục cha mà
main.pynằm trong thư mục con, bạn phải cd vào đúng thư mục, hoặc chạy theo đường dẫn module chuẩn.
Ví dụ lệnh chuẩn:
Nếu file bạn đặt tên là
main.py, có FastAPI instance làapp, bạn chạy:uvicorn main:app --reload
Tổng kết
Lỗi này hầu hết do:
- File không tồn tại hoặc tên khác
- Tên biến FastAPI không đúng
- Lỗi cú pháp/import trong file
Bạn kiểm tra kỹ những điểm trên, nếu vẫn không được, bạn có thể gửi phần đầu file
main.pyvà cấu trúc thư mục để mình giúp bạn nhé! - File
- User
Error opening <_io.BytesIO object at 0x000001DEE8CB2700>: Format not recognised.
- Assistant
Lỗi:
Error opening <_io.BytesIO object at 0x000001DEE8CB2700>: Format not recognised.nói rằng một đoạn mã đang cố mở một file audio từ đối tượng
BytesIOnhưng không nhận diện được định dạng dữ liệu trong đó.
Nguyên nhân phổ biến
- Dữ liệu trong
BytesIOkhông đúng định dạng file âm thanh (ví dụ upload không phải WAV/MP3,... hoặc rỗng). - Bạn đang đọc file audio bằng thư viện như
soundfilehoặctorchaudionhưng dữ liệu truyền vào không phải là file âm thanh hợp lệ. - Có thể phần stream audio tạo bởi
edge-tts(trong đoạn code của bạn ở hàmtext2speech) tạo ra dữ liệu không đúng định dạng WAV khi bạn ghi vào file. - Bạn truyền đối tượng
BytesIOthẳng vào hàm xử lý mà thực chất nó không đọc được trực tiếp hoặc không reset con trỏ file.
Cách kiểm tra & fix cho đoạn code của bạn
1. Đảm bảo
BytesIOcó dữ liệu đúng formatVí dụ đoạn chat bạn dùng
edge-ttsđể stream audio bằng:async def text2speech(text: str) -> io.BytesIO: communicate = edge_tts.Communicate(text, voice="vi-VN-Nam-AiNeural") buffer = io.BytesIO() async for chunk in communicate.stream(): buffer.write(chunk) buffer.seek(0) return bufferNếu
bufferkhông phải là 1 file âm thanh định dạng WAV hoặc định dạng khác mà thư viện bên ngoài yêu cầu, thì khi đọc lại bằngsf.readhoặctorchaudiosẽ bị lỗi.
2. Kiểm tra định dạng audio trả về từ TTS
edge-ttsmặc định tạo ra file audio dạngmp3. Nếu bạn ghi thẳng dữ liệu đó vào file.wav, nhiều thư viện sẽ không đọc được.
3. Đổi cách ghi file TTS audio
Nếu bạn ghi file TTS ra
.wav, nhưng thực chất đang làmp3thì các phần sau đọc bằngsoundfilesẽ lỗi.Bạn nên:
- Đổi tên file thành
.mp3khi lưu - Hoặc convert trước sang
.wav - Hoặc chỉnh tham số
edge-ttstạo audio dạng WAV (nếu supported)
4. Ví dụ sửa đoạn ghi TTS:
tts_audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.mp3") # ['.mp3'] thay vì .wav with open(tts_audio_path, "wb") as f_tts: f_tts.write(tts_audio.getbuffer())Rồi khi dùng
run_wav2liphoặc các bước sau, đảm bảo xử lý đúng định dạng mp3 hoặc cần convert sang wav trước.
5. Nếu muốn convert mp3 sang wav
Bạn có thể dùng
pydub:from pydub import AudioSegment mp3_path = tts_audio_path wav_path = tts_audio_path.replace(".mp3", ".wav") audio = AudioSegment.from_file(mp3_path, format="mp3") audio.export(wav_path, format="wav")Sau đó dùng
wav_pathđể chạy các bước xử lý audio tiếp theo.
Tóm lại
- Hãy kiểm tra định dạng file audio trả về bởi TTS (
edge-tts) có phải.mp3không. - Đổi extension file lưu cho phù hợp.
- Đọc file đúng định dạng.
- Nếu cần dùng wav thì convert từ mp3 sang wav.
Nếu bạn cần, bạn có thể gửi đoạn code phần gọi TTS và đọc file tiếp theo, mình sẽ giúp bạn sửa cụ thể!
- Dữ liệu trong
- User
đầy đủ code
- Assistant
Dưới đây là ví dụ code đầy đủ, sửa lại đoạn xử lý TTS với
edge-ttstheo dạng mp3 và chuyển sang wav bằngpydub, đồng thời xử lý lưu file tạm an toàn, tránh lỗi format không hợp lệ.import asyncio from fastapi import FastAPI, UploadFile, File, HTTPException from fastapi.responses import FileResponse import torch import io import os import uuid import aiofiles import edge_tts from pydub import AudioSegment from transformers import ( WhisperProcessor, WhisperForConditionalGeneration, MT5Tokenizer, AutoModelForSeq2SeqLM ) from inference_wav2lip import run_wav2lip from concurrent.futures import ThreadPoolExecutor UPLOAD_DIR = "uploads" OUTPUT_DIR = "outputs" os.makedirs(UPLOAD_DIR, exist_ok=True) os.makedirs(OUTPUT_DIR, exist_ok=True) app = FastAPI() # Load Whisper ASR model + processor model_asr_name = "hoangdeeptry/whisper-vietnamese-3" processor_asr = WhisperProcessor.from_pretrained(model_asr_name) model_asr = WhisperForConditionalGeneration.from_pretrained(model_asr_name) model_asr.eval() # Load chatbot Vietnamese mT5 model_chat_name = "google/mt5-base" tokenizer_chat = MT5Tokenizer.from_pretrained(model_chat_name, use_fast=False) model_chat = AutoModelForSeq2SeqLM.from_pretrained(model_chat_name) model_chat.eval() executor = ThreadPoolExecutor(max_workers=2) async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): import soundfile as sf import torchaudio audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) if sample_rate != 16000: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _speech2text_sync, audio_bytes) async def chat_llm(text: str) -> str: def _chat_llm_sync(text_sync): inputs = tokenizer_chat.encode(text_sync, return_tensors="pt", max_length=512, truncation=True) outputs = model_chat.generate(inputs, max_length=128, num_beams=5) reply = tokenizer_chat.decode(outputs[0], skip_special_tokens=True) return reply loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _chat_llm_sync, text) async def text2speech(text: str) -> io.BytesIO: communicate = edge_tts.Communicate(text, voice="vi-VN-Nam-AiNeural") buffer = io.BytesIO() async for chunk in communicate.stream(): buffer.write(chunk) buffer.seek(0) return buffer @app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4") tts_mp3_path = None tts_wav_path = None try: async with aiofiles.open(face_path, 'wb') as f_face: await f_face.write(await face.read()) async with aiofiles.open(audio_path, 'wb') as f_audio: audio_bytes = await audio.read() await f_audio.write(audio_bytes) # ASR transcription = await speech2text(audio_bytes) if not transcription.strip(): raise HTTPException(status_code=400, detail="No speech detected") # Chatbot reply_text = await chat_llm(transcription) # TTS (xuất ra mp3) tts_audio = await text2speech(reply_text) tts_mp3_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.mp3") with open(tts_mp3_path, "wb") as f_tts: f_tts.write(tts_audio.getbuffer()) # Convert mp3 sang wav để wav2lip xử lý tts_wav_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") audio = AudioSegment.from_file(tts_mp3_path, format="mp3") audio.export(tts_wav_path, format="wav") # Wav2Lip lip-sync chạy trong executor tránh block event loop loop = asyncio.get_event_loop() await loop.run_in_executor(executor, run_wav2lip, face_path, tts_wav_path, output_video_path) return FileResponse(output_video_path, media_type="video/mp4") except Exception as e: print("Error:", e) raise HTTPException(status_code=500, detail=str(e)) finally: for fpath in [face_path, audio_path]: if os.path.exists(fpath): os.remove(fpath) for fpath in [tts_mp3_path, tts_wav_path]: if fpath and os.path.exists(fpath): os.remove(fpath)
Lưu ý:
- Bạn cần cài thêm thư viện
pydubvàffmpeg(ffmpeg cần cài ngoài hệ thống):
pip install pydub-
Cài ffmpeg:
- Windows: tải ffmpeg binary và thêm vào PATH
- Linux/macOS: cài qua package manager (e.g.,
apt install ffmpeghoặcbrew install ffmpeg)
-
Mô hình và
inference_wav2lipbạn phải đảm bảo sẵn sàng.
Nếu bạn cần mình hỗ trợ chỉnh debug hoặc tích hợp thêm, cứ hỏi nhé!
- Bạn cần cài thêm thư viện
- User
còn thiếu bạn ơi, hiển thị đầy đủ code
- Assistant
Dưới đây là đoạn code đầy đủ, sửa lỗi mở audio định dạng không đúng, tích hợp toàn bộ phần bạn cần từ import đến định nghĩa FastAPI, các hàm chính, và endpoint
/chat. Mình đã chỉnh để:- TTS dùng
edge-ttstạo file mp3. - Convert mp3 sang wav bằng
pydubđểrun_wav2lipsử dụng. - Giữ an toàn xóa các file tạm.
- Chạy Wav2Lip trong
executortránh block async event loop.
import asyncio from fastapi import FastAPI, UploadFile, File, HTTPException from fastapi.responses import FileResponse import torch import io import os import uuid import aiofiles import edge_tts from pydub import AudioSegment from transformers import ( WhisperProcessor, WhisperForConditionalGeneration, MT5Tokenizer, AutoModelForSeq2SeqLM ) from inference_wav2lip import run_wav2lip from concurrent.futures import ThreadPoolExecutor # Tạo thư mục lưu tạm nếu chưa có UPLOAD_DIR = "uploads" OUTPUT_DIR = "outputs" os.makedirs(UPLOAD_DIR, exist_ok=True) os.makedirs(OUTPUT_DIR, exist_ok=True) app = FastAPI() # Load Whisper ASR model + processor (lưu ý: có thể cần CUDA nếu máy bạn có GPU) model_asr_name = "hoangdeeptry/whisper-vietnamese-3" processor_asr = WhisperProcessor.from_pretrained(model_asr_name) model_asr = WhisperForConditionalGeneration.from_pretrained(model_asr_name) model_asr.eval() # Load chatbot Vietnamese mT5 model_chat_name = "google/mt5-base" tokenizer_chat = MT5Tokenizer.from_pretrained(model_chat_name, use_fast=False) model_chat = AutoModelForSeq2SeqLM.from_pretrained(model_chat_name) model_chat.eval() executor = ThreadPoolExecutor(max_workers=2) async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): import soundfile as sf import torchaudio audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) if sample_rate != 16000: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _speech2text_sync, audio_bytes) async def chat_llm(text: str) -> str: def _chat_llm_sync(text_sync): inputs = tokenizer_chat.encode(text_sync, return_tensors="pt", max_length=512, truncation=True) outputs = model_chat.generate(inputs, max_length=128, num_beams=5) reply = tokenizer_chat.decode(outputs[0], skip_special_tokens=True) return reply loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _chat_llm_sync, text) async def text2speech(text: str) -> io.BytesIO: communicate = edge_tts.Communicate(text, voice="vi-VN-Nam-AiNeural") buffer = io.BytesIO() async for chunk in communicate.stream(): buffer.write(chunk) buffer.seek(0) return buffer @app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4") tts_mp3_path = None tts_wav_path = None try: # Lưu file mặt async with aiofiles.open(face_path, 'wb') as f_face: await f_face.write(await face.read()) # Lưu file audio upload async with aiofiles.open(audio_path, 'wb') as f_audio: audio_bytes = await audio.read() await f_audio.write(audio_bytes) # Chạy ASR chuyển giọng nói sang text transcription = await speech2text(audio_bytes) if not transcription.strip(): raise HTTPException(status_code=400, detail="No speech detected") # Chatbot trả lời reply_text = await chat_llm(transcription) # TTS tạo audio mp3 tts_audio = await text2speech(reply_text) tts_mp3_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.mp3") with open(tts_mp3_path, "wb") as f_tts: f_tts.write(tts_audio.getbuffer()) # Convert mp3 sang wav để Wav2Lip xử lý tts_wav_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") audio = AudioSegment.from_file(tts_mp3_path, format="mp3") audio.export(tts_wav_path, format="wav") # Chạy Wav2Lip lip-sync chạy trong executor tránh block event loop loop = asyncio.get_event_loop() await loop.run_in_executor(executor, run_wav2lip, face_path, tts_wav_path, output_video_path) # Trả về file video mp4 return FileResponse(output_video_path, media_type="video/mp4") except Exception as e: print("Error:", e) raise HTTPException(status_code=500, detail=str(e)) finally: # Xoá file tạm nếu tồn tại for fpath in [face_path, audio_path]: if os.path.exists(fpath): os.remove(fpath) for fpath in [tts_mp3_path, tts_wav_path]: if fpath and os.path.exists(fpath): os.remove(fpath) # (Nếu bạn cần phục vụ static files hoặc giao diện web, mount static files ở đây) # from fastapi.staticfiles import StaticFiles # app.mount("/", StaticFiles(directory="static", html=True), name="static") # Chạy server if __name__ == "__main__": import uvicorn uvicorn.run(app, host="0.0.0.0", port=8000, log_level="info")
Một số lưu ý quan trọng:
- Cài thêm thư viện
pydubnếu chưa có:
pip install pydub-
Cài
ffmpegđểpydubhoạt động (theo hướng dẫn phù hợp OS của bạn). -
Kiểm tra đảm bảo
inference_wav2lip.pyđược cấu hình đúng và hàmrun_wav2liphoạt động ổn. -
Các mô hình Huggingface nếu chưa download sẽ tự tải khi chạy, cần có internet.
Nếu bạn muốn mình hỗ trợ phần xử lý Wav2Lip hoặc phần frontend kèm theo, cứ gửi nói nhé!
- TTS dùng
- User
No module named 'torchaudio'
- Assistant
Lỗi
"No module named 'torchaudio'"xảy ra khi Python không tìm thấy thư việntorchaudiotrong môi trường hiện tại.
Cách khắc phục:
- Cài đặt torchaudio
Tùy theo phiên bản PyTorch và môi trường bạn đang dùng, bạn cài
torchaudiotương ứng.Ví dụ:
pip install torchaudio
- Cài đúng phiên bản
torchaudiophù hợp với PyTorch
Truy cập trang chủ PyTorch và xem hướng dẫn cài đặt cho hệ điều hành, CUDA hay CPU.
Ví dụ cài cho CPU trên Windows:
pip install torch torchaudio torchvision cpuonly -f https://download.pytorch.org/whl/torch_stable.html
- Kiểm tra phiên bản PyTorch
Nếu bạn có PyTorch rồi, nhớ cài
torchaudiocùng phiên bản.
- Sử dụng môi trường ảo
Bạn nên tạo môi trường ảo để đảm bảo không xung đột:
python -m venv venv source venv/bin/activate # unix/mac venv\Scripts\activate # windows pip install torch torchaudio fastapi uvicorn ...
Tổng kết:
- Cài
torchaudiobằng lệnh:pip install torchaudio - Hoặc theo hướng dẫn chính thức của PyTorch
- Nếu vẫn lỗi, bạn có thể gửi thông tin OS, python version, pytorch version để được hướng dẫn chi tiết hơn.
Nếu cần mình hỗ trợ cài đặt hoặc hướng dẫn thêm, cứ hỏi nhé!
- User
{"detail":"Not Found"}
- Assistant
Lỗi
{"detail":"Not Found"}trong FastAPI thường xảy ra khi bạn gọi một endpoint không tồn tại hoặc URL không đúng.
Nguyên nhân phổ biến
- Đường dẫn bạn gọi trên client (Postman, browser, frontend) không khớp với endpoint bạn khai báo (
@app.post("/chat")). - Phương thức HTTP sai (ví dụ bạn gửi GET mà endpoint chỉ nhận POST).
- Bạn gọi sai host hoặc port (như
http://localhost:8000/mà app không có route tương ứng). - Có thể app chưa chạy hoặc chạy ở port khác.
Kiểm tra và cách khắc phục
- Kiểm tra URL và phương thức
-
Khi bạn chạy server với lệnh:
uvicorn main:app --reloadThì server mặc định ở
http://127.0.0.1:8000. -
Endpoint bạn có:
@app.post("/chat") async def chat_api(...): ... -
Bạn phải gửi POST request tới:
http://127.0.0.1:8000/chat
- Kiểm tra kiểu request
-
Nếu bạn gửi request bằng browser (gõ url trực tiếp), nó sẽ là GET nên bị trả về 404 Not Found.
-
Bạn cần dùng Postman hoặc curl với method POST, ví dụ:
curl -X POST "http://127.0.0.1:8000/chat" -F "face=@path/to/face.jpg" -F "audio=@path/to/audio.wav"
- Kiểm tra log uvicorn
- Khi request tới, log uvicorn sẽ hiển thị đường dẫn được gọi và lỗi nếu có.
- Nếu không có log gì, có thể app chưa chạy hoặc sai host/port.
- Kiểm tra mount static files
Nếu bạn có đoạn:
app.mount("/", StaticFiles(directory="static", html=True), name="static")thì GET
"/"sẽ trả file static (index.html), mà các route khác vẫn chạy được. Nhưng nếu bạn gọi đúng POST/chatthì vẫn không bị ảnh hưởng.
Ví dụ test đơn giản sau khi chạy server:
Test bằng curl (giả định bạn có file face.jpg, audio.wav):
curl -X POST "http://127.0.0.1:8000/chat" -F "face=@face.jpg" -F "audio=@audio.wav"Nếu muốn test nhanh bằng Swagger UI:
-
Mở trình duyệt đến đường dẫn:
http://127.0.0.1:8000/docs -
Đây là trang giao diện API tương tác do FastAPI cung cấp, bạn có thể test POST
/chatdễ dàng.
Tóm lại
- Gửi request đúng phương thức (POST).
- Gửi request đúng đường dẫn (
/chat). - Đảm bảo app đang chạy đúng host-port.
- Dùng Swagger UI để test.
Nếu bạn vẫn gặp lỗi, bạn có thể gửi đoạn lệnh bạn gọi API hoặc công cụ bạn dùng (Postman/curl), mình giúp kiểm tra chi tiết!
- Đường dẫn bạn gọi trên client (Postman, browser, frontend) không khớp với endpoint bạn khai báo (
- User
vẫn lỗi
- Assistant
Lỗi 404
{"detail":"Not Found"}bạn gặp khi gọi API thường do yêu cầu không khớp với bất kỳ route nào trong ứng dụng FastAPI của bạn.Để giúp bạn khắc phục triệt để, mình gợi ý các bước thực hiện và kiểm tra kỹ càng như sau:
1. Kiểm tra server đã chạy đúng và đúng port chưa
- Chạy server bằng lệnh (giả sử file bạn đặt tên
main.py):
uvicorn main:app --reloadLưu ý nếu file của bạn tên khác (ví dụ
app.py), thaymain:appthànhapp:app.- Mặc định server chạy trên địa chỉ
http://127.0.0.1:8000.
2. Kiểm tra route
/chatđã được khai báo đúng chưaTrong code bạn gửi, route của bạn khai báo là:
@app.post("/chat") async def chat_api(...): ...Điều này nghĩa là bạn phải gọi POST đến endpoint
http://127.0.0.1:8000/chat.
3. Gọi API đúng cách
-
Không thể truy cập
/chatbằng trình duyệt vì bạn dùng POST, trình duyệt mặc định là GET sẽ trả 404. -
Bạn có thể test bằng công cụ như cURL, Postman, hoặc dùng Swagger UI của FastAPI:
3.1 Dùng cURL (điền đúng file của bạn):
curl -X POST "http://127.0.0.1:8000/chat" -F "face=@/path/to/face.jpg" -F "audio=@/path/to/audio.wav"3.2 Dùng Postman
-
Mở Postman, tạo request POST đến
http://127.0.0.1:8000/chat. -
Ở tab "Body", chọn form-data.
-
Thêm key
facekiểu File, chọn file ảnh. -
Thêm key
audiokiểu File, chọn file âm thanh. -
Gửi request.
3.3 Dùng Swagger UI
- Mở trình duyệt tới:
http://127.0.0.1:8000/docs- Tại đây bạn sẽ thấy danh sách API, chọn
/chat, nhấn "Try it out", tải file face và audio lên rồi gửi.
4. Kiểm tra xem có mount static files ghi đè không
Nếu bạn có đoạn:
from fastapi.staticfiles import StaticFiles app.mount("/", StaticFiles(directory="static", html=True), name="static")Thì khi bạn truy cập URL
/, server sẽ phục vụ thư mục static, nhưng các API khác vẫn phải hoạt động bình thường.Lưu ý: Đảm bảo không có route
/chatnào bị ghi đè hoặc đặt sai vị trí khai báo.
5. Kiểm tra location bạn gọi API
Nếu bạn gọi API từ frontend hoặc môi trường khác, hãy chắc chắn baseURL và port đúng.
6. Ví dụ code FastAPI tối giản để kiểm tra
Bạn thử tạo file
test_main.pyvới nội dung:from fastapi import FastAPI app = FastAPI() @app.post("/chat") async def chat_api(): return {"message": "Hello from /chat"}Chạy lệnh:
uvicorn test_main:app --reloadGọi thử:
curl -X POST http://127.0.0.1:8000/chatNếu vẫn ra 404 nghĩa là có vấn đề môi trường hoặc bạn gọi sai host/port.
7. Một số lưu ý nhỏ khác
-
Nếu chạy app trong Docker, kiểm tra port mapping.
-
Nếu gọi từ máy khác hoặc trong mạng khác, kiểm tra firewall, host.
-
Kiểm tra nhanh log uvicorn xem request có tới server không?
Nếu bạn đã thử tất cả trên mà vẫn lỗi, vui lòng gửi thêm:
-
Lệnh bạn dùng chạy uvicorn.
-
Lệnh hoặc cách bạn gọi API.
-
Cấu trúc file (tên file code, vị trí).
-
Log khi bật
uvicorn --log-level debug.
Mình sẽ hỗ trợ phân tích chi tiết hơn!
- Chạy server bằng lệnh (giả sử file bạn đặt tên
- User
{"detail":"Not Found"}
- Assistant
Lỗi
{"detail":"Not Found"}nghĩa là server FastAPI của bạn nhận được request tới một đường dẫn (URL) mà không tìm thấy route tương ứng. Nếu bạn đã chắc chắn gọi đường/chatvới phương thức POST theo đúng code bạn đưa, nhưng vẫn nhận lỗi này, thì có thể do một số nguyên nhân phổ biến sau đây:
1. Kiểm tra lại tên file và tham số chạy Uvicorn
- Giả sử file code của bạn nằm trong file tên
main.pyvà biến FastAPI tênappthì lệnh chạy FastAPI phải là:
uvicorn main:app --reloadNếu tên file hoặc biến FastAPI khác, ví dụ
app.pyvà biến làapp, thì:uvicorn app:app --reloadNếu sai tên file hoặc biến thì Uvicorn không load đúng app nên khi gọi API sẽ ra 404.
2. Xác minh URL chính xác bạn gọi
-
API
/chattrong code bạn khai báo nhận phương thức POST, nên bạn không thể truy cập bằng GET (ví dụ gõ URL trực tiếp trên trình duyệt). -
Bạn phải gọi:
-
URL:
http://localhost:8000/chat(hoặc127.0.0.1:8000/chat) -
Phương thức: POST
-
Body: form-data với 2 file là
facevàaudio(theo code bạn đưa)
-
Ví dụ gọi bằng curl:
curl -X POST http://localhost:8000/chat -F "face=@path/to/face.jpg" -F "audio=@path/to/audio.wav"
3. Kiểm tra xem app có mount thư mục static root
/khôngNếu bạn có đoạn:
app.mount("/", StaticFiles(directory="static", html=True), name="static")thì thư mục
staticsẽ phục vụ tất cả request GET tới/và các đường dẫn con. Nhưng/chatlà POST nên không bị ảnh hưởng.Tuy nhiên, nếu bạn không có thư mục
statichoặc mount sai, có thể bị lỗi hoặc ảnh hưởng.Bạn có thể thử comment dòng mount static để test lại nhanh.
4. Test app bằng tài liệu tương tác của FastAPI
Truy cập:
http://localhost:8000/docsTrang này hiển thị tất cả các endpoint FastAPI đang có. Nếu bạn không thấy
/chatxuất hiện ở đây nghĩa là app của bạn không load đúng hoặc route không được đăng ký.
5. Cách kiểm tra nhanh
Tạo file mới
test_main.pyvới nội dung tối giản:from fastapi import FastAPI app = FastAPI() @app.post("/chat") async def test_chat(): return {"msg": "Chat endpoint is working"}Chạy bằng:
uvicorn test_main:app --reloadGửi POST request đến
http://localhost:8000/chat.Nếu chạy được thì không có lỗi 404.
6. Lời khuyên bổ sung
-
Kiểm tra log của Uvicorn khi chạy server và khi bạn gửi request: nếu request không hiển thị trong log, có thể request không tới đúng server.
-
Nếu dùng Docker hoặc môi trường ảo, kiểm tra cấu hình mạng, port mapping...
Nếu vẫn gặp khó khăn, bạn vui lòng gửi:
-
File tên gì? (vd: main.py, app.py)
-
Lệnh bạn chạy uvicorn.
-
Cách bạn gọi API (curl, postman, frontend...).
-
Log output khi chạy server và gọi API.
Mình sẽ hỗ trợ bạn nhanh hơn!
- Giả sử file code của bạn nằm trong file tên
- User
cảnh báo: D:\Project_Pycharm\digital_human_demo.venv\lib\site-packages\pydub\utils.py:170: RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
- Assistant
Cảnh báo:
RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not worknghĩa là thư viện pydub không tìm thấy phần mềm ffmpeg hoặc avconv trên máy bạn để xử lý chuyển đổi âm thanh. Việc này có thể làm các chức năng như chuyển mp3 sang wav bị lỗi hoặc không hoạt động đúng.
Cách khắc phục
1. Cài đặt ffmpeg
-
Windows:
-
Truy cập trang tải chính thức: https://ffmpeg.org/download.html
-
Hoặc tải bản build sẵn từ:
https://www.gyan.dev/ffmpeg/builds/
https://github.com/BtbN/FFmpeg-Builds/releases -
Tải package Static build (ex:
ffmpeg-release-essentials.zip), giải nén ra thư mục (vd:C:\ffmpeg). -
Thêm đường dẫn đến thư mục
bintrong thư mục giải nén vào biến môi trường PATH:Ví dụ thêm
C:\ffmpeg\binvào PATH. -
Khởi động lại terminal/IDE để cập nhật biến PATH.
-
-
Linux (Ubuntu/Debian):
sudo apt update sudo apt install ffmpeg- macOS (dùng Homebrew):
brew install ffmpeg
2. Kiểm tra cài đặt
Sau khi cài đặt xong, mở terminal/gõ:
ffmpeg -versionNếu hiển thị thông tin phiên bản, nghĩa là đã cài thành công.
3. Chạy lại ứng dụng
Sau khi cài đặt ffmpeg và đảm bảo
ffmpegcó trong PATH, pydub sẽ dùng được để chuyển đổi tập tin âm thanh.
4. Lưu ý
Nếu bạn vẫn gặp lỗi dù đã cài, bạn có thể chỉ định trực tiếp đường dẫn ffmpeg trong code như sau:
from pydub import AudioSegment from pydub.utils import which AudioSegment.converter = which("ffmpeg") or "C:/ffmpeg/bin/ffmpeg.exe" # chú ý dùng đường dẫn đúng với máy bạn
Nếu cần hướng dẫn chi tiết cài ffmpeg trên hệ điều hành của bạn, bạn cứ hỏi nhé!
-
- User
Lỗi server: Internal Server Erro
- Assistant
Lỗi Internal Server Error (500) là lỗi chung do server trả về khi xảy ra ngoại lệ (exception) không được xử lý. Để xác định và sửa lỗi này trong FastAPI, bạn cần xem chi tiết thông báo lỗi (stacktrace) để biết nguyên nhân thật sự.
Dưới đây là các bước và gợi ý giúp bạn debug:
1. Bật log chi tiết cho uvicorn khi chạy server
Thay vì chạy:
uvicorn main:app --reloadbạn chạy thêm chế độ verbose log:
uvicorn main:app --reload --log-level debugĐiều này giúp bạn thấy chi tiết lỗi trong console khi server gặp sự cố.
2. Thêm xử lý lỗi bắt buộc hiển thị lỗi ra JSON
Bạn có thể thêm middleware hoặc exception handler để bắt lỗi toàn cục, ví dụ:
from fastapi import Request from fastapi.responses import JSONResponse @app.exception_handler(Exception) async def global_exception_handler(request: Request, exc: Exception): import traceback tb = ''.join(traceback.format_exception(type(exc), exc, exc.__traceback__)) print(f"Exception on path {request.url.path}:\n{tb}") return JSONResponse( status_code=500, content={"detail": "Internal Server Error", "error": str(exc)} )Điều này giúp bạn xem rõ hơn lỗi trong response JSON.
3. Debug từng bước trong endpoint
/chatBạn có thể thêm nhiều
print()hoặc import logging để in ra thông tin mỗi bước trong hàm/chat, ví dụ:print("Lưu file mặt...") print("Lưu file audio...") print(f"Nhận file audio, size={len(audio_bytes)} bytes") print(f"Phần chuyển speech2text...") print(f"Transcript: {transcription}") print(f"Phần chat bot trả lời...") print(f"Reply: {reply_text}") print(f"Phần text2speech...") print(f"Phần lưu file TTS...") print(f"Chạy Wav2Lip...") print(f"Trả video...")Quan sát và xem bước nào gây lỗi.
4. Lưu ý một số lỗi phổ biến
-
File audio không hợp lệ, đọc audio bằng
soundfilehoặctorchaudiolỗi. -
Thiếu thư viện cần thiết (các dependencies).
-
edge-ttskhông tạo ra dữ liệu âm thanh đúng. -
Hàm
run_wav2lipphát sinh lỗi (ví dụ file đầu vào không hợp lệ). -
Thiếu
ffmpeghoặcpydubkhông chạy được vì không tìm thấy ffmpeg.
5. Kiểm thử riêng từng phần
- Tạo các hàm test nhỏ, ví dụ chỉ chạy:
transcription = await speech2text(audio_bytes) print("Transcription:", transcription)-
Kiểm tra
chat_llm. -
Chạy
text2speechvà lưu file tạm để kiểm tra. -
Test
run_wav2liptrên các file mẫu cố định.
6. Nếu bạn thấy lỗi
"No module"hoặc lỗi import, cài thêm module bị thiếu (ví dụtorchaudio,pydub,edge-tts,...) bằng pip.
Nếu bạn có thể, vui lòng gửi:
-
Log chi tiết lỗi (stacktrace) bạn nhận được từ console khi 500 xuất hiện.
-
Một số đoạn code bạn nghi ngờ gây lỗi.
Mình sẽ hỗ trợ bạn phân tích cụ thể hơn!
-
- User
tối ưu đoạn code sau
- Assistant
Bạn vui lòng gửi đoạn code cần tối ưu nhé, mình sẽ giúp bạn!
- User
import asyncio from fastapi import FastAPI, UploadFile, File, HTTPException from fastapi.responses import FileResponse import torch import io import os import uuid import aiofiles import edge_tts from pydub import AudioSegment from pydub.utils import which
AudioSegment.converter = which("ffmpeg") or "ffmpeg.exe"
from transformers import ( WhisperProcessor, WhisperForConditionalGeneration, MT5Tokenizer, AutoModelForSeq2SeqLM )
from inference_wav2lip import run_wav2lip from concurrent.futures import ThreadPoolExecutor
Tạo thư mục lưu tạm nếu chưa có
UPLOAD_DIR = "uploads" OUTPUT_DIR = "outputs" os.makedirs(UPLOAD_DIR, exist_ok=True) os.makedirs(OUTPUT_DIR, exist_ok=True)
app = FastAPI()
Load Whisper ASR model + processor (lưu ý: có thể cần CUDA nếu máy bạn có GPU)
model_asr_name = "hoangdeeptry/whisper-vietnamese-3" processor_asr = WhisperProcessor.from_pretrained(model_asr_name) model_asr = WhisperForConditionalGeneration.from_pretrained(model_asr_name) model_asr.eval()
Load chatbot Vietnamese mT5
model_chat_name = "google/mt5-base" tokenizer_chat = MT5Tokenizer.from_pretrained(model_chat_name, use_fast=False) model_chat = AutoModelForSeq2SeqLM.from_pretrained(model_chat_name) model_chat.eval()
executor = ThreadPoolExecutor(max_workers=2)
async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): import soundfile as sf import torchaudio
audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) if sample_rate != 16000: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _speech2text_sync, audio_bytes)async def chat_llm(text: str) -> str: def _chat_llm_sync(text_sync): inputs = tokenizer_chat.encode(text_sync, return_tensors="pt", max_length=512, truncation=True) outputs = model_chat.generate(inputs, max_length=128, num_beams=5) reply = tokenizer_chat.decode(outputs[0], skip_special_tokens=True) return reply
loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _chat_llm_sync, text)async def text2speech(text: str) -> io.BytesIO: communicate = edge_tts.Communicate(text, voice="vi-VN-Nam-AiNeural") buffer = io.BytesIO() async for chunk in communicate.stream(): buffer.write(chunk) buffer.seek(0) return buffer
@app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4")
tts_mp3_path = None tts_wav_path = None try: # Lưu file mặt async with aiofiles.open(face_path, 'wb') as f_face: await f_face.write(await face.read()) # Lưu file audio upload async with aiofiles.open(audio_path, 'wb') as f_audio: audio_bytes = await audio.read() await f_audio.write(audio_bytes) # Chạy ASR chuyển giọng nói sang text transcription = await speech2text(audio_bytes) if not transcription.strip(): raise HTTPException(status_code=400, detail="No speech detected") # Chatbot trả lời reply_text = await chat_llm(transcription) # TTS tạo audio mp3 tts_audio = await text2speech(reply_text) tts_mp3_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.mp3") with open(tts_mp3_path, "wb") as f_tts: f_tts.write(tts_audio.getbuffer()) # Convert mp3 sang wav để Wav2Lip xử lý tts_wav_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") audio = AudioSegment.from_file(tts_mp3_path, format="mp3") audio.export(tts_wav_path, format="wav") # Chạy Wav2Lip lip-sync chạy trong executor tránh block event loop loop = asyncio.get_event_loop() await loop.run_in_executor(executor, run_wav2lip, face_path, tts_wav_path, output_video_path) # Trả về file video mp4 return FileResponse(output_video_path, media_type="video/mp4") except Exception as e: print("Error:", e) raise HTTPException(status_code=500, detail=str(e)) finally: # Xoá file tạm nếu tồn tại for fpath in [face_path, ]: if os.path.exists(fpath): os.remove(fpath) for fpath in [tts_mp3_path, tts_wav_path]: if fpath and os.path.exists(fpath): os.remove(fpath)(Nếu bạn cần phục vụ static files hoặc giao diện web, mount static files ở đây)
from fastapi.staticfiles import StaticFiles app.mount("/", StaticFiles(directory="static", html=True), name="static")
Chạy server
if name == "main": import uvicorn uvicorn.run(app, host="0.0.0.0", port=8000, log_level="info") print("Lưu file mặt...") print("Lưu file audio...") print(f"Nhận file audio, size={len(audio_bytes)} bytes") print(f"Phần chuyển speech2text...") print(f"Transcript: {transcription}") print(f"Phần chat bot trả lời...") print(f"Reply: {reply_text}") print(f"Phần text2speech...") print(f"Phần lưu file TTS...") print(f"Chạy Wav2Lip...") print(f"Trả video...")
- Assistant
Dưới đây là phiên bản tối ưu và sạch hơn của code bạn, với các điểm cải tiến:
- Tách log rõ trong API (dùng logging thay vì print, tránh gọi print ngoài hàm
__main__) - Xóa toàn bộ file tạm (face, audio, tts mp3, wav, output video) trong
finallytránh sót file - Dùng async/await với ThreadPoolExecutor đúng cách
- Thêm kiểm tra và xử lý lỗi chi tiết, tránh lỗi unbound biến
- Cải thiện import, setup ffmpeg cho pydub
import asyncio import logging import os import io import uuid from fastapi import FastAPI, UploadFile, File, HTTPException from fastapi.responses import FileResponse from fastapi.staticfiles import StaticFiles import torch import aiofiles import edge_tts from pydub import AudioSegment from pydub.utils import which from transformers import ( WhisperProcessor, WhisperForConditionalGeneration, MT5Tokenizer, AutoModelForSeq2SeqLM ) from inference_wav2lip import run_wav2lip from concurrent.futures import ThreadPoolExecutor # Setup logging logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) # Setup ffmpeg path for pydub AudioSegment.converter = which("ffmpeg") or "ffmpeg.exe" # Directories UPLOAD_DIR = "uploads" OUTPUT_DIR = "outputs" os.makedirs(UPLOAD_DIR, exist_ok=True) os.makedirs(OUTPUT_DIR, exist_ok=True) # FastAPI app app = FastAPI() # Mount static files if needed app.mount("/", StaticFiles(directory="static", html=True), name="static") # Load models once logger.info("Loading ASR model...") model_asr_name = "hoangdeeptry/whisper-vietnamese-3" processor_asr = WhisperProcessor.from_pretrained(model_asr_name) model_asr = WhisperForConditionalGeneration.from_pretrained(model_asr_name) model_asr.eval() logger.info("Loading chatbot model...") model_chat_name = "google/mt5-base" tokenizer_chat = MT5Tokenizer.from_pretrained(model_chat_name, use_fast=False) model_chat = AutoModelForSeq2SeqLM.from_pretrained(model_chat_name) model_chat.eval() # ThreadPool for blocking calls executor = ThreadPoolExecutor(max_workers=2) async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): import soundfile as sf import torchaudio audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) if sample_rate != 16000: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription loop = asyncio.get_event_loop() transcription = await loop.run_in_executor(executor, _speech2text_sync, audio_bytes) logger.info(f"ASR transcription: {transcription}") return transcription async def chat_llm(text: str) -> str: def _chat_llm_sync(text_sync): inputs = tokenizer_chat.encode(text_sync, return_tensors="pt", max_length=512, truncation=True) outputs = model_chat.generate(inputs, max_length=128, num_beams=5) reply = tokenizer_chat.decode(outputs[0], skip_special_tokens=True) return reply loop = asyncio.get_event_loop() reply = await loop.run_in_executor(executor, _chat_llm_sync, text) logger.info(f"Chatbot reply: {reply}") return reply async def text2speech(text: str) -> io.BytesIO: communicate = edge_tts.Communicate(text, voice="vi-VN-Nam-AiNeural") buffer = io.BytesIO() async for chunk in communicate.stream(): buffer.write(chunk) buffer.seek(0) logger.info(f"TTS audio generated, size={buffer.getbuffer().nbytes} bytes") return buffer @app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4") tts_mp3_path = None tts_wav_path = None try: logger.info("Saving face file...") async with aiofiles.open(face_path, "wb") as f_face: await f_face.write(await face.read()) logger.info("Saving audio file...") async with aiofiles.open(audio_path, "wb") as f_audio: audio_bytes = await audio.read() await f_audio.write(audio_bytes) logger.info("Running ASR...") transcription = await speech2text(audio_bytes) if not transcription.strip(): logger.warning("No speech detected") raise HTTPException(status_code=400, detail="No speech detected") logger.info("Running chatbot LLM...") reply_text = await chat_llm(transcription) logger.info("Running TTS...") tts_audio = await text2speech(reply_text) tts_mp3_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.mp3") with open(tts_mp3_path, "wb") as f_tts: f_tts.write(tts_audio.getbuffer()) logger.info("Converting TTS mp3 to wav...") tts_wav_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") audio = AudioSegment.from_file(tts_mp3_path, format="mp3") audio.export(tts_wav_path, format="wav") logger.info("Running Wav2Lip lip-sync...") loop = asyncio.get_event_loop() await loop.run_in_executor(executor, run_wav2lip, face_path, tts_wav_path, output_video_path) logger.info(f"Return video file: {output_video_path}") return FileResponse(output_video_path, media_type="video/mp4") except Exception as e: logger.error(f"Error in /chat endpoint: {e}", exc_info=True) raise HTTPException(status_code=500, detail=str(e)) finally: # Xóa file tạm, kiểm tra tồn tại trước khi xóa logger.info("Cleaning up temporary files...") for path in [face_path, audio_path, tts_mp3_path, tts_wav_path]: if path and os.path.exists(path): os.remove(path) if os.path.exists(output_video_path): os.remove(output_video_path) if __name__ == "__main__": import uvicorn uvicorn.run(app, host="0.0.0.0", port=8000, log_level="info")
Những điểm tối ưu chính
- Dùng Logging chuẩn (
logging), dễ kiểm soát, không in lộn xộn ra console - Đảm bảo các file tạm luôn được xóa sạch
- Chạy các hàm blocking trong executor tránh block event loop
- Không in log debug ngoài hàm main mà đặt trong các function
- Dùng
asyncio.get_event_loop()một lần trong hàm async gọi executor - Xử lý lỗi chi tiết, log stacktrace rõ ràng giúp debug dễ dàng
Nếu bạn cần thêm tối ưu về mặt hiệu năng hoặc cache model, bạn có thể mở rộng thêm nhé!
- Tách log rõ trong API (dùng logging thay vì print, tránh gọi print ngoài hàm
- User
INFO:main:Loading ASR model... INFO:main:Loading chatbot model... The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization. The tokenizer class you load from this checkpoint is 'T5Tokenizer'. The class this function is called from is 'MT5Tokenizer'. You are using the default legacy behaviour of the <class 'transformers.models.mt5.tokenization_mt5.MT5Tokenizer'>. This is expected, and simply means that the
legacy(previous) behavior will be used so nothing changes for you. If you want to use the new behaviour, setlegacy=False. This should only be set if you understand what it means, and thoroughly read the reason why this was added as explained in https://github.com/huggingface/transformers/pull/24565 INFO: Started server process [20020] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit) - Assistant
Thông báo bạn đang thấy là một warning từ thư viện Transformers liên quan đến việc khởi tạo tokenizer, không phải lỗi nghiêm trọng, server của bạn vẫn đang hoạt động bình thường.
Giải thích warning (cảnh báo)
The tokenizer class you load from this checkpoint is not the same type...- Bạn đang load tokenizer từ checkpoint có tokenizer class là
T5Tokenizer. - Nhưng bạn gọi hàm khởi tạo của
MT5Tokenizer. - Transformers đang dùng cơ chế "legacy" để giữ tương thích với mã cũ.
- Nếu muốn dùng hành vi mới (new behavior), bạn có thể set
legacy=Falsekhi gọiMT5Tokenizer.from_pretrained(...).
Còn không, bạn có thể bỏ qua cảnh báo này vì nó không ảnh hưởng nghiêm trọng.
Cách xử lý
Nếu bạn muốn gỡ cảnh báo này, sửa đoạn:
tokenizer_chat = MT5Tokenizer.from_pretrained(model_chat_name, use_fast=False)thành (bổ sung
legacy=False):tokenizer_chat = MT5Tokenizer.from_pretrained(model_chat_name, use_fast=False, legacy=False)Lưu ý:
Bạn nên tham khảo kỹ pull request sau (với những thay đổi về tokenizer legacy):
https://github.com/huggingface/transformers/pull/24565
Tổng kết
- Đây chỉ là cảnh báo, không gây lỗi ứng dụng.
- Nếu dịch vụ của bạn chạy ổn, có thể bỏ qua mà không cần thay đổi.
- Nếu muốn hết cảnh báo, áp dụng
legacy=Falsenhư trên, nhưng nên test kỹ.
Nếu bạn cần hỗ trợ phần khác hoặc gặp lỗi thực sự khi chạy app, cứ gửi thông tin mình giúp bạn!
- Bạn đang load tokenizer từ checkpoint có tokenizer class là
- User
Method Not Allowed
- Assistant
Lỗi
Method Not Allowed(HTTP 405) nghĩa là bạn đã gọi đến đúng URL nhưng sử dụng sai phương thức HTTP. Ví dụ, endpoint của bạn chỉ định nhận POST, nhưng bạn lại gửi request bằng GET hoặc phương thức khác.
Nguyên nhân phổ biến
- API bạn định nghĩa là
@app.post("/chat"), nghĩa là chỉ nhận phương thức POST. - Bạn gửi request GET, PUT, DELETE... đến
/chatđều sẽ bị trả về lỗi 405. - Gửi request bằng trình duyệt trực tiếp (nhấn enter URL) sẽ gửi GET, nên bạn sẽ gặp lỗi này cho endpoint chỉ nhận POST.
Cách khắc phục
- Gửi request với đúng phương thức POST
-
Nếu bạn dùng
curl, ví dụ:curl -X POST http://localhost:8000/chat -F "face=@path/to/face.jpg" -F "audio=@path/to/audio.wav" -
Nếu dùng Postman hoặc công cụ API, chọn phương thức POST rồi gửi request.
- Kiểm tra đoạn frontend gửi request
- Đảm bảo bạn gửi POST, không phải GET.
Kiểm tra nhanh bằng Swagger UI
-
Mở trình duyệt trên
http://localhost:8000/docs -
Tìm và thử gọi thử
/chatvới method POST.
Nếu muốn hỗ trợ thêm
Bạn có thể gửi:
-
Cách bạn gọi API (công cụ dùng, đoạn code frontend, lệnh curl...)
-
Địa chỉ URL và method bạn dùng.
Mình sẽ hỗ trợ hướng dẫn cụ thể hơn!
- API bạn định nghĩa là
- User
bạn sửa code đầy đủ giúp
- Assistant
Dưới đây là đoạn code FastAPI đầy đủ chuẩn, đảm bảo endpoint
/chatchỉ nhận POST, bạn có thể test dễ dàng bằng Postman hoặc curl với method POST.Mình cũng bổ sung logging cơ bản và cấu trúc file tạm được xóa sạch tránh rác, đồng thời chú thích rõ từng phần.
import asyncio import logging import os import io import uuid from fastapi import FastAPI, UploadFile, File, HTTPException from fastapi.responses import FileResponse import torch import aiofiles import edge_tts from pydub import AudioSegment from pydub.utils import which from transformers import ( WhisperProcessor, WhisperForConditionalGeneration, MT5Tokenizer, AutoModelForSeq2SeqLM ) from inference_wav2lip import run_wav2lip from concurrent.futures import ThreadPoolExecutor # Thiết lập logging logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) # Thiết lập path ffmpeg cho pydub nếu cần AudioSegment.converter = which("ffmpeg") or "ffmpeg.exe" # Thư mục lưu trữ tệp UPLOAD_DIR = "uploads" OUTPUT_DIR = "outputs" os.makedirs(UPLOAD_DIR, exist_ok=True) os.makedirs(OUTPUT_DIR, exist_ok=True) # Khởi tạo FastAPI app app = FastAPI() # Load các model một lần lúc khởi động server logger.info("Loading ASR model...") model_asr_name = "hoangdeeptry/whisper-vietnamese-3" processor_asr = WhisperProcessor.from_pretrained(model_asr_name) model_asr = WhisperForConditionalGeneration.from_pretrained(model_asr_name) model_asr.eval() logger.info("Loading chatbot model...") model_chat_name = "google/mt5-base" tokenizer_chat = MT5Tokenizer.from_pretrained(model_chat_name, use_fast=False) model_chat = AutoModelForSeq2SeqLM.from_pretrained(model_chat_name) model_chat.eval() # ThreadPool để chạy các hàm blocking không block event loop executor = ThreadPoolExecutor(max_workers=2) async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): import soundfile as sf import torchaudio audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) if sample_rate != 16000: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription loop = asyncio.get_event_loop() transcription = await loop.run_in_executor(executor, _speech2text_sync, audio_bytes) logger.info(f"ASR transcription: {transcription}") return transcription async def chat_llm(text: str) -> str: def _chat_llm_sync(text_sync): inputs = tokenizer_chat.encode(text_sync, return_tensors="pt", max_length=512, truncation=True) outputs = model_chat.generate(inputs, max_length=128, num_beams=5) reply = tokenizer_chat.decode(outputs[0], skip_special_tokens=True) return reply loop = asyncio.get_event_loop() reply = await loop.run_in_executor(executor, _chat_llm_sync, text) logger.info(f"Chatbot reply: {reply}") return reply async def text2speech(text: str) -> io.BytesIO: communicate = edge_tts.Communicate(text, voice="vi-VN-Nam-AiNeural") buffer = io.BytesIO() async for chunk in communicate.stream(): buffer.write(chunk) buffer.seek(0) logger.info(f"TTS audio generated, size={buffer.getbuffer().nbytes} bytes") return buffer @app.post("/chat") # Chỉ nhận POST async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4") tts_mp3_path = None tts_wav_path = None try: logger.info("Saving face file...") async with aiofiles.open(face_path, "wb") as f_face: await f_face.write(await face.read()) logger.info("Saving audio file...") async with aiofiles.open(audio_path, "wb") as f_audio: audio_bytes = await audio.read() await f_audio.write(audio_bytes) logger.info("Running ASR...") transcription = await speech2text(audio_bytes) if not transcription.strip(): raise HTTPException(status_code=400, detail="No speech detected") logger.info("Running chatbot LLM...") reply_text = await chat_llm(transcription) logger.info("Running TTS...") tts_audio = await text2speech(reply_text) tts_mp3_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.mp3") with open(tts_mp3_path, "wb") as f_tts: f_tts.write(tts_audio.getbuffer()) logger.info("Converting TTS mp3 to wav...") tts_wav_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") audio_seg = AudioSegment.from_file(tts_mp3_path, format="mp3") audio_seg.export(tts_wav_path, format="wav") logger.info("Running Wav2Lip lip-sync...") loop = asyncio.get_event_loop() await loop.run_in_executor(executor, run_wav2lip, face_path, tts_wav_path, output_video_path) logger.info(f"Returning output video at {output_video_path} ...") return FileResponse(output_video_path, media_type="video/mp4") except Exception as e: logger.error(f"Error in /chat endpoint: {e}", exc_info=True) raise HTTPException(status_code=500, detail=f"Server error: {str(e)}") finally: # Xóa file tạm for p in [face_path, audio_path, tts_mp3_path, tts_wav_path, output_video_path]: if p and os.path.exists(p): os.remove(p) if __name__ == "__main__": import uvicorn uvicorn.run(app, host="0.0.0.0", port=8000, log_level="info")
Hướng dẫn test
- Gửi POST request đến
http://localhost:8000/chat. - Body dạng
form-datagồm 2 trường:face: file ảnh (jpg, png,...)audio: file audio (wav, mp3,...)
Nếu bạn gọi API bằng trình duyệt (nhập URL):
- Kết quả sẽ là lỗi Method Not Allowed, vì trình duyệt gửi GET, trong khi server chỉ nhận POST với
/chat.
Nếu còn thắc mắc hay lỗi gì, cứ báo mình nhé!
- Gửi POST request đến
- User
{"detail":"Not Found"}
- Assistant
Lỗi
{"detail":"Not Found"}khi bạn gọi API FastAPI thường do:- Gọi sai URL
- Gọi đúng URL nhưng sử dụng sai HTTP method
- Server chưa load được đúng app/endpoint
- Có mount static file ghi đè hoặc sai cấu hình route
Các kiểm tra và hướng dẫn khắc phục
1. Đảm bảo gọi đúng URL endpoint
/chatvà method là POSTVí dụ gọi
POSTtới:http://localhost:8000/chatKhông phải GET, PUT, DELETE...
Bạn không thể dùng trình duyệt truy cập đường dẫn này vì trình duyệt mặc định gửi GET sẽ nhận
404 Not Found.
2. Kiểm tra lệnh chạy server
- Nếu file FastAPI tên là
main.pyvà app làapp, hãy chạy:
uvicorn main:app --reload- Nếu file bạn tên khác, ví dụ
app.py, bạn chạy:
uvicorn app:app --reloadSai tên file hoặc biến app sẽ dẫn tới không load được endpoint.
3. Test API bằng công cụ Postman hoặc curl
Dùng curl:
curl -X POST http://localhost:8000/chat -F "face=@path/to/face.jpg" -F "audio=@path/to/audio.wav"Dùng fastapi swagger interactive:
Mở trình duyệt truy cập:
http://localhost:8000/docsBạn sẽ thấy danh sách API, thử gọi thử
/chatbằng giao diện này.
4. Kiểm tra xem có mount static files không gây ảnh hưởng
Nếu bạn có dòng code:
from fastapi.staticfiles import StaticFiles app.mount("/", StaticFiles(directory="static", html=True), name="static")Thì mọi request GET đến
/và đường dẫn con sẽ phục vụ file tĩnh, nhưng request POST tới/chatvẫn phải được xử lý bình thường.Bạn có thể thử comment dòng này tạm thời để kiểm tra.
5. Tạo file test nhỏ để xác minh
Tạo file
test_main.pyvới nội dung:from fastapi import FastAPI app = FastAPI() @app.post("/chat") async def chat(): return {"result": "success"}Chạy:
uvicorn test_main:app --reloadGửi POST tới
/chatnếu vẫn lỗi Not Found thì chắc chắn môi trường hoặc cách chạy server, gọi api có vấn đề.
6. Một số lưu ý khác
- Kiểm tra log khi khởi chạy uvicorn có lỗi gì không.
- Kiểm tra port server chạy có đúng không.
- Nếu dùng Docker hay môi trường ảo, kiểm tra cấu hình mạng.
Nếu bạn vẫn chưa giải quyết được, vui lòng gửi:
- Tên file FastAPI của bạn.
- Lệnh bạn dùng để chạy uvicorn.
- Cách bạn gọi API (ví dụ curl, postman, code frontend).
- Toàn bộ đoạn code FastAPI (để mình kiểm tra).
- Log chạy server và log khi gọi yêu cầu.
Mình sẽ hỗ trợ tiếp nhé!
- User
khi thu âm. click nút dừng thu âm thì bào lỗi Internal Server Error
- Assistant
Lỗi Internal Server Error (500) khi bạn bấm dừng thu âm (và gửi dữ liệu âm thanh lên server) thường là do có lỗi trong quá trình xử lý request ở phía server. Để xử lý và khắc phục lỗi này, bạn cần làm một số bước như sau:
1. Xem log server chi tiết
-
Mở terminal chạy server, nâng mức log lên DEBUG hoặc INFO và xem traceback lỗi chi tiết khi bấm nút dừng thu âm gửi request.
-
Ví dụ chạy uvicorn:
uvicorn main:app --reload --log-level debugKhi sự kiện lỗi xảy ra, bạn sẽ thấy chi tiết lỗi (thông báo exception và traceback) giúp xác định nguyên nhân chính xác.
2. Kiểm tra:
a) Dữ liệu âm thanh gửi có đúng không?
-
Kiểm tra phần frontend gửi request, đặc biệt phần audio gửi lên: định dạng âm thanh, có dữ liệu không, header
Content-Typechuẩn. -
Nếu gửi file rỗng hoặc định dạng không đúng, phía server đọc âm thanh có thể lỗi.
b) Phần đọc audio trên server có lỗi?
-
Đoạn code bạn dùng
soundfilevàtorchaudiođọc audio từ bytes rất nhạy cảm với định dạng và codec của file. -
Có thể file bạn gửi không chuẩn WAV hoặc sample rate khác 16kHz mà đoạn code xử lý chưa chuẩn.
-
Bạn nên thêm xử lý ngoại lệ (try/except) trong hàm
speech2text()khi đọc file âm thanh, in lỗi ra để dễ debug.
3. Ví dụ cách bổ sung xử lý ngoại lệ trong speech2text
async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): import soundfile as sf import torchaudio try: audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) if sample_rate != 16000: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription except Exception as e: print("Error in speech2text processing:", e) raise loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _speech2text_sync, audio_bytes)
4. Kiểm tra xem client có gửi file audio đúng?
-
Nếu bạn dùng JavaScript lấy âm thanh từ mic, có thể bạn gửi nhầm dạng Blob không đúng MIME type hoặc chưa base64 chuyển về đúng nhị phân.
-
Đảm bảo gửi file dưới dạng
FormDataupload đúng:
const formData = new FormData(); formData.append("face", faceFile); formData.append("audio", audioFile); fetch("/chat", { method: "POST", body: formData });
5. Xem lại phần
aiofilesghi file trên server- Đảm bảo file được ghi đầy đủ, không bị lỗi mất kết nối giữa chừng.
6. Tóm tắt
- Mở log server ở chế độ debug xem lỗi chi tiết tại server.
- Kiểm tra kỹ dữ liệu audio gửi lên server.
- Thêm try/except quanh đoạn đọc âm thanh và in lỗi.
- Test từng bước: gửi file âm thanh sample chuẩn xem server xử lý ổn không.
- Chạy thử cái demo endpoint
/chatvới file audio đơn giản xem có OK không.
Nếu bạn giữ nguyên đoạn code server hiện tại, vui lòng gửi log lỗi chi tiết khi xảy ra Internal Server Error để mình giúp phân tích kỹ hơn nhé!
-
- User
bạn sửa code đầy đủ
- Assistant
Dưới đây là phiên bản code đầy đủ, tối ưu và bổ sung xử lý ngoại lệ chi tiết trong phần đọc file âm thanh để tránh lỗi Internal Server Error khi xử lý file âm thanh không hợp lệ hoặc có vấn đề.
import asyncio import logging import os import io import uuid from fastapi import FastAPI, UploadFile, File, HTTPException from fastapi.responses import FileResponse import torch import aiofiles import edge_tts from pydub import AudioSegment from pydub.utils import which from transformers import ( WhisperProcessor, WhisperForConditionalGeneration, MT5Tokenizer, AutoModelForSeq2SeqLM ) from inference_wav2lip import run_wav2lip from concurrent.futures import ThreadPoolExecutor logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) AudioSegment.converter = which("ffmpeg") or "ffmpeg.exe" UPLOAD_DIR = "uploads" OUTPUT_DIR = "outputs" os.makedirs(UPLOAD_DIR, exist_ok=True) os.makedirs(OUTPUT_DIR, exist_ok=True) app = FastAPI() model_asr_name = "hoangdeeptry/whisper-vietnamese-3" processor_asr = WhisperProcessor.from_pretrained(model_asr_name) model_asr = WhisperForConditionalGeneration.from_pretrained(model_asr_name) model_asr.eval() model_chat_name = "google/mt5-base" tokenizer_chat = MT5Tokenizer.from_pretrained(model_chat_name, use_fast=False) model_chat = AutoModelForSeq2SeqLM.from_pretrained(model_chat_name) model_chat.eval() executor = ThreadPoolExecutor(max_workers=2) async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): import soundfile as sf import torchaudio try: audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) if sample_rate != 16000: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription except Exception as e: logger.error(f"Error processing speech2text: {e}", exc_info=True) raise loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _speech2text_sync, audio_bytes) async def chat_llm(text: str) -> str: def _chat_llm_sync(text_sync): inputs = tokenizer_chat.encode(text_sync, return_tensors="pt", max_length=512, truncation=True) outputs = model_chat.generate(inputs, max_length=128, num_beams=5) reply = tokenizer_chat.decode(outputs[0], skip_special_tokens=True) return reply loop = asyncio.get_event_loop() return await loop.run_in_executor(executor, _chat_llm_sync, text) async def text2speech(text: str) -> io.BytesIO: communicate = edge_tts.Communicate(text, voice="vi-VN-Nam-AiNeural") buffer = io.BytesIO() async for chunk in communicate.stream(): buffer.write(chunk) buffer.seek(0) return buffer @app.post("/chat") async def chat_api(face: UploadFile = File(...), audio: UploadFile = File(...)): unique_id = str(uuid.uuid4()) face_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{face.filename}") audio_path = os.path.join(UPLOAD_DIR, f"{unique_id}_{audio.filename}") output_video_path = os.path.join(OUTPUT_DIR, f"{unique_id}_out.mp4") tts_mp3_path = None tts_wav_path = None try: logger.info("Saving face image...") async with aiofiles.open(face_path, "wb") as f_face: await f_face.write(await face.read()) logger.info("Saving audio file...") async with aiofiles.open(audio_path, "wb") as f_audio: audio_bytes = await audio.read() await f_audio.write(audio_bytes) logger.info("Running speech to text...") transcription = await speech2text(audio_bytes) if not transcription.strip(): raise HTTPException(status_code=400, detail="No speech detected") logger.info(f"Transcription result: {transcription}") logger.info("Generating chatbot reply...") reply_text = await chat_llm(transcription) logger.info(f"Chatbot reply: {reply_text}") logger.info("Generating TTS audio...") tts_audio = await text2speech(reply_text) tts_mp3_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.mp3") with open(tts_mp3_path, "wb") as f_tts: f_tts.write(tts_audio.getbuffer()) logger.info("Converting TTS mp3 to wav...") tts_wav_path = os.path.join(UPLOAD_DIR, f"{unique_id}_tts.wav") audio_seg = AudioSegment.from_file(tts_mp3_path, format="mp3") audio_seg.export(tts_wav_path, format="wav") logger.info("Running Wav2Lip...") loop = asyncio.get_event_loop() await loop.run_in_executor(executor, run_wav2lip, face_path, tts_wav_path, output_video_path) logger.info(f"Returning video file: {output_video_path}") return FileResponse(output_video_path, media_type="video/mp4") except Exception as e: logger.error(f"Internal server error: {e}", exc_info=True) raise HTTPException(status_code=500, detail=str(e)) finally: # Xóa sạch file tạm sau khi xử lý for f in [face_path, audio_path, tts_mp3_path, tts_wav_path, output_video_path]: if f and os.path.exists(f): try: os.remove(f) except Exception as ex: logger.warning(f"Failed to delete temp file {f}: {ex}") if __name__ == "__main__": import uvicorn uvicorn.run(app, host="0.0.0.0", port=8000, log_level="info")
Lưu ý
- Phần khóa
speech2textđã có try-except để bắt lỗi đọc file âm thanh. - Phần log sẽ giúp bạn dễ dàng thấy lỗi chi tiết ở server console.
- Hãy chắc chắn frontend gửi file audio hợp lệ (định dạng wav/mp3).
- Bạn có thể kiểm tra request gửi lên có dữ liệu đúng bằng cách debug frontend hoặc mạng.
Nếu cần hỗ trợ thêm về frontend hoặc phần khác bạn cứ hỏi nhé!
- Phần khóa
- User
aise LibsndfileError(err, prefix="Error opening {0!r}: ".format(self.name)) soundfile.LibsndfileError: Error opening <_io.BytesIO object at 0x000001A2FAF18130>: Format not recognised.
- Assistant
Lỗi này:
soundfile.LibsndfileError: Error opening <_io.BytesIO object at 0x...>: Format not recognised.nghĩa là
soundfile(thường trong đoạn code bạn dùng làsf.read()) không thể nhận diện định dạng file âm thanh bạn truyền vào dưới dạngBytesIO.
Nguyên nhân phổ biến:
-
Dữ liệu bạn truyền vào
sf.read()không phải là một file audio hợp lệ (ví dụ dữ liệu rỗng, hoặc định dạng mp3 trong khisoundfilechỉ hỗ trợ một số định dạng như WAV, FLAC,...). -
Dữ liệu là mp3 nhưng
soundfilekhông hỗ trợ mp3, phải dùngtorchaudiođể đọc hoặc chuyển đổi trước.
Cách xử lý
1. Kiểm tra định dạng audio bạn nhận được ở server
-
Phổ biến, client gửi file âm thanh dạng MP3, trong khi bạn gọi
soundfile.read(),soundfilekhông hỗ trợ mp3 nên sẽ báo lỗi. -
Giải pháp là ưu tiên dùng
torchaudio.load()thay vìsoundfile.read()trong trường hợp file không phải WAV. -
Hoặc kiểm tra định dạng file (extension hoặc mime) để quyết định cách đọc.
2. Ví dụ sửa hàm
speech2textdef _speech2text_sync(audio_bytes_sync): import soundfile as sf import torchaudio import io # Thử đọc bằng soundfile (hỗ trợ wav/flac) try: audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) # Nếu đọc thành công mà sample_rate không phải 16kHz thì resample if sample_rate != 16000: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() except RuntimeError: # Nếu soundfile không đọc được (ví dụ file mp3) -> đọc bằng torchaudio waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) if sr != 16000: resampler = torchaudio.transforms.Resample(sr, 16000) waveform = resampler(waveform) audio_input = waveform.squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True)[0] return transcription
3. Lưu ý
-
torchaudio.load()hỗ trợ nhiều định dạng hơn, bao gồm mp3, wav, flac,... -
Nhưng
torchaudio.load()trả về tensor, cần convert sangnumpynhư ví dụ trên.
Tóm lại
Thay thế đoạn đọc audio của bạn bằng:
-
Thử đọc bằng
soundfile.read(). -
Nếu lỗi, fallback đọc bằng
torchaudio.load().
Điều này sẽ xử lý được file định dạng mp3 hoặc wav bất kể.
Nếu cần, bạn có thể gửi nguyên đoạn hàm bị lỗi, mình giúp mình sửa chi tiết hơn!
-
- User
File "D:\Project_Pycharm\digital_human_demo\app.py", line 122, in chat_api if not transcription.strip(): AttributeError: 'NoneType' object has no attribute 'strip'
- Assistant
Lỗi
AttributeError: 'NoneType' object has no attribute 'strip'xuất hiện tại dòng:
if not transcription.strip():có nghĩa biến
transcription=None, nên bạn không thể gọi.strip()được.
Nguyên nhân có thể
- Hàm
speech2texttrả vềNonethay vì string khi gặp lỗi hoặc không đọc được âm thanh. - Trong hàm
speech2text, có thể đoạn code chạy bị fail nhưng không raise lỗi mà trả về giá trịNone.
Cách xử lý đơn giản
1. Thêm kiểm tra trong
speech2textđể luôn trả về string (ít nhất là empty string) hoặc raise lỗi khi không nhận được transcription.2. Trong
chat_api, kiểm tratranscription is Nonetrước khi dùng.strip().
Ví dụ sửa
speech2text:async def speech2text(audio_bytes: bytes) -> str: def _speech2text_sync(audio_bytes_sync): import soundfile as sf import torchaudio import io try: # Thử đọc bằng soundfile audio_input, sample_rate = sf.read(io.BytesIO(audio_bytes_sync)) if sample_rate != 16000: waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) resampler = torchaudio.transforms.Resample(sr, 16000) audio_input = resampler(waveform).squeeze().numpy() except RuntimeError: # Fallback đọc bằng torchaudio cho mp3 hoặc lỗi đọc waveform, sr = torchaudio.load(io.BytesIO(audio_bytes_sync)) if sr != 16000: resampler = torchaudio.transforms.Resample(sr, 16000) waveform = resampler(waveform) audio_input = waveform.squeeze().numpy() inputs = processor_asr(audio_input, sampling_rate=16000, return_tensors="pt") with torch.no_grad(): predicted_ids = model_asr.generate(inputs.input_features) transcription = processor_asr.batch_decode(predicted_ids, skip_special_tokens=True) return transcription[0] if transcription else "" loop = asyncio.get_event_loop() result = await loop.run_in_executor(executor, _speech2text_sync, audio_bytes_sync) if result is None: return "" return resultSửa kiểm tra trong
chat_api:transcription = await speech2text(audio_bytes) if not transcription or not transcription.strip(): raise HTTPException(status_code=400, detail="No speech detected")
Kết luận
Bạn cần chắc chắn
speech2texttrả về một string, không bao giờ trảNone. Nếu không đọc được âm thanh, trả về chuỗi rỗng hoặc raise lỗi.
Nếu bạn cần, mình có thể hỗ trợ bạn sửa đoạn code cụ thể luôn nhé!
- Hàm