We introduce the concept of DUPLEX MODEL that can receive inputs from users while…
- User
We introduce the concept of DUPLEX MODEL that can receive inputs from users while generating outputs and adjust dynamically to instant user feedback such as interruptions. Rather than turn-based, the duplex model could interact with users in real time. To demonstrate the performance of DUPLEX MODEL, we train an example model, MiniCPM-duplex, based on the MiniCPM-2.4B. The training data of DUPLEX MODEL is different from common training corpus, which are segmented into slices to learn real input/output in real-time scenarios. Try MiniCPM-duplex
Here is an instruction for building MiniCPM-duplex demo on your Mac book or linux server. install dependencies
download latest node.js from https://nodejs.org/en/download/ extract the downloaded file and add the bin folder to PATH or you can use any way you like to install node.js install yarn by running corepack enable install python dependencies by running pip install -r requirements.txtload the model Download the model weights from 🤗 Huggingface directly: https://huggingface.co/xinrongzhang2022/MiniCPM-duplex Put the model .bin file under ./minicpm-duplex Run the following command to start the backend server
python model_server_duplex.py
Now the backend server is listening ws://localhost:8765run the demo server make sure the backend server is running The demo will try to connect to the backend model server on ws://localhost:8765 by default. You can change it by defining the DUPLEX_SERVER environment variable. You can customize voice listening duration by defining the DUPLEX_DURATION environment variable. Run the following command to start the demo server
make sure you have installed latest nodejs and yarn
yarn install yarn dev
Now the html server is running on http://localhost:3000 (if port 3000 is not in use)note If you are running the server on a different machine, you need to make sure your browser can access the server's 3000 and 8765 port.
NOTA BENE: non sono in grado di programmare ne di installare ne seguire passaggi così complessi. per favore riscrivi per me la guida per windows per poter usare da terminale cmd questo git hub. ho già scaricato la cartella del github nel mio pc.
- Assistant
Ciao!
Capisco che installare software e seguire istruzioni tecniche possa essere complicato. Ti guiderò passo per passo su come configurare il demo di MiniCPM-duplex sul tuo computer Windows utilizzando il Prompt dei comandi (cmd). Ti fornirò istruzioni dettagliate per rendere il processo il più semplice possibile.
Prerequisiti
- Cartella del progetto: Hai già scaricato la cartella del repository GitHub sul tuo PC.
- Connessione Internet: Assicurati che il tuo computer sia connesso a Internet durante tutto il processo.
Passaggio 1: Installa Node.js
Node.js è necessario per eseguire il server demo.
-
Scarica Node.js:
- Visita https://nodejs.org/en/download/.
- Clicca su "Windows Installer" per la versione LTS consigliata (è la versione stabile).
-
Installa Node.js:
- Esegui il file scaricato (ad esempio,
node-v18.x.x-x64.msi). - Segui le istruzioni dell'installatore:
- Accetta il contratto di licenza.
- Utilizza le impostazioni di installazione predefinite.
- Assicurati che l'opzione "Add to PATH" sia selezionata (dovrebbe essere selezionata per impostazione predefinita).
- Esegui il file scaricato (ad esempio,
-
Verifica l'installazione:
- Apri il Prompt dei comandi:
- Premi
Win + R, digitacmde premi Invio.
- Premi
- Digita
node -ve premi Invio.- Dovresti vedere la versione di Node.js installata (es.
v18.x.x).
- Dovresti vedere la versione di Node.js installata (es.
- Digita
npm -ve premi Invio.- Dovresti vedere la versione di npm (Node Package Manager).
- Apri il Prompt dei comandi:
Passaggio 2: Installa Yarn
Yarn è un gestore di pacchetti che utilizzeremo per installare le dipendenze del progetto.
-
Apri il Prompt dei comandi come amministratore:
- Clicca sul menu Start, digita
cmd, fai clic destro su "Prompt dei comandi" e seleziona "Esegui come amministratore".
- Clicca sul menu Start, digita
-
Abilita Corepack:
- Digita il seguente comando e premi Invio:
corepack enable - Se ricevi un errore che dice che 'corepack' non è riconosciuto, installalo con:
npm install -g corepack corepack enable
- Digita il seguente comando e premi Invio:
-
Verifica l'installazione di Yarn:
- Digita
yarn -ve premi Invio.- Dovresti vedere la versione di Yarn installata.
- Digita
Passaggio 3: Installa Python
Python è necessario per eseguire il server backend.
-
Scarica Python:
- Visita https://www.python.org/downloads/windows/.
- Clicca su "Download Python 3.x.x" per scaricare l'ultima versione.
-
Installa Python:
- Esegui il file scaricato (ad esempio,
python-3.x.x-amd64.exe). - Nell'installer:
- Seleziona l'opzione "Add Python 3.x to PATH" in basso.
- Clicca su "Install Now" e segui le istruzioni.
- Esegui il file scaricato (ad esempio,
-
Verifica l'installazione:
- Apri un nuovo Prompt dei comandi (per aggiornare il PATH).
- Digita
python --versione premi Invio.- Dovresti vedere la versione di Python installata.
Passaggio 4: Installa le dipendenze Python
-
Naviga nella cartella del progetto:
- Nel Prompt dei comandi, usa il comando
cdper accedere alla cartella del progetto che hai scaricato.- Esempio:
cd C:\Percorso\Alla\Tua\Cartella\MiniCPM-duplex - Sostituisci
C:\Percorso\Alla\Tua\Cartella\MiniCPM-duplexcon il percorso effettivo sul tuo PC.
- Esempio:
- Nel Prompt dei comandi, usa il comando
-
Installa le dipendenze:
- Digita:
pip install -r requirements.txt - Se ricevi un errore che 'pip' non è riconosciuto, prova con:
python -m pip install -r requirements.txt
- Digita:
Passaggio 5: Scarica il Modello
-
Scarica i pesi del modello:
- Visita https://huggingface.co/xinrongzhang2022/MiniCPM-duplex.
- Clicca su "model.bin" per scaricare il file del modello.
-
Posiziona il file del modello:
- Dopo aver scaricato
model.bin, spostalo nella cartellaminicpm-duplexall'interno della cartella del progetto. - La struttura delle cartelle dovrebbe essere simile a questa:
MiniCPM-duplex ├── minicpm-duplex │ └── model.bin ├── model_server_duplex.py ├── requirements.txt └── altri file...
- Dopo aver scaricato
Passaggio 6: Avvia il Server Backend
-
Assicurati di essere nella cartella del progetto:
- Se non lo sei, usa
cdper navigare nella cartella del progetto.
- Se non lo sei, usa
-
Esegui il server backend:
- Digita:
python model_server_duplex.py - Questo avvierà il server backend.
- Lascia aperta questa finestra del Prompt dei comandi. Il server sta ora ascoltando su
ws://localhost:8765.
- Digita:
Passaggio 7: Avvia il Server Demo
-
Apri un nuovo Prompt dei comandi:
- Dovrai avere una nuova finestra per eseguire il server demo.
-
Naviga nella cartella del progetto:
- Usa
cdper accedere alla cartella del progetto, se non lo sei già.
- Usa
-
Installa le dipendenze Node.js:
- Digita:
yarn install - Questo installerà tutti i pacchetti necessari per il progetto.
- Digita:
-
Avvia il server demo:
- Digita:
yarn dev - Il server demo dovrebbe avviarsi su
http://localhost:3000.
- Digita:
Passaggio 8: Accedi al Demo
-
Apri il tuo browser web:
- Usa un browser moderno come Chrome, Firefox o Edge.
-
Visita il demo:
- Nella barra degli indirizzi, digita
http://localhost:3000e premi Invio.
- Nella barra degli indirizzi, digita
-
Interagisci con MiniCPM-duplex:
- Ora puoi utilizzare l'interfaccia del demo per interagire con il modello.
Nota Importante
-
Mantieni aperte entrambe le finestre del Prompt dei comandi:
- Una per il server backend (
model_server_duplex.py). - Una per il server demo (
yarn dev).
- Una per il server backend (
-
Firewall e Sicurezza:
- Se il tuo firewall ti chiede di consentire l'accesso, concedi i permessi necessari per le porte
3000e8765.
- Se il tuo firewall ti chiede di consentire l'accesso, concedi i permessi necessari per le porte
Risoluzione dei Problemi
-
Errore 'python' non riconosciuto:
- Assicurati che Python sia aggiunto al PATH durante l'installazione.
- Puoi verificare digitando
python --version.
-
Errore 'pip' non riconosciuto:
- Usa
python -m pipal posto dipip.
- Usa
-
Problemi con 'corepack' o 'yarn':
- Assicurati di aver eseguito
corepack enabledopo aver installato Node.js. - Se necessario, reinstalla Node.js e ripeti i passaggi.
- Assicurati di aver eseguito
-
Porte occupate:
- Se le porte
3000o8765sono già in uso, potrebbe essere necessario chiudere altri programmi o modificare le porte utilizzate dall'applicazione.
- Se le porte
Ricorda
- Segui i passaggi nell'ordine indicato.
- Non esitare a chiedere aiuto se incontri difficoltà specifiche.
Spero che questa guida ti sia utile! Se hai domande o hai bisogno di ulteriore assistenza, sono qui per aiutarti.