Skip to content
The Chat Archive
o1-preview-2024-09-12· OpenAI WildChat-4.8M (AI2)

We introduce the concept of DUPLEX MODEL that can receive inputs from users while…

  1. User

    We introduce the concept of DUPLEX MODEL that can receive inputs from users while generating outputs and adjust dynamically to instant user feedback such as interruptions. Rather than turn-based, the duplex model could interact with users in real time. To demonstrate the performance of DUPLEX MODEL, we train an example model, MiniCPM-duplex, based on the MiniCPM-2.4B. The training data of DUPLEX MODEL is different from common training corpus, which are segmented into slices to learn real input/output in real-time scenarios. Try MiniCPM-duplex

    Here is an instruction for building MiniCPM-duplex demo on your Mac book or linux server. install dependencies

    download latest node.js from https://nodejs.org/en/download/
    extract the downloaded file and add the bin folder to PATH
    or you can use any way you like to install node.js
    install yarn by running corepack enable
    install python dependencies by running pip install -r requirements.txt
    

    load the model Download the model weights from 🤗 Huggingface directly: https://huggingface.co/xinrongzhang2022/MiniCPM-duplex Put the model .bin file under ./minicpm-duplex Run the following command to start the backend server

    python model_server_duplex.py

    Now the backend server is listening ws://localhost:8765
    

    run the demo server make sure the backend server is running The demo will try to connect to the backend model server on ws://localhost:8765 by default. You can change it by defining the DUPLEX_SERVER environment variable. You can customize voice listening duration by defining the DUPLEX_DURATION environment variable. Run the following command to start the demo server

    make sure you have installed latest nodejs and yarn

    yarn install yarn dev

    Now the html server is running on http://localhost:3000 (if port 3000 is not in use)
    

    note If you are running the server on a different machine, you need to make sure your browser can access the server's 3000 and 8765 port.

    NOTA BENE: non sono in grado di programmare ne di installare ne seguire passaggi così complessi. per favore riscrivi per me la guida per windows per poter usare da terminale cmd questo git hub. ho già scaricato la cartella del github nel mio pc.

  2. Assistant

    Ciao!

    Capisco che installare software e seguire istruzioni tecniche possa essere complicato. Ti guiderò passo per passo su come configurare il demo di MiniCPM-duplex sul tuo computer Windows utilizzando il Prompt dei comandi (cmd). Ti fornirò istruzioni dettagliate per rendere il processo il più semplice possibile.


    Prerequisiti

    • Cartella del progetto: Hai già scaricato la cartella del repository GitHub sul tuo PC.
    • Connessione Internet: Assicurati che il tuo computer sia connesso a Internet durante tutto il processo.

    Passaggio 1: Installa Node.js

    Node.js è necessario per eseguire il server demo.

    1. Scarica Node.js:

    2. Installa Node.js:

      • Esegui il file scaricato (ad esempio, node-v18.x.x-x64.msi).
      • Segui le istruzioni dell'installatore:
        • Accetta il contratto di licenza.
        • Utilizza le impostazioni di installazione predefinite.
        • Assicurati che l'opzione "Add to PATH" sia selezionata (dovrebbe essere selezionata per impostazione predefinita).
    3. Verifica l'installazione:

      • Apri il Prompt dei comandi:
        • Premi Win + R, digita cmd e premi Invio.
      • Digita node -v e premi Invio.
        • Dovresti vedere la versione di Node.js installata (es. v18.x.x).
      • Digita npm -v e premi Invio.
        • Dovresti vedere la versione di npm (Node Package Manager).

    Passaggio 2: Installa Yarn

    Yarn è un gestore di pacchetti che utilizzeremo per installare le dipendenze del progetto.

    1. Apri il Prompt dei comandi come amministratore:

      • Clicca sul menu Start, digita cmd, fai clic destro su "Prompt dei comandi" e seleziona "Esegui come amministratore".
    2. Abilita Corepack:

      • Digita il seguente comando e premi Invio:
        corepack enable
        
      • Se ricevi un errore che dice che 'corepack' non è riconosciuto, installalo con:
        npm install -g corepack
        corepack enable
        
    3. Verifica l'installazione di Yarn:

      • Digita yarn -v e premi Invio.
        • Dovresti vedere la versione di Yarn installata.

    Passaggio 3: Installa Python

    Python è necessario per eseguire il server backend.

    1. Scarica Python:

    2. Installa Python:

      • Esegui il file scaricato (ad esempio, python-3.x.x-amd64.exe).
      • Nell'installer:
        • Seleziona l'opzione "Add Python 3.x to PATH" in basso.
        • Clicca su "Install Now" e segui le istruzioni.
    3. Verifica l'installazione:

      • Apri un nuovo Prompt dei comandi (per aggiornare il PATH).
      • Digita python --version e premi Invio.
        • Dovresti vedere la versione di Python installata.

    Passaggio 4: Installa le dipendenze Python

    1. Naviga nella cartella del progetto:

      • Nel Prompt dei comandi, usa il comando cd per accedere alla cartella del progetto che hai scaricato.
        • Esempio:
          cd C:\Percorso\Alla\Tua\Cartella\MiniCPM-duplex
          
        • Sostituisci C:\Percorso\Alla\Tua\Cartella\MiniCPM-duplex con il percorso effettivo sul tuo PC.
    2. Installa le dipendenze:

      • Digita:
        pip install -r requirements.txt
        
      • Se ricevi un errore che 'pip' non è riconosciuto, prova con:
        python -m pip install -r requirements.txt
        

    Passaggio 5: Scarica il Modello

    1. Scarica i pesi del modello:

    2. Posiziona il file del modello:

      • Dopo aver scaricato model.bin, spostalo nella cartella minicpm-duplex all'interno della cartella del progetto.
      • La struttura delle cartelle dovrebbe essere simile a questa:
        MiniCPM-duplex
        ├── minicpm-duplex
        │   └── model.bin
        ├── model_server_duplex.py
        ├── requirements.txt
        └── altri file...
        

    Passaggio 6: Avvia il Server Backend

    1. Assicurati di essere nella cartella del progetto:

      • Se non lo sei, usa cd per navigare nella cartella del progetto.
    2. Esegui il server backend:

      • Digita:
        python model_server_duplex.py
        
      • Questo avvierà il server backend.
      • Lascia aperta questa finestra del Prompt dei comandi. Il server sta ora ascoltando su ws://localhost:8765.

    Passaggio 7: Avvia il Server Demo

    1. Apri un nuovo Prompt dei comandi:

      • Dovrai avere una nuova finestra per eseguire il server demo.
    2. Naviga nella cartella del progetto:

      • Usa cd per accedere alla cartella del progetto, se non lo sei già.
    3. Installa le dipendenze Node.js:

      • Digita:
        yarn install
        
      • Questo installerà tutti i pacchetti necessari per il progetto.
    4. Avvia il server demo:

      • Digita:
        yarn dev
        
      • Il server demo dovrebbe avviarsi su http://localhost:3000.

    Passaggio 8: Accedi al Demo

    1. Apri il tuo browser web:

      • Usa un browser moderno come Chrome, Firefox o Edge.
    2. Visita il demo:

      • Nella barra degli indirizzi, digita http://localhost:3000 e premi Invio.
    3. Interagisci con MiniCPM-duplex:

      • Ora puoi utilizzare l'interfaccia del demo per interagire con il modello.

    Nota Importante

    • Mantieni aperte entrambe le finestre del Prompt dei comandi:

      • Una per il server backend (model_server_duplex.py).
      • Una per il server demo (yarn dev).
    • Firewall e Sicurezza:

      • Se il tuo firewall ti chiede di consentire l'accesso, concedi i permessi necessari per le porte 3000 e 8765.

    Risoluzione dei Problemi

    • Errore 'python' non riconosciuto:

      • Assicurati che Python sia aggiunto al PATH durante l'installazione.
      • Puoi verificare digitando python --version.
    • Errore 'pip' non riconosciuto:

      • Usa python -m pip al posto di pip.
    • Problemi con 'corepack' o 'yarn':

      • Assicurati di aver eseguito corepack enable dopo aver installato Node.js.
      • Se necessario, reinstalla Node.js e ripeti i passaggi.
    • Porte occupate:

      • Se le porte 3000 o 8765 sono già in uso, potrebbe essere necessario chiudere altri programmi o modificare le porte utilizzate dall'applicazione.

    Ricorda

    • Segui i passaggi nell'ordine indicato.
    • Non esitare a chiedere aiuto se incontri difficoltà specifiche.

    Spero che questa guida ti sia utile! Se hai domande o hai bisogno di ulteriore assistenza, sono qui per aiutarti.