Skip to content
The Chat Archive
llama-4-maverick-03-26-experimental· Meta LMArena Human Preference 140K

Esiste un modo di caricare un modello LLM in locale con librerie javascript e Chrome…

  1. User

    Esiste un modo di caricare un modello LLM in locale con librerie javascript e Chrome senza chiamare API esterne?

  2. Assistant

    Sì, esiste! Caricare un modello LLM (Large Language Model) in locale con JavaScript e utilizzarlo direttamente nel browser Chrome senza chiamare API esterne è possibile grazie ad alcune tecnologie e librerie innovative. Ecco come puoi farlo:

    Requisiti:

    1. Modello LLM compatibile: Non tutti i modelli LLM sono adatti a essere eseguiti nel browser a causa delle loro dimensioni e della potenza computazionale richiesta. Tuttavia, esistono versioni "alleggerite" o quantizzate di alcuni modelli che possono funzionare in questo contesto. Un esempio è il modello DistilBERT o MobileBERT, versioni più leggere di BERT.
    2. Librerie JavaScript dedicate: Le librerie principali che ti aiuteranno sono:
      • TensorFlow.js (TFJS): Una versione di TensorFlow per JavaScript, che consente di caricare ed eseguire modelli ML/DL direttamente nel browser.
      • ONNX.js: Simile a TensorFlow.js, ma pensata per modelli convertiti nel formato ONNX (Open Neural Network Exchange), che supporta l'esecuzione di modelli nel browser.
      • Transformers.js di Hugging Face: Questa è forse la scelta più semplice e diretta per caricare modelli LLM come BERT, DistilBERT, ecc., direttamente nel browser. È stata sviluppata proprio per portare i modelli transformer (quelli usati negli LLM) in JavaScript.

    Vediamo come fare con Transformers.js, che è la via più semplice e diretta per i modelli di linguaggio:

    1. Installa Transformers.js

    Se stai lavorando in un progetto con npm o yarn, esegui:

    npm install @xenova/transformers
    

    oppure

    yarn add @xenova/transformers
    

    Se invece vuoi solo provare senza installare nulla, puoi usare direttamente l'importazione tramite CDN nei tuoi tag <script>:

    <script src="https://cdn.jsdelivr.net/npm/@xenova/transformers@2.3.0/dist/transformers.min.js"></script>
    

    2. Carica un modello LLM e usalo

    Ecco un esempio completo di codice che carica DistilBERT (un modello leggero ma potente) e lo usa per classificare testi (sentiment analysis):

    // Importa la libreria (se usi npm/yarn)
    import { pipeline } from '@xenova/transformers';
    
    // Questa funzione crea il modello e lo carica
    async function loadModel() {
      // Specifica il task (es. "sentiment-analysis") e il modello da usare
      // Qui usiamo 'distilbert-base-uncased-sentiment' (35MB circa)
      const classifier = await pipeline('sentiment-analysis', 'Xenova/distilbert-base-uncased-sentiment');
      
      // Ora puoi usarlo!
      return classifier;
    }
    
    // Eseguilo
    loadModel().then(classifier => {
      const testo = "I love using JavaScript in the browser!";
      
      // Esegui la classificazione
      classifier(testo).then(result => {
        console.log(result); 
        // Output: [{ label: 'POSITIVE', score: 0.9998657703399658 }]
      });
    });
    

    Cosa succede dietro le quinte?

    1. La funzione pipeline() scarica il modello compresso (già convertito per TFJS) da un repository di Hugging Face/Xenova.
    2. Il modello viene salvato nella cache di Chrome (IndexedDB), così al secondo caricamento sarà già disponibile localmente.
    3. Quando chiami classifier(testo), il modello esegue l'inferenza direttamente nel browser usando WebGL/WebGPU (per sfruttare la GPU) o WASM (se la GPU non è disponibile).

    Nota sulle dimensioni:

    • DistilBERT (~35MB) è un buon compromesso. Modelli più piccoli come MobileBERT (~25MB) esistono ma potrebbero essere meno precisi.
    • BERT base (circa 400MB) è sconsigliato perché troppo grande per un'applicazione pratica nel browser.

    Alternative:

    • TensorFlow.js: Se hai già un modello TensorFlow addestrato, puoi convertirlo con tfjs-converter e caricarlo nel browser.
      import * as tf from '@tensorflow/tfjs';
      const model = await tf.loadLayersModel('path/to/model.json');
      
    • ONNX.js: Funziona se converti i tuoi modelli nel formato ONNX. Utile se arrivi da PyTorch o altro backend.

    Limitazioni:

    1. Velocità: L'inferenza nel browser è più lenta rispetto a una GPU dedicata. Ma per testi brevi e modelli "distilled" è abbastanza fluido.
    2. RAM e spazio: Il browser ha limiti di memoria. Modelli oltre i 50-100MB potrebbero crashare tab di Chrome (specialmente su dispositivi mobili).
    3. Compatibilità: WebGL2/WebGPU sono necessari per performance accettabili. Su browser molto vecchi potresti avere problemi.

    In sintesi:

    • Transformers.js è la scelta più comoda per modelli già pronti (es. sentiment analysis, traduzione, embeddings...).
    • TensorFlow.js o ONNX.js sono ottimi se hai modelli personalizzati o da altri framework (PyTorch, TensorFlow Python).

    Ora prova! Carica il modello, gioca con qualche frase, e scoprirai il fascino dell'AI locale direttamente nel tuo browser, senza API esterne

    Buon divertimento!

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.

Esiste un modo di caricare un modello LLM in locale con librerie javascript e Chrome… · The Chat Archive