Esiste un modo di caricare un modello LLM in locale con librerie javascript e Chrome…
- User
Esiste un modo di caricare un modello LLM in locale con librerie javascript e Chrome senza chiamare API esterne?
- Assistant
Sì, esiste! Caricare un modello LLM (Large Language Model) in locale con JavaScript e utilizzarlo direttamente nel browser Chrome senza chiamare API esterne è possibile grazie ad alcune tecnologie e librerie innovative. Ecco come puoi farlo:
Requisiti:
- Modello LLM compatibile: Non tutti i modelli LLM sono adatti a essere eseguiti nel browser a causa delle loro dimensioni e della potenza computazionale richiesta. Tuttavia, esistono versioni "alleggerite" o quantizzate di alcuni modelli che possono funzionare in questo contesto. Un esempio è il modello DistilBERT o MobileBERT, versioni più leggere di BERT.
- Librerie JavaScript dedicate: Le librerie principali che ti aiuteranno sono:
- TensorFlow.js (TFJS): Una versione di TensorFlow per JavaScript, che consente di caricare ed eseguire modelli ML/DL direttamente nel browser.
- ONNX.js: Simile a TensorFlow.js, ma pensata per modelli convertiti nel formato ONNX (Open Neural Network Exchange), che supporta l'esecuzione di modelli nel browser.
- Transformers.js di Hugging Face: Questa è forse la scelta più semplice e diretta per caricare modelli LLM come BERT, DistilBERT, ecc., direttamente nel browser. È stata sviluppata proprio per portare i modelli transformer (quelli usati negli LLM) in JavaScript.
Vediamo come fare con Transformers.js, che è la via più semplice e diretta per i modelli di linguaggio:
1. Installa Transformers.js
Se stai lavorando in un progetto con npm o yarn, esegui:
npm install @xenova/transformersoppure
yarn add @xenova/transformersSe invece vuoi solo provare senza installare nulla, puoi usare direttamente l'importazione tramite CDN nei tuoi tag
<script>:<script src="https://cdn.jsdelivr.net/npm/@xenova/transformers@2.3.0/dist/transformers.min.js"></script>2. Carica un modello LLM e usalo
Ecco un esempio completo di codice che carica DistilBERT (un modello leggero ma potente) e lo usa per classificare testi (sentiment analysis):
// Importa la libreria (se usi npm/yarn) import { pipeline } from '@xenova/transformers'; // Questa funzione crea il modello e lo carica async function loadModel() { // Specifica il task (es. "sentiment-analysis") e il modello da usare // Qui usiamo 'distilbert-base-uncased-sentiment' (35MB circa) const classifier = await pipeline('sentiment-analysis', 'Xenova/distilbert-base-uncased-sentiment'); // Ora puoi usarlo! return classifier; } // Eseguilo loadModel().then(classifier => { const testo = "I love using JavaScript in the browser!"; // Esegui la classificazione classifier(testo).then(result => { console.log(result); // Output: [{ label: 'POSITIVE', score: 0.9998657703399658 }] }); });Cosa succede dietro le quinte?
- La funzione
pipeline()scarica il modello compresso (già convertito per TFJS) da un repository di Hugging Face/Xenova. - Il modello viene salvato nella cache di Chrome (IndexedDB), così al secondo caricamento sarà già disponibile localmente.
- Quando chiami
classifier(testo), il modello esegue l'inferenza direttamente nel browser usando WebGL/WebGPU (per sfruttare la GPU) o WASM (se la GPU non è disponibile).
Nota sulle dimensioni:
- DistilBERT (~35MB) è un buon compromesso. Modelli più piccoli come MobileBERT (~25MB) esistono ma potrebbero essere meno precisi.
- BERT base (circa 400MB) è sconsigliato perché troppo grande per un'applicazione pratica nel browser.
Alternative:
- TensorFlow.js: Se hai già un modello TensorFlow addestrato, puoi convertirlo con
tfjs-convertere caricarlo nel browser.import * as tf from '@tensorflow/tfjs'; const model = await tf.loadLayersModel('path/to/model.json'); - ONNX.js: Funziona se converti i tuoi modelli nel formato ONNX. Utile se arrivi da PyTorch o altro backend.
Limitazioni:
- Velocità: L'inferenza nel browser è più lenta rispetto a una GPU dedicata. Ma per testi brevi e modelli "distilled" è abbastanza fluido.
- RAM e spazio: Il browser ha limiti di memoria. Modelli oltre i 50-100MB potrebbero crashare tab di Chrome (specialmente su dispositivi mobili).
- Compatibilità: WebGL2/WebGPU sono necessari per performance accettabili. Su browser molto vecchi potresti avere problemi.
In sintesi:
- Transformers.js è la scelta più comoda per modelli già pronti (es. sentiment analysis, traduzione, embeddings...).
- TensorFlow.js o ONNX.js sono ottimi se hai modelli personalizzati o da altri framework (PyTorch, TensorFlow Python).
Ora prova! Carica il modello, gioca con qualche frase, e scoprirai il fascino dell'AI locale direttamente nel tuo browser, senza API esterne
Buon divertimento!
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.