ich baue gerade eine wissensdatenbank auf pinecone. Bei der Übergabe wird zbsp ein pdf…
- User
ich baue gerade eine wissensdatenbank auf pinecone. Bei der Übergabe wird zbsp ein pdf so übergeben: { "bookTitle": { "calibre:author_sort": "Ehrenfried E. Pfeiffer", "calibre:timestamp": "2024-10-20T23:11:36.594527+02:00", "dc:date": "2017-10-15T00:00:00+02:00", "dc:description": "This wonderful little book covers everything you need to know about the types of plants known as weeds. Ehrenfried Pfeiffer discusses the different varieties of weeds, how they grow and what they can tell us about soil health. The process of combatting weeds is discussed in principle as well as in practice, so that it can be applied to any situation. First written in the 1950s, this is still one of the best overviews of the subject available.", "dc:language": "en", "dc:publisher": "Floris Books", "dc:title": "Weeds and What They Tell Us", "pdfx:isbn": "9781782503392", "prism:isbn": "9781782503392", "xmp:identifier": "9781782503392isbn", "xmp:metadatadate": "2024-10-20T23:11:38.923892+02:00" }, "fileName": "Weeds and What They Tell Us (Ehrenfried E. Pfeiffer)",
und das folgende wird in pinecone eingelesen:
{ "metadata": { "source": "blob", "blobType": "application/json", "line": 13, "loc": { "lines": { "from": 1, "to": 1 } } }, "pageContent": "just begin to blossom. In the latter case, they will form two to five new blossoms instead of one, and the mowing has to be repeated several times. The correct method is to let them grow, form blossoms, pollinate, start a seed formation and then mow. By this time the plant has exhausted the possibility of producing new blossoms and will die away. The proper measure at the proper moment is therefore the key to controlling weeds to a bearable minimum which should be considered a battle won. When Hercules fought the Hydra monster, he had a taste of what it meant to battle weeds for each head cut off, three new ones grew. Only when he put fire to the sore and open neck did new heads not grow. However, we want to warn against the use of fire in combating weeds. Wild Carrot *** Many a barn, house, forest or valuable grazing land has been destroyed by this weed killer, and afterwards the weeds grew the better, encouraged by the ashes. Fire may also disturb the organic balance in the top layer" }, { "metadata": { "source": "blob", "blobType": "application/json", "line": 13, "loc": { "lines": { "from": 1, "to": 1 } } }, "pageContent": "of the soil, change its reaction, coagulate humus colloids, and produce the opposite result of what is desired. On a pasture with patches of weeds and briar, it has been observed that after the burning, the water remains longer on the burned-off patches than on the rest of the pasture. An increase in acidity resulted because of the lack of aeration, and many more and new weeds grew the following year. The fight against weeds can be accomplished by means of small tools, mechanical cultivation of the soil, the kind of crops grown, and by means of chemicals. The main thing is to prevent roots, runners and rhizomes from spreading, and to avoid seed formation. Eradication using small tools The first step is to use a hoe to loosen the soil, which makes hand pulling of roots easier. The loose soil will encourage dormant seed to germinate, and the small plants can then be eliminated with a second hoeing. The most practical methods are: 1. surface hoeing 2. deeper hoeing and cutting 3. cutting" }, { "metadata": { "source": "blob", "blobType": "application/json", "line": 13, "loc": { "lines": { "from": 1, "to": 1 } } }, "pageContent": "and digging out of tap roots 4. raking off pulled weeds and little plants Remember, the earlier the hoe is used, the less work there will be later on. In a garden, the spaces between rows and between plants should be kept clean from the very beginning. Once the weeds show up, it is often too late. Once weeds form a green cover, it is impossible to get rid of them at a reasonable cost. It’s enough work trying to clear the many still or dormant seeds which are blown in. Pulling out by hand is impossible when the soil gets dry and hard because the taproot breaks off. Pulling should be done after rain, as long as the soil is moist. There is a group of tall, summer weeds which can be mown with a sickle or scythe, or cut with a corn-cutting knife. All these weeds may grow until after blossoming, but should then be cut quickly. Frequent cutting or mowing is necessary in order to starve the roots, taproots or rhizomes of biennials or perennials, that is, plants which would grow again from" },
gibts hier einen fehler oder verbesserungsvorschläge, bitte sein ein experte für vektordatenbanken und kritisiere
- Assistant
Beim Aufbau einer Wissensdatenbank auf Pinecone gibt es einige Aspekte, die Sie berücksichtigen sollten, um die Daten effizient und effektiv zu organisieren und abzurufen. Hier sind einige Anregungen und potenzielle Verbesserungen für den von Ihnen beschriebenen Ansatz:
-
Metadatenstruktur:
- Stellen Sie sicher, dass die Metadaten konsistent und vollständig sind. Es scheint, dass Metadaten im JSON-Blob etwas redundant sind (z.B. mehrfaches Vorhandensein von ISBN-Nummern). Prüfen Sie, ob alle Metadaten tatsächlich notwendig sind und ob sie korrekt organisiert sind.
-
Segmentierung der Inhalte:
- Wenn Sie Inhalte in Pinecone einlesen, ist es wichtig, einen klaren Plan für die Segmentierung der Texte zu haben. Im Moment scheinen die Segmente ziemlich willkürlich zugeschnitten zu sein. Sie könnten erwägen, die Inhalte nach Kapiteln oder Absätzen zu segmentieren, was die semantische Kohärenz innerhalb der Segmente verbessern könnte.
-
Vektorgenerierung:
- Evaluieren Sie, ob der verwendete Algorithmus zur Vektorgenerierung geeignet ist. Unterschiedliche Modellarchitekturen (wie BERT, GPT oder spezialisierte Modelle für Texte) können unterschiedliche Ergebnisse liefern. Stellen Sie sicher, dass das gewählte Modell gut auf den Texttyp (z.B. technische Beschreibungen) abgestimmt ist.
-
Speicherung von Zeileninformationen:
- Der aktuelle Code speichert Metadaten wie
lineundloc. Diese könnten nützlich sein, um den Kontext eines Textsegments zu verfolgen, aber vergewissern Sie sich, dass sie effizient genutzt werden und nicht unnötigen Speicherplatz beanspruchen.
- Der aktuelle Code speichert Metadaten wie
-
Fehlende oder unnötige Metadaten:
- Prüfen Sie, ob einige Metadaten überflüssig sind oder weitere Details benötigt werden, um den Kontext zu verbessern. Auch könnten zusätzliche Details, die Sie für die Abfragen benötigen, integriert werden.
-
Datenquelle:
- Der
source-Wert in den Metadaten könnte spezifischer sein, z.B. könnte er den Herkunftsort der PDF-Datei oder die Sammlung angeben, zu der das Dokument gehört.
- Der
-
Sprache und Lokalisierung:
- Wenn Ihre Daten mehrsprachig sind oder sprachspezifische Analysen erforderlich sind, stellen Sie sicher, dass alle linguistischen Facetten korrekt abgedeckt werden. Überlegen Sie, ob Sprach-Tags gebraucht werden.
-
Verarbeitungspipeline:
- Erwägen Sie die Implementierung einer Pipeline zur Vorverarbeitung Ihrer Texte, um diese zu normalisieren, zu bereinigen und in kleinere, handhabbare Segmente zu zerlegen.
Indem Sie diese Punkte beachten, verbessern Sie die Verwendbarkeit und die Leistung Ihrer Wissensdatenbank. Eine effiziente Organisation der Inhalte, gepaart mit der richtigen Vektor- und Metadatenstrategie, ist der Schlüssel für erfolgreiche Abfragen und Retrievals.
-
- User
wie kann ich "fileName" als eingabe zur "source" beider ausgabe definieren
- Assistant
Um den
fileNameaus Ihrer Eingabe in dassource-Feld Ihrer Ausgabe zu übernehmen, müssen Sie sicherstellen, dass Ihr Datenverarbeitungs- oder Transformationsskript diese Anpassung vornimmt. Hier ist eine allgemeine Vorgehensweise, um dies zu erreichen:-
Daten extrahieren: Nehmen Sie die Daten aus Ihrer Eingabe, einschließlich des
fileName. -
Transformation anwenden: Verwenden Sie das
fileName-Feld, um dassource-Feld in der Ausgabe zu setzen. -
Strukturierte Ausgabe erzeugen: Stellen Sie sicher, dass Ihre Datenstruktur korrekt formatiert ist, und übergeben Sie diese an Pinecone oder eine andere Komponente Ihrer Verarbeitungspipeline.
Hier ist ein einfaches Beispiel in Python, um diesen Prozess zu verdeutlichen:
# Angenommene Eingabestruktur input_data = { "bookTitle": { "calibre:author_sort": "Ehrenfried E. Pfeiffer", "calibre:timestamp": "2024-10-20T23:11:36.594527+02:00", "dc:date": "2017-10-15T00:00:00+02:00", "dc:description": "This wonderful little book covers...", "dc:language": "en", "dc:publisher": "Floris Books", "dc:title": "Weeds and What They Tell Us", "pdfx:isbn": "9781782503392", "prism:isbn": "9781782503392", "xmp:identifier": "9781782503392isbn", "xmp:metadatadate": "2024-10-20T23:11:38.923892+02:00" }, "fileName": "Weeds and What They Tell Us (Ehrenfried E. Pfeiffer)" } # Beispielmethode zur Transformation def transform_input_to_output(input_data, page_content): file_name = input_data.get("fileName") output_data = { "metadata": { "source": file_name, # Hier verwenden wir den 'fileName' als 'source' "blobType": "application/json", "line": 13, "loc": { "lines": { "from": 1, "to": 1 } } }, "pageContent": page_content } return output_data # Beispiel für die Anwendung der Funktion page_contents = [ "just begin to blossom. In the latter case...", "of the soil, change its reaction, coagulate...", "and digging out of tap roots 4. raking off pulled weeds..." ] outputs = [transform_input_to_output(input_data, content) for content in page_contents] # Ausgabe überprüfen for output in outputs: print(output)In diesem Beispiel wird für jedes Element von
page_contentsein entsprechender Ausgabeeintrag erstellt, bei dem dassource-Feld aus dem ursprünglichenfileName-Feld gesetzt wird. Sie können diese Logik in Ihre Datenpipeline integrieren, um eine konsistente Transformation Ihrer Daten zu gewährleisten. -
- User
bitte erklärung in n8n
- Assistant
n8n ist ein erweiterbares Workflow-Automatisierungswerkzeug, das es ermöglicht, verschiedene Dienste und Tools über sogenannte Nodes zu integrieren. Um den
fileNameaus Ihrer Eingabe in dassource-Feld in Ihrer Ausgabe innerhalb n8n zu übernehmen, können Sie einen Workflow erstellen, der diese Datenverarbeitung durchführt. Hier ist eine Schritt-für-Schritt-Anleitung, wie Sie das in n8n umsetzen können:-
JSON-Eingabe vorbereiten:
- Beginnen Sie mit einem HTTP Request Node oder einem Webhook Node, um Ihre Eingabedaten zu empfangen, oder verwenden Sie einen Manual Trigger Node, um mit einer Beispiel-JSON zu starten.
-
JSON-Daten konfigurieren:
- Verwenden Sie einen Set Node oder einen Function Node, um den
fileNameaus den Eingabedaten zu holen und ihn in der gewünschten Struktur der Ausgabe zu setzen.
- Verwenden Sie einen Set Node oder einen Function Node, um den
-
Logik für die Transformation:
- Function Node verwenden:
- Fügen Sie einen Function Node hinzu, um den
fileNamein dassource-Feld zu transformieren.
- Fügen Sie einen Function Node hinzu, um den
- Function Node verwenden:
Hier ist ein Beispiel, wie Sie diese Schritte implementieren könnten:
Schritt-für-Schritt-Setup in n8n:
1. Start Node
- Verwenden Sie einen Manual Trigger, um das Workflow auszulösen.
2. Set Node (Simulation der Eingabedaten)
- Verwenden Sie einen Set Node, um die Eingabedaten zu definieren, falls Sie einen Test durchführen.
- Definieren Sie das JSON mit den notwendigen Feldern, einschließlich
fileName.
{ "bookTitle": {...}, "fileName": "Weeds and What They Tell Us (Ehrenfried E. Pfeiffer)" }3. Function Node (Transformation)
- Fügen Sie einen Function Node hinzu mit folgendem Code:
const inputData = items[0].json; // holt die erste Eingabe des vorherigen Nodes const fileName = inputData.fileName; // Beispielhafte Seiteninhalte const pageContents = [ "just begin to blossom. In the latter case...", "of the soil, change its reaction, coagulate...", "and digging out of tap roots 4. raking off pulled weeds..." ]; const transformedItems = pageContents.map(content => { return { json: { metadata: { source: fileName, // Setzt den fileName als source blobType: "application/json", line: 13, loc: { lines: { from: 1, to: 1 } } }, pageContent: content } }; }); return transformedItems;4. Überprüfen und Ausführen
- Verbinden Sie die Nodes entsprechend und führen Sie den Workflow aus, um die Ausgabe zu prüfen.
- Sie können die Ausgabe in die Konsole ausgeben oder in eine Datei schreiben, um das Ergebnis zu sehen.
In diesem Workflow werden die Eingabedaten transformiert und für jedes
pageContentein neuer Eintrag erzeugt, wobei derfileNamealssourcein den Metadaten verwendet wird. Passen Sie den Workflow entsprechend Ihren spezifischen Anforderungen an. -
- User
woher kommen die metadaten? das ist mein eingab in n8n: { "bookTitle": { "calibre:author_sort": "Ehrenfried E. Pfeiffer", "calibre:timestamp": "2024-10-20T23:11:36.594527+02:00", "dc:date": "2017-10-15T00:00:00+02:00", "dc:description": "This wonderful little book covers everything you need to know about the types of plants known as weeds. Ehrenfried Pfeiffer discusses the different varieties of weeds, how they grow and what they can tell us about soil health. The process of combatting weeds is discussed in principle as well as in practice, so that it can be applied to any situation. First written in the 1950s, this is still one of the best overviews of the subject available.", "dc:language": "en", "dc:publisher": "Floris Books", "dc:title": "Weeds and What They Tell Us", "pdfx:isbn": "9781782503392", "prism:isbn": "9781782503392", "xmp:identifier": "9781782503392isbn", "xmp:metadatadate": "2024-10-20T23:11:38.923892+02:00" }, "fileName": "Weeds and What They Tell Us (Ehrenfried E. Pfeiffer)",
Ausgabe bei pinecode ist: { "metadata": { "source": "blob", "blobType": "application/json", "line": 13, "loc": { "lines": { "from": 1, "to": 1 } } }, "pageContent": "just begin to blossom. In the latter case, they will form two to five new blossoms instead of one, and the mowing has to be repeated several times. The correct method is to let them grow, form blossoms, pollinate, start a seed formation and then mow. By this time the plant has exhausted the possibility of producing new blossoms and will die away. The proper measure at the proper moment is therefore the key to controlling weeds to a bearable minimum which should be considered a battle won. When Hercules fought the Hydra monster, he had a taste of what it meant to battle weeds for each head cut off, three new ones grew. Only when he put fire to the sore and open neck did new heads not grow. However, we want to warn against the use of fire in combating weeds. Wild Carrot *** Many a barn, house, forest or valuable grazing land has been destroyed by this weed killer, and afterwards the weeds grew the better, encouraged by the ashes. Fire may also disturb the organic balance in the top layer" }, { "metadata": { "source": "blob", "blobType": "application/json", "line": 13, "loc": { "lines": { "from": 1, "to": 1 } } }, "pageContent": "of the soil, change its reaction, coagulate humus colloids, and produce the opposite result of what is desired. On a pasture with patches of weeds and briar, it has been observed that after the burning, the water remains longer on the burned-off patches than on the rest of the pasture. An increase in acidity resulted because of the lack of aeration, and many more and new weeds grew the following year. The fight against weeds can be accomplished by means of small tools, mechanical cultivation of the soil, the kind of crops grown, and by means of chemicals. The main thing is to prevent roots, runners and rhizomes from spreading, and to avoid seed formation. Eradication using small tools The first step is to use a hoe to loosen the soil, which makes hand pulling of roots easier. The loose soil will encourage dormant seed to germinate, and the small plants can then be eliminated with a second hoeing. The most practical methods are: 1. surface hoeing 2. deeper hoeing and cutting 3. cutting" }, { "metadata": { "source": "blob", "blobType": "application/json", "line": 13, "loc": { "lines": { "from": 1, "to": 1 } } }, "pageContent": "and digging out of tap roots 4. raking off pulled weeds and little plants Remember, the earlier the hoe is used, the less work there will be later on. In a garden, the spaces between rows and between plants should be kept clean from the very beginning. Once the weeds show up, it is often too late. Once weeds form a green cover, it is impossible to get rid of them at a reasonable cost. It’s enough work trying to clear the many still or dormant seeds which are blown in. Pulling out by hand is impossible when the soil gets dry and hard because the taproot breaks off. Pulling should be done after rain, as long as the soil is moist. There is a group of tall, summer weeds which can be mown with a sickle or scythe, or cut with a corn-cutting knife. All these weeds may grow until after blossoming, but should then be cut quickly. Frequent cutting or mowing is necessary in order to starve the roots, taproots or rhizomes of biennials or perennials, that is, plants which would grow again from" },
- Assistant
In n8n werden Metadaten oder andere Datenpunkte oft innerhalb von Nodes transformiert bzw. bearbeitet, um dann als Ausgabe bereitgestellt zu werden. Ihr Anliegen ist es, den
fileNameaus der Eingabe in dassource-Feld der Pinecone-Ausgabe zu übertragen. Lassen Sie uns Schritt für Schritt durchgehen, wie Sie dies in n8n erreichen können.Ausgangssituation:
- Eingabe: Sie haben JSON-Daten, die Informationen wie
bookTitleundfileNameenthalten. - Gewünschte Ausgabe: Anpassung der Metadaten der Ausgabe, um den
fileNamein dassource-Feld zu übernehmen.
Schritte in n8n:
1. Start Node (Manual Trigger)
Beginnen Sie mit einem Manual Trigger Node, um den Workflow auszulösen. Dieser Node dient dazu, den Workflow zu starten, wenn Sie eine manuelle Prüfung oder Simulation der JSON-Transformation durchführen möchten.
2. Set Node (Eingabedaten simulieren)
- Fügen Sie einen Set Node hinzu, um die Eingabedaten zu definieren. Dies kann für Testzwecke genutzt werden.
- Fügen Sie die JSON-Struktur mit
bookTitleundfileNamehinzu.
{ "json": { "bookTitle": { "calibre:author_sort": "Ehrenfried E. Pfeiffer", "calibre:timestamp": "2024-10-20T23:11:36.594527+02:00", "dc:date": "2017-10-15T00:00:00+02:00", "dc:description": "This wonderful little book covers ...", "dc:language": "en", "dc:publisher": "Floris Books", "dc:title": "Weeds and What They Tell Us", "pdfx:isbn": "9781782503392", "prism:isbn": "9781782503392", "xmp:identifier": "9781782503392isbn", "xmp:metadatadate": "2024-10-20T23:11:38.923892+02:00" }, "fileName": "Weeds and What They Tell Us (Ehrenfried E. Pfeiffer)" } }3. Function Node (Transformation und Zuweisung des
fileName)- Fügen Sie einen Function Node hinzu, um die Transformation durchzuführen. In diesem Node greifen Sie auf
fileNameaus den Eingabedaten zu und setzen diesen alssource.
return items.map(item => { const inputData = item.json; // Zugriff auf die Eingabedaten const fileName = inputData.fileName; // Extrahieren des fileName // Beispielhafte Seiteninhalte (ändern Sie ggf. für Ihre Anwendung) const pageContents = [ "just begin to blossom. In the latter case...", "of the soil, change its reaction, coagulate...", "and digging out of tap roots 4. raking off pulled weeds..." ]; return pageContents.map(content => ({ json: { metadata: { source: fileName, // Verwendung von fileName als source blobType: "application/json", line: 13, loc: { lines: { from: 1, to: 1 } } }, pageContent: content } })); }).flat(); // Flatten Sie das Array, um ein einheitliches Ausgabeformat pro Seite zu erhalten4. Überprüfen und Weiterverarbeiten
- Verbinden Sie die Nodes und führen Sie den Workflow aus, um die Transformationen zu überprüfen.
- Falls Sie die Daten in Pinecone oder einen anderen Dienst senden wollen, können Sie einen geeigneten HTTP Request Node oder einen spezifischen Integrations-Node für Pinecone hinzufügen.
Indem Sie diese Schritte ausführen, können Sie sicherstellen, dass
fileNamekorrekt alssourcein der Ausgabe verwendet wird. Passen Sie den Workflow entsprechend Ihrer spezifischen Anforderungen an, z.B. unterschiedlichenpageContentsoder weiteren Metadatenfelder. - Eingabe: Sie haben JSON-Daten, die Informationen wie
- User
wenn ich daten für pinecone aufsetzen möchte in n8n. wie kann ich daten zusammenräuzmen. manche vektoren enthalten keinen text
- Assistant
Wenn Sie in n8n Daten für einen Pinecone-Dienst vorbereiten und sicherstellen möchten, dass die zu speichernden Vektoren alle notwendigen Informationen (z.B. Textinhalte) enthalten, können Sie mehrere Schritte und Strategien in Ihrem Workflow verwenden, um Daten zu konsolidieren und nur vollständige Datensätze zu verarbeiten. Hier sind einige Strategien, die Sie in n8n verwenden können:
Strategien zum Konsolidieren von Daten:
1. Filter Node:
- Nutzen Sie einen Filter Node, um sicherzustellen, dass nur Elemente mit vollständigen oder nicht-leeren Textinhalten weiterverarbeitet werden.
- Konfigurieren Sie den Filter so, dass er prüft, ob das Textfeld (z.B.
pageContent) nicht leer ist.
Bedingung: pageContent 'is not empty'2. Function Node zum Überprüfen und Konsolidieren:
- Verwenden Sie einen Function Node, um Eingabedaten zu prüfen und nur Datensätze mit vollständigen Textinhalten zu behalten.
- Sie können auch Logiken einfügen, um fehlende Inhalte aus verschiedenen Quellen zu konsolidieren.
Beispiel:
return items.filter(item => item.json.pageContent && item.json.pageContent.trim() !== '');3. Merge Node:
- Verwenden Sie einen Merge Node, um Daten aus verschiedenen Quellen oder Branches zu kombinieren. Wenn einige Daten unvollständig sind, können Sie Daten aus einer anderen Quelle nutzen.
4. Set Node für Standardwerte:
- Wenn bestimmte Datensätze standardisierte Texte benötigen, verwenden Sie den Set Node, um Standardeinträge oder -werte hinzuzufügen, falls
pageContentleer ist.
Beispielkonfiguration im Set Node:
{ "fieldName": "pageContent", "default": "Text not available" }Workflow-Beispiel:
Hier ist ein einfaches Beispiel, wie Sie diese Strategien in n8n verwenden könnten, um sicherzustellen, dass nur vollständige Datensätze an Pinecone gesendet werden:
Schritt für Schritt:
-
Start Node:
- Beginnen Sie mit einem Manual Trigger oder dem Node, der Ihre Eingabedaten bezieht.
-
Function Node zum Filtern:
- Fügen Sie einen Function Node hinzu, um nur vollständige Datensätze durchzulassen:
return items.filter(item => { return item.json.pageContent && item.json.pageContent.trim() !== ''; }); -
Set Node für Standardwerte (optional):
- Fügen Sie einen Set Node hinzu, um sicherzustellen, dass alle erforderlichen Felder vorhanden sind und ggf. Standardwerte gesetzt werden.
-
HTTP Request Node zu Pinecone:
- Verwenden Sie einen HTTP Request Node, um die gefilterten und konsolidierten Daten an Pinecone zu senden.
Durch den Einsatz der oben genannten Strategien können Sie sicherstellen, dass Ihre Daten für die Speicherung in Pinecone konsistent und vollständig sind. Dies reduziert das Risiko von unvollständigen Vektoren und erhöht die Effizienz Ihrer Datenoperationspipeline.
- User
erkläre mir in n8n den recursive text splitter
- Assistant
In n8n gibt es keinen speziellen Node mit der Bezeichnung "Recursive Text Splitter", jedoch kann ein solcher Prozess durch Verwendung von JavaScript in einem Function Node oder durch den Einsatz mehrerer Nodes simuliert werden, um textliche Daten rekursiv zu splitten.
Ein "Recursive Text Splitter" ist im Allgemeinen ein Algorithmus, der einen Text in kleinere Teile aufteilt, oft basierend auf vordefinierten Trennzeichen oder Längenbegrenzungen. Diese Technik wird häufig verwendet, um große Textblöcke auf eine Größe herunterzubrechen, die für bestimmte Analysen, wie z.B. NLP-Modelle oder Datenbanken, bearbeitet werden können.
Hier ist, wie Sie solch eine Funktion in n8n einrichten könnten:
Beispiel für die Implementierung eines Rekursiven Text Splitters in n8n
Schritte zur Erstellung:
-
Start Node
- Beginnen Sie mit einem Manual Trigger Node, um den Workflow auszulösen. Dieser dient dazu, den Text, den Sie splitten möchten, zu laden oder bereitzustellen.
-
Set Node
- Fügen Sie einen Set Node hinzu, um den Text zu definieren, den Sie aufteilen möchten. Dies kann ein langer Absatz oder Textblock sein.
-
Function Node - Recursiver Textsplitter
- Fügen Sie einen Function Node hinzu, um die Logik des Splitters zu implementieren. Diese Logik wird den Text rekursiv aufteilen.
Beispielhafte Funktion zur Textaufteilung basierend auf Wortgrenzen:
const maxLength = 100; // Maximale Länge der Segmente const text = items[0].json.text; // Text aus vorherigem Node beziehen function splitText(text, maxLength) { const words = text.split(' '); const segments = []; let currentSegment = ''; words.forEach(word => { if ((currentSegment + ' ' + word).length <= maxLength) { currentSegment += (currentSegment ? ' ' : '') + word; } else { segments.push(currentSegment); currentSegment = word; } }); if (currentSegment) { segments.push(currentSegment); } return segments; } const segments = splitText(text, maxLength); return segments.map(segment => ({ json: { pageContent: segment } }));Funktionsweise:
- Text Segmentieren: Der obige Code teilt den gesammten Text in kleinere Abschnitte auf, welche jeweils die
maxLengthnicht überschreiten. - Wort-Wise Verarbeitung: Er sorgt dafür, dass keine Wörter auseinandergerissen werden, indem er Text anhand von Leerzeichen (Wörter) betrachtet.
- Rückgabe als Items: Der Code gibt jeden Abschnitt als eigenes Item zurück, das dann weiterverarbeitet werden kann, z.B. zur Speicherung in Pinecone.
Weiterverarbeitung:
- Datenübertragung:
- Nach der Textaufteilung können Sie die erhaltenen Segmente in weiteren Nodes verwenden, um sie an einen Datenbankdienst wie Pinecone zu senden oder anderweitig zu verarbeiten.
Durch die Nutzung dieses ansatzweise rekursiven Vorgehens können Sie effizient lange Textblöcke segmentieren und für eine Weiterverarbeitung vorbereiten, ohne dabei wichtige Textinhalte zu verlieren oder zu zerschneiden.
-
- User
woher kommen die metadaten? "metadata": { "source": "blob", "blobType": "application/json", "line": 13, "loc": { "lines": { "from": 1, "to": 1
- Assistant
Die Metadaten, die Sie in Ihrer Ausgabe sehen, werden wahrscheinlich innerhalb Ihres n8n-Workflows definiert oder automatisch generiert. Sie dienen dazu, zusätzliche Informationen zu den Daten zu liefern, die durch den Workflow fließen. Aber wo genau diese Metadaten herkommen oder wie sie definiert werden, hängt stark von der Konfiguration Ihres Workflows und den verwendeten Nodes ab.
Hier sind einige Möglichkeiten, wie diese Metadaten bereitgestellt oder erzeugt werden könnten:
-
Manuelle Festlegung in einem Set Node:
- Sie könnten einen Set Node verwenden, um die Metadaten manuell zu definieren. Hier könnten Sie jedes dieser Felder (
source,blobType,line,loc) direkt setzen, um sie in späteren Verarbeitungsschritten zur Verfügung zu haben.
- Sie könnten einen Set Node verwenden, um die Metadaten manuell zu definieren. Hier könnten Sie jedes dieser Felder (
-
Generierung durch einen Function Node:
- In einem Function Node können Sie JavaScript-Code verwenden, um Metadatenfelder zu definieren und sie mit Ihren Prozessorergebnissen zu verknüpfen. Das bedeutet, dass bei der Verarbeitung eines Items Metadaten programmgesteuert hinzugefügt werden.
-
Integration oder API-Antwort:
- Wenn Ihre Daten aus einer externen API oder einem anderen Dienst in n8n eingefügt werden, könnten diese Metadaten auch einen Teil der Antwort der Dienst-API darstellen und somit automatisch übernommen werden.
-
Vorherige Verarbeitungsschritte:
- Möglicherweise resultieren diese Metadaten aus vorherigen Nodes, die diese Informationen zu den Texten oder Dateien hinzugefügt haben, basierend auf deren Quelle oder der Art, wie sie verarbeitet wurden.
Beispiel: Festlegung von Metadaten in einem Function Node
Hier könnte ein Beispielcode in einem Function Node sein, der solche Metadaten erstellt:
return items.map(item => { return { json: { metadata: { source: "blob", blobType: "application/json", line: 13, loc: { lines: { from: 1, to: 1 } } }, pageContent: item.json.pageContent || "Sample text here" } }; });Weiteres Vorgehen
- Überprüfen Sie den Workflow in n8n: Sehen Sie sich den Teil des Workflows an, in dem Metadaten hinzugefügt werden. Prüfen Sie die Konfigurationsdetails in allen Set oder Function Nodes.
- API Dokumentation: Falls Ihre Daten von einem externen Dienst kommen, prüfen Sie die API-Dokumentation, um zu verstehen, welche Metadaten möglicherweise automatisch geliefert werden.
Das genaue Verständnis erfordert also einen Blick auf die Konfiguration ihres spezifischen n8n-Workflows und wie die Nodes miteinander interagieren. Sollten die Metadaten nicht explizit in Ihrem Workflow erstellt sein, prüfen Sie, ob sie in den Input-Daten von einer externen Quelle stammen.
-
- User
bitte erkläre, was code macht im detail: const maxChunkSize = 130000; // Maximale Zeichenanzahl pro Textteil
const outputData = [];
items.forEach(item => { const cleanText = item.json["cleanText"] || ""; const bookTitle = item.json["metadata"] || ""; // Ersetze "bookTitle" mit dem tatsächlichen Feldnamen const fileName = item.json["fileName"] || ""; // Zugriff auf den Dateinamen
// Text in Teile von maximal 130000 Zeichen aufteilen for (let i = 0; i < cleanText.length; i += maxChunkSize) { // Textteil erstellen, der den Buchtitel und den Dateinamen enthält const textChunk = bookTitle + ' ' + cleanText.substring(i, i + maxChunkSize); // Hinzufügen des Textteiles zu den Ausgabedaten outputData.push({ json: { bookTitle, fileName, // Füge den Dateinamen hinzu textChunk } }); }});
// Rückgabe aller erzeugten Items return outputData;
- Assistant
Der gegebene Code ist ein JavaScript-Code-Snippet, das in einem Node wie dem Function Node in n8n verwendet werden könnte. Dieses Skript macht Folgendes:
Detaillierte Erklärung:
-
Definition von
maxChunkSize:const maxChunkSize = 130000;legt die maximale Größe (Anzahl von Zeichen) eines einzelnen Textteils (Chunks) auf 130.000 Zeichen fest. Dies wird verwendet, um große Texte in kleinere, handhabbare Teile zu zerlegen.
-
Initialisierung von
outputData:const outputData = [];erstellt ein leeres Array, das verwendet wird, um die Ausgabedaten zu speichern. Jede Zeile in diesem Array entspricht einem verarbeiteten Item mit seinen Metadaten und Text.
-
Iteration über die Eingabedaten:
items.forEach(item => {...});ist eine Schleife, die über jedes Element imitems-Array iteriert.itemsist ein Array von Datenobjekten, die in den Node eingegeben werden.
-
Extrahieren von Daten aus jedem Item:
const cleanText = item.json["cleanText"] || "";liest den Textinhalt aus jedem Item. Wenn das Feld"cleanText"nicht existiert oder leer ist, wird ein leerer String verwendet.const bookTitle = item.json["metadata"] || "";liest den Buchtitel aus den Metadaten eines Items. Es scheint, dass hier tatsächlich "metadata" als Platzhalter für den tatsächlichen Feldnamen des Buchtitels genutzt wird.const fileName = item.json["fileName"] || "";extrahiert den Dateinamen. Falls dieser nicht vorhanden ist, wird ein leerer String verwendet.
-
Aufteilen des Textes in Teile (Chunks):
for (let i = 0; i < cleanText.length; i += maxChunkSize) {...}ist eine Schleife, die den Text in Abschnitte (Chunks) teilt. Sie beginnt beii = 0und erhöhtiin Schritten vonmaxChunkSizebis zum Ende des Texts.const textChunk = bookTitle + ' ' + cleanText.substring(i, i + maxChunkSize);erstellt einen neuen Textabschnitt, der den Buchtitel, eine Leerstelle und dann den Abschnitt des Textes (cleanText) enthält, der vonibisi + maxChunkSizereicht.
-
Speichern der aufgeteilten Textteile:
outputData.push(...)fügt ein neues Objekt in dasoutputData-Array ein, das denbookTitle,fileNameund dentextChunkenthält. Jedes aufgeteilte Textsegment wird als separate Struktur gespeichert.
-
Rückgabe der erzeugten Ausgabedaten:
return outputData;gibt das gesamte Array von verarbeiteten Items zurück. Diese könnten in weiteren Verarbeitungsstufen in n8n verwendet werden.
Zusammenfassung:
Dieses Skript dient dazu, große Textinhalte in kleinere Abschnitte aufzubrechen und dabei wichtige Metadaten wie den Buchtitel und den Dateinamen zu bewahren. Es erzeugt aus jedem Textitem mehrere kleinere Items, die leichter weiterverarbeitet oder analysiert werden können.
-
- User
bitte keine metadaten weitergeben, es soll nur the bookTitle=fileName sein
- Assistant
Um den Code so zu ändern, dass nur der
fileNamealsbookTitleverwendet wird und keine weiteren Metadaten übergeben werden, können Sie den Code wie folgt anpassen:Geänderter Code:
const maxChunkSize = 130000; // Maximale Zeichenanzahl pro Textteil const outputData = []; items.forEach(item => { const cleanText = item.json["cleanText"] || ""; const fileName = item.json["fileName"] || ""; // Zugriff auf den Dateinamen // Text in Teile von maximal 130000 Zeichen aufteilen for (let i = 0; i < cleanText.length; i += maxChunkSize) { // Textteil erstellen, der den Dateinamen als Buchtitel enthält const textChunk = cleanText.substring(i, i + maxChunkSize); // Hinzufügen des Textteiles zu den Ausgabedaten outputData.push({ json: { bookTitle: fileName, // Verwenden Sie den Dateinamen als Buchtitel textChunk } }); } }); // Rückgabe aller erzeugten Items return outputData;Was geändert wurde:
-
Entfernen von
bookTitleaus Metadaten:- Ich habe den Zugriff auf
metadataentfernt und stattdessen nurfileNameverwendet. - Der
bookTitlewird nun direkt mitfileNameaus den Eingabedaten belegt.
- Ich habe den Zugriff auf
-
Klare Definition des Textchunks:
- Der
textChunkenthält nun nur noch den gewünschten Teil descleanText, ohne den Buchtitel noch einmal zu wiederholen.
- Der
Zusammenfassung:
Diese angepasste Version des Codes sorgt dafür, dass jedes Item nur den
fileNamealsbookTitlespeichert, ohne andere Metadaten zu übertragen. Jedes Textstück (Chunk) wird weiterhin aus demcleanTextgetrennt und verarbeitet. Damit bleibt nur das Wesentliche in den Ausgabedaten erhalten. -