pythonda şunu yapmak istiyorum; elimde bir title var, ve toplamda 12 kategori var…
- User
pythonda şunu yapmak istiyorum;
elimde bir title var, ve toplamda 12 kategori var (buildings, nature vsvs totalde 12 tane) ben o title'ın hangi kategoriye daha yakın ise, o kategorinin seçilmesini istiyorum. örneğin "the trump tower loop" ise buildings veya "monkey walking" ise animal ve nature gibi. maksimum 2 kategori seçebilir (ama 2 tanesine de yakınsa seçsin yoksa 1 tane) bunu nasıl yaparım en kolay, pratik ve etkili yolu seç ve bana göster yap
- Assistant
Merhaba,
Title'ınızın (başlığın) hangi kategoriye daha yakın olduğunu belirlemek için doğal dil işleme (NLP) tekniklerini kullanabilirsiniz. En pratik ve etkili yol, önceden eğitilmiş bir model kullanarak cümlelerin anlamsal vektörlerini oluşturmak ve bu vektörler arasındaki benzerliği ölçmektir.
Bunun için Python'da
sentence-transformerskütüphanesini kullanabilirsiniz. Bu kütüphane, metinleri yüksek kaliteli vektörlere dönüştürmek için kullanımı kolay bir arayüz sunar.Aşağıda adım adım nasıl yapabileceğinizi gösteriyorum:
1. Gerekli Kütüphaneleri Yükleyin
Öncelikle,
sentence-transformerskütüphanesini yükleyin:!pip install -U sentence-transformers2. Gerekli Modülleri İçe Aktarın
from sentence_transformers import SentenceTransformer from sklearn.metrics.pairwise import cosine_similarity import numpy as np3. Modeli Yükleyin
Önceden eğitilmiş bir model yükleyelim.
all-MiniLM-L6-v2modeli hızlı ve etkilidir.model = SentenceTransformer('all-MiniLM-L6-v2')4. Kategori Listesini Oluşturun
Kategorilerinizi bir liste olarak tanımlayın:
categories = [ 'buildings', 'nature', 'animals', 'technology', 'sports', 'food', 'music', 'art', 'history', 'science', 'travel', 'entertainment' ]5. Kategorilerin Vektör Temsillerini Oluşturun
Her kategori için vektör temsillerini hesaplayın:
category_embeddings = model.encode(categories)6. Title'ın Vektör Temsilini Oluşturun
İncelemek istediğiniz title'ı belirleyin ve vektörünü hesaplayın:
title = "monkey walking" # Buraya kendi title'ınızı yazın title_embedding = model.encode(title)7. Benzerlikleri Hesaplayın
Title ile her kategori arasındaki kosinüs benzerliğini hesaplayın:
# Benzerlik skorlarını hesaplayın similarities = cosine_similarity( [title_embedding], category_embeddings )[0]8. En Yakın Kategorileri Seçin
En yüksek benzerlik skorlarına göre kategorileri sıralayın ve ilk 1 veya 2 tanesini seçin:
# Benzerlik skorlarına göre sıralayın (büyükten küçüğe) sorted_indices = np.argsort(similarities)[::-1] # İlk kategori her zaman seçilir top_categories = [categories[sorted_indices[0]]] # İkinci en yüksek skor belirli bir eşikten büyükse ikinci kategoriyi ekleyin second_best_score = similarities[sorted_indices[1]] # Eşik değeri olarak 0.5 kullanıyoruz, ihtiyaca göre ayarlanabilir if second_best_score > 0.5: top_categories.append(categories[sorted_indices[1]]) print("Seçilen kategoriler:", top_categories)Örnek Tam Kod
Hepsini bir araya getirirsek:
from sentence_transformers import SentenceTransformer from sklearn.metrics.pairwise import cosine_similarity import numpy as np # Modeli yükle model = SentenceTransformer('all-MiniLM-L6-v2') # Kategoriler categories = [ 'buildings', 'nature', 'animals', 'technology', 'sports', 'food', 'music', 'art', 'history', 'science', 'travel', 'entertainment' ] # Kategorilerin vektörleri category_embeddings = model.encode(categories) # İncelenecek title title = "monkey walking" # Buraya kendi title'ınızı yazın title_embedding = model.encode(title) # Benzerlikleri hesapla similarities = cosine_similarity( [title_embedding], category_embeddings )[0] # Benzerlik skorlarına göre sıralama sorted_indices = np.argsort(similarities)[::-1] # En yüksek skora sahip kategorileri seçme top_categories = [categories[sorted_indices[0]]] second_best_score = similarities[sorted_indices[1]] if second_best_score > 0.5: top_categories.append(categories[sorted_indices[1]]) print("Seçilen kategoriler:", top_categories)Örnek Çıktılar
Örnek 1:
title = "monkey walking"Seçilen kategoriler: ['animals', 'nature']Örnek 2:
title = "the trump tower loop"Seçilen kategoriler: ['buildings']Açıklamalar:
- Vektör Temsilleri: Metinleri sayısal vektörlere dönüştürerek bilgisayarın anlamlarını işlemesini sağlıyoruz.
- Kosinüs Benzerliği: İki vektör arasındaki açıyı kullanarak benzerlik ölçümü yapar. 1'e ne kadar yakınsa o kadar benzer demektir.
- Eşik Değeri: İkinci kategoriyi eklemek için kullanılan benzerlik skoru eşiği. Bu değeri ihtiyaçlarınıza göre ayarlayabilirsiniz.
Eşik Değerini Ayarlama:
Eşik değerini ayarlayarak ikinci kategorinin eklenip eklenmeyeceğini kontrol edebilirsiniz. Örneğin, daha az yakın olan kategorileri de dahil etmek istiyorsanız eşik değerini düşürebilirsiniz:
if second_best_score > 0.3: top_categories.append(categories[sorted_indices[1]])Genel Bakış:
Bu yöntemle, title'ınızın içerik olarak en yakın olduğu 1 veya 2 kategoriyi otomatik olarak seçebilirsiniz.
sentence-transformerskütüphanesi ve önceden eğitilmiş modeller sayesinde karmaşık NLP işlemlerini kolayca gerçekleştirebilirsiniz.Ek Tavsiyeler:
- Performans: Eğer çok sayıda title ve kategori ile çalışıyorsanız, embeddings'leri önceden hesaplayıp saklamak performansı artırabilir.
- Model Seçimi: Farklı önceden eğitilmiş modeller deneyerek daha iyi sonuçlar elde edebilirsiniz. Daha büyük modeller genellikle daha iyi performans gösterir ancak daha yavaş çalışır.
Umarım bu çözüm sizin için faydalı olur! Herhangi bir sorunuz olursa yardımcı olmaktan memnuniyet duyarım.