Skip to content
The Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

pythonda şunu yapmak istiyorum; elimde bir title var, ve toplamda 12 kategori var…

  1. User

    pythonda şunu yapmak istiyorum;

    elimde bir title var, ve toplamda 12 kategori var (buildings, nature vsvs totalde 12 tane) ben o title'ın hangi kategoriye daha yakın ise, o kategorinin seçilmesini istiyorum. örneğin "the trump tower loop" ise buildings veya "monkey walking" ise animal ve nature gibi. maksimum 2 kategori seçebilir (ama 2 tanesine de yakınsa seçsin yoksa 1 tane) bunu nasıl yaparım en kolay, pratik ve etkili yolu seç ve bana göster yap

  2. Assistant

    Merhaba,

    Title'ınızın (başlığın) hangi kategoriye daha yakın olduğunu belirlemek için doğal dil işleme (NLP) tekniklerini kullanabilirsiniz. En pratik ve etkili yol, önceden eğitilmiş bir model kullanarak cümlelerin anlamsal vektörlerini oluşturmak ve bu vektörler arasındaki benzerliği ölçmektir.

    Bunun için Python'da sentence-transformers kütüphanesini kullanabilirsiniz. Bu kütüphane, metinleri yüksek kaliteli vektörlere dönüştürmek için kullanımı kolay bir arayüz sunar.

    Aşağıda adım adım nasıl yapabileceğinizi gösteriyorum:

    1. Gerekli Kütüphaneleri Yükleyin

    Öncelikle, sentence-transformers kütüphanesini yükleyin:

    !pip install -U sentence-transformers
    

    2. Gerekli Modülleri İçe Aktarın

    from sentence_transformers import SentenceTransformer
    from sklearn.metrics.pairwise import cosine_similarity
    import numpy as np
    

    3. Modeli Yükleyin

    Önceden eğitilmiş bir model yükleyelim. all-MiniLM-L6-v2 modeli hızlı ve etkilidir.

    model = SentenceTransformer('all-MiniLM-L6-v2')
    

    4. Kategori Listesini Oluşturun

    Kategorilerinizi bir liste olarak tanımlayın:

    categories = [
        'buildings',
        'nature',
        'animals',
        'technology',
        'sports',
        'food',
        'music',
        'art',
        'history',
        'science',
        'travel',
        'entertainment'
    ]
    

    5. Kategorilerin Vektör Temsillerini Oluşturun

    Her kategori için vektör temsillerini hesaplayın:

    category_embeddings = model.encode(categories)
    

    6. Title'ın Vektör Temsilini Oluşturun

    İncelemek istediğiniz title'ı belirleyin ve vektörünü hesaplayın:

    title = "monkey walking"  # Buraya kendi title'ınızı yazın
    title_embedding = model.encode(title)
    

    7. Benzerlikleri Hesaplayın

    Title ile her kategori arasındaki kosinüs benzerliğini hesaplayın:

    # Benzerlik skorlarını hesaplayın
    similarities = cosine_similarity(
        [title_embedding],
        category_embeddings
    )[0]
    

    8. En Yakın Kategorileri Seçin

    En yüksek benzerlik skorlarına göre kategorileri sıralayın ve ilk 1 veya 2 tanesini seçin:

    # Benzerlik skorlarına göre sıralayın (büyükten küçüğe)
    sorted_indices = np.argsort(similarities)[::-1]
    
    # İlk kategori her zaman seçilir
    top_categories = [categories[sorted_indices[0]]]
    
    # İkinci en yüksek skor belirli bir eşikten büyükse ikinci kategoriyi ekleyin
    second_best_score = similarities[sorted_indices[1]]
    
    # Eşik değeri olarak 0.5 kullanıyoruz, ihtiyaca göre ayarlanabilir
    if second_best_score > 0.5:
        top_categories.append(categories[sorted_indices[1]])
    
    print("Seçilen kategoriler:", top_categories)
    

    Örnek Tam Kod

    Hepsini bir araya getirirsek:

    from sentence_transformers import SentenceTransformer
    from sklearn.metrics.pairwise import cosine_similarity
    import numpy as np
    
    # Modeli yükle
    model = SentenceTransformer('all-MiniLM-L6-v2')
    
    # Kategoriler
    categories = [
        'buildings',
        'nature',
        'animals',
        'technology',
        'sports',
        'food',
        'music',
        'art',
        'history',
        'science',
        'travel',
        'entertainment'
    ]
    
    # Kategorilerin vektörleri
    category_embeddings = model.encode(categories)
    
    # İncelenecek title
    title = "monkey walking"  # Buraya kendi title'ınızı yazın
    title_embedding = model.encode(title)
    
    # Benzerlikleri hesapla
    similarities = cosine_similarity(
        [title_embedding],
        category_embeddings
    )[0]
    
    # Benzerlik skorlarına göre sıralama
    sorted_indices = np.argsort(similarities)[::-1]
    
    # En yüksek skora sahip kategorileri seçme
    top_categories = [categories[sorted_indices[0]]]
    
    second_best_score = similarities[sorted_indices[1]]
    if second_best_score > 0.5:
        top_categories.append(categories[sorted_indices[1]])
    
    print("Seçilen kategoriler:", top_categories)
    

    Örnek Çıktılar

    Örnek 1:

    title = "monkey walking"

    Seçilen kategoriler: ['animals', 'nature']
    

    Örnek 2:

    title = "the trump tower loop"

    Seçilen kategoriler: ['buildings']
    

    Açıklamalar:

    • Vektör Temsilleri: Metinleri sayısal vektörlere dönüştürerek bilgisayarın anlamlarını işlemesini sağlıyoruz.
    • Kosinüs Benzerliği: İki vektör arasındaki açıyı kullanarak benzerlik ölçümü yapar. 1'e ne kadar yakınsa o kadar benzer demektir.
    • Eşik Değeri: İkinci kategoriyi eklemek için kullanılan benzerlik skoru eşiği. Bu değeri ihtiyaçlarınıza göre ayarlayabilirsiniz.

    Eşik Değerini Ayarlama:

    Eşik değerini ayarlayarak ikinci kategorinin eklenip eklenmeyeceğini kontrol edebilirsiniz. Örneğin, daha az yakın olan kategorileri de dahil etmek istiyorsanız eşik değerini düşürebilirsiniz:

    if second_best_score > 0.3:
        top_categories.append(categories[sorted_indices[1]])
    

    Genel Bakış:

    Bu yöntemle, title'ınızın içerik olarak en yakın olduğu 1 veya 2 kategoriyi otomatik olarak seçebilirsiniz. sentence-transformers kütüphanesi ve önceden eğitilmiş modeller sayesinde karmaşık NLP işlemlerini kolayca gerçekleştirebilirsiniz.

    Ek Tavsiyeler:

    • Performans: Eğer çok sayıda title ve kategori ile çalışıyorsanız, embeddings'leri önceden hesaplayıp saklamak performansı artırabilir.
    • Model Seçimi: Farklı önceden eğitilmiş modeller deneyerek daha iyi sonuçlar elde edebilirsiniz. Daha büyük modeller genellikle daha iyi performans gösterir ancak daha yavaş çalışır.

    Umarım bu çözüm sizin için faydalı olur! Herhangi bir sorunuz olursa yardımcı olmaktan memnuniyet duyarım.