Size yollanan veri 2 kategorik 2 sürekli biçimdedir. -Değişkenlere yönelik tanımsal…
- User
*Size yollanan veri 2 kategorik 2 sürekli biçimdedir. -Değişkenlere yönelik tanımsal istatistik bilgiler konulacak, yorumlanacak. (ortalamalar, st sapma, kartiller, eğiklik, basıklık vs.)
*Analizler; (veriye normallik testi yapılacak) Sürekli veriler için korelasyon analizi Kategorik veriden 2 grup seçerek t testi ve Mann-Whitney-U testi Kategorik veriden 3 ve üzeri grup seçerek ANOVA ve Kruskal-Wallis testi NOT: Arkadaşlar veriniz, normallik testlerinde normal çıkmasa bile benim nasıl yaptığınızı görmem amaçlı normal dağılım gerektirmeyen yöntemleri de koyacaksınız. Normal değilse yine de normal dağılım isteyenleri koyacaksınız. Burada amaç teknik olarak işlemleri yapıp yapamadığınızı görmek. Nobel ödülü vermiyorum. Çıktılar büyük ise jpg ekran çıktısı olarak da koyabilirsiniz. Onun dışında çıktıya copy-past yaptığınızda word’e aktarılır. REGRESYON İÇİN BİLGİLER: 1- Ödevlerde bir bağımlı ve en az 2 tane bağımsız değişken olacak. Hangi değişkenleri alalım derseniz google da aratın (ekonomik verilerle regresyon ya da finansal verilerle en küçük kareler vs. anahtar kelimeler ile), makalelere bakın, insanlar neler çalışmış, hangi değişkenleri almış, siz de ilham alarak kendi modelinizi oluşturun. 2- Aylık, üç aylık ve yıllık veri olabilir. En az 30 veriniz olmalıdır. 3- Size öğrettiğim varsayım sapmaları test edilecek, giderme yolları denecek, gitmiyorsa sorun yok, ekran çıktılarını koyun ben anlarım.
verilen bu ödevde sırasıyla ne yapmalıyım adım adım yaz. Hocamız bize verdiği veriye normallik testi yapılmasını istiyor (veri zaten normal dağılıyor) ama sanki normal dağılmıyormuş gibi düşünüp yine analizini yapmamızı istedi
- Assistant
Bu ödevde izleyeceğiniz adımlar şu şekildedir:
1. Veriyi Tanıyın ve Ön İşleme Yapın
-
Veriyi İnceleyin:
- Veriyi yükleyin ve yapısını anlamak için ilk birkaç satırını görüntüleyin.
- Kategorik ve sürekli değişkenleri belirleyin.
-
Eksik Verileri Kontrol Edin:
- Eksik verileri kontrol edin ve gerekirse impute edin veya verisetini temizleyin.
2. Tanımsal İstatistiklerin Hesaplanması ve Yorumlanması
- Değişkenler için Tanımsal İstatistikler:
- Ortalama, medyan, standart sapma, interkuartil aralığı (IQR), eğiklik (skewness) ve basıklık (kurtosis) gibi istatistikleri hesaplayın.
- Bu istatistikleri sunun ve yorumlayın.
3. Normallik Testi Yapın
- Normallik Testleri:
- Shapiro-Wilk testi
- Kolmogorov-Smirnov testi
- Q-Q Plot ve histogram grafikleri
4. Normallik Test Sonuçlarına Göre Analiz Yapın
-
Korelasyon Analizi (Sürekli Değişkenler İçin):
- Pearson korelasyon testi (eğer veriler normal dağılıyorsa)
- Spearman korelasyon testi (eğer veriler normal dağılmıyorsa)
-
İki Grup İçin Testler (Kategorik Değişkenler İçin):
- t-testi (eğer veriler normal dağılıyorsa)
- Mann-Whitney U testi (eğer veriler normal dağılmıyorsa)
-
Üç ve Üzeri Grup İçin Testler (Kategorik Değişkenler İçin):
- ANOVA testi (eğer veriler normal dağılıyorsa)
- Kruskal-Wallis testi (eğer veriler normal dağılmıyorsa)
5. Regresyon Analizi
-
Bağımlı ve Bağımsız Değişkenleri Belirle:
- Bir bağımlı ve en az iki bağımsız değişken belirleyin.
-
Regresyon Modeli Kurun:
- Lineer regresyon modeli (OLS)
- Model varsayımları test edin:
- Hata terimlerinin normalliği
- Çoklu doğrusallık
- Homoskedastisite
- Autokorelasyon
-
Varsayım İhlalleri İçin Çözümler Uygulayın:
- Heteroskedastisite ilacı için White test veya Breusch-Pagan testi uygulayın ve sorun varsa düzeltme yapın.
- Çoklu doğrusallık için VIF (Variance Inflation Factor) hesaplayın ve gerekirse bağımsız değişkenleri yeniden seçin.
Adım Adım Detaylı Süreç
1. Veriyi Tanıma ve Ön İşleme
import pandas as pd # Veriyi yükleyin df = pd.read_csv('veri_dosyasi.csv') # İlk 5 satırı görüntüleyin print(df.head()) # Eksik verileri kontrol edin print(df.isnull().sum()) # Gerekirse eksik verileri doldurun veya verileri temizleyin df.fillna(method='ffill', inplace=True)2. Tanımsal İstatistiklerin Hesaplanması ve Yorumlanması
# Tanımsal istatistikler descriptive_stats = df.describe() print(descriptive_stats) # Ekstra istatistikler from scipy.stats import skew, kurtosis for col in ['sürekli_değişken1', 'sürekli_değişken2']: print(f"{col} skewness: {skew(df[col])}") print(f"{col} kurtosis: {kurtosis(df[col])}")3. Normallik Testi
from scipy.stats import shapiro, kstest for col in ['sürekli_değişken1', 'sürekli_değişken2']: print(f"{col} Shapiro-Wilk Test: {shapiro(df[col])}") print(f"{col} Kolmogorov-Smirnov Test: {kstest(df[col], 'norm')}")4. Korelasyon Analizi
from scipy.stats import pearsonr, spearmanr # Eğer veriler normal dağılıyorsa print("Pearson Correlation:", pearsonr(df['sürekli_değişken1'], df['sürekli_değişken2'])) # Eğer veriler normal dağılmıyorsa print("Spearman Correlation:", spearmanr(df['sürekli_değişken1'], df['sürekli_değişken2']))5. İki Grup İçin Testler
from scipy.stats import ttest_ind, mannwhitneyu # Kategorik değişken grupları belirle group1 = df[df['kategorik_değişken'] == 'grup1']['sürekli_değişken'] group2 = df[df['kategorik_değişken'] == 'grup2']['sürekli_değişken'] # t-testi print("T-test:", ttest_ind(group1, group2)) # Mann-Whitney U testi print("Mann-Whitney U test:", mannwhitneyu(group1, group2))6. Üç ve Üzeri Grup İçin Testler
from scipy.stats import f_oneway, kruskal # Kategorik değişken grupları belirle group1 = df[df['kategorik_değişken'] == 'grup1']['sürekli_değişken'] group2 = df[df['kategorik_değişken'] == 'grup2']['sürekli_değişken'] group3 = df[df['kategorik_değişken'] == 'grup3']['sürekli_değişken'] # ANOVA testi print("ANOVA test:", f_oneway(group1, group2, group3)) # Kruskal-Wallis testi print("Kruskal-Wallis test:", kruskal(group1, group2, group3))7. Regresyon Analizi
import statsmodels.api as sm # Bağımlı ve bağımsız değişkenleri belirle X = df[['bağımsız_değişken1', 'bağımsız_değişken2']] y = df['bağımlı_değişken'] # Sabit ekleyin X = sm.add_constant(X) # Lineer regresyon modeli model = sm.OLS(y, X).fit() # Model özetini görüntüleyin print(model.summary()) # Varsayım testleri # Normallik print("Shapiro-Wilk Test for residuals:", shapiro(model.resid)) # Çoklu doğrusallık - VIF from statsmodels.stats.outliers_influence import variance_inflation_factor vif_data = pd.DataFrame() vif_data["feature"] = X.columns vif_data["VIF"] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])] print(vif_data) # Homoskedastisite - White test from statsmodels.stats.diagnostic import het_white white_test = het_white(model.resid, model.model.exog) labels = ['Test Statistic', 'Test Statistic p-value', 'F-Statistic', 'F-Test p-value'] print(dict(zip(labels, white_test)))Bu adımları sırasıyla takip ederek ödevinizi tamamlayabilirsiniz. Normallik testi sonuçlarını göz önüne alarak gereken testleri seçtiğinizden emin olun. Verilerin normal dağılmadığı durumlar için de gerekli alternatif testleri uygulamayı unutmayın.
-
- User
sence bu ödev kaç saatimi alır
- Assistant
Bu ödevi tamamlamak için harcayacağınız süre, birkaç faktöre bağlı olarak değişebilir:
-
Veri Büyüklüğü ve Karmaşıklığı:
- Eğer veriniz büyük ve karmaşıksa, veriyi okuma, işleme ve analiz etme süreci daha uzun olabilir.
-
Python ve Veri Analizi Konusundaki Bilgi Seviyeniz:
- Python ve veri analizi araçları (pandas, scipy, statsmodels vb.) konusunda deneyimliyseniz, işlemleri daha hızlı gerçekleştirebilirsiniz.
- Eğer bu araçlara aşina değilseniz, işlemleri doğru bir şekilde yapmak için daha fazla süre harcamanız gerekebilir.
-
İhtiyaç Duyulan Yorumlama ve Yazım Süresi:
- Analiz sonuçlarını detaylı bir şekilde yorumlamanız ve raporlamanız gerekiyorsa, bu da ek süre gerektirebilir.
Genel bir tahmin yapacak olursak, şu aşamalar için yaklaşık süreler verilebilir:
-
Veri Ön İşleme ve Tanımlayıcı İstatistikler (1-2 saat):
- Veriyi yükleme, ilk inceleme ve temizleme işlemleri
- Tanımlayıcı istatistiklerin hesaplanması ve yorumlanması
-
Normallik Testi (1 saat):
- Normallik testlerinin uygulanması ve sonuçlarının yorumlanması
-
Korelasyon ve Grup Testleri (2-4 saat):
- Sürekli değişkenler için korelasyon analizi
- Kategorik değişkenler için grup testlerinin yapılması (iki grup ve üç grup üzerinde)
-
Regresyon Analizi ve Varsayım Testleri (2-3 saat):
- Regresyon modeli oluşturma ve analizi
- Varsayım testleri ve gerekli düzeltmelerin yapılması
-
Raporlama ve Yorumlama (2-3 saat):
- Analiz sonuçlarının raporlanması
- Çıktıların yorumlanması ve yazım işlemleri
Toplamda:
- Veri analizi konusunda deneyimli ve araçlara aşina bir kişi için bu ödevin tamamlanması yaklaşık 8-13 saat sürebilir.
- Veri analizi konusunda yeni olan biri için ise süre yaklaşık olarak 12-18 saat veya daha fazla olabilir.
Bu tahminler kişisel hızınıza ve analizin karmaşıklığına bağlı olarak değişiklik gösterebilir. Ödevin her aşamasını adım adım ve dikkatli bir şekilde yaparak çalışmanız, sonuçların doğruluğu ve kalitesi için önemlidir. Zamanı yönetmek için bir plan oluşturmak ve her aşama için belirli süreler ayırmak faydalı olacaktır.
-