Python Veri Bilimi: İstatistiksel Hipotez Testine Kapsamlı Bir Kılavuz

İstatistiksel hipotez testi, veri bilimin önemli bir yönüdür ve verilere dayanarak bilinçli kararlar vermemizi sağlar. Kanıtları değerlendirmek ve bir popülasyon hakkındaki bir iddianın doğru olup olmadığını belirlemek için bir çerçeve sağlar. Bu kapsamlı kılavuz, Python kullanarak istatistiksel hipotez testinin temel kavramlarını, yöntemlerini ve pratik uygulamalarını keşfedecektir.

İstatistiksel Hipotez Testi Nedir?

Özünde, hipotez testi, bir popülasyon hakkındaki bir iddiayı değerlendirmek için örnek verileri kullanma sürecidir. İki rakip hipotezi formüle etmeyi içerir: sıfır hipotezi (H0) ve alternatif hipotez (H1).

• Sıfır Hipotezi (H0): Bu, test edilen ifadedir. Genellikle mevcut durumu veya bir etkinin olmadığını temsil eder. Örneğin, "Erkeklerin ve kadınların ortalama boyu aynıdır."
• Alternatif Hipotez (H1): Bu, destekleyecek kanıt bulmaya çalıştığımız ifadedir. Sıfır hipoteziyle çelişir. Örneğin, "Erkeklerin ve kadınların ortalama boyu farklıdır."

Hipotez testinin amacı, sıfır hipotezini alternatif hipotez lehine reddetmek için yeterli kanıt olup olmadığını belirlemektir.

Hipotez Testinde Temel Kavramlar

Aşağıdaki kavramları anlamak, hipotez testleri yapmak ve yorumlamak için çok önemlidir:

P-değeri

P-değeri, sıfır hipotezinin doğru olduğu varsayılarak, örnek verilerden hesaplanan test istatistiği kadar veya daha uç bir test istatistiği gözlemleme olasılığıdır. Küçük bir p-değeri (tipik olarak anlamlılık düzeyinden, alfa, daha küçük), sıfır hipotezine karşı güçlü kanıtlar olduğunu gösterir.

Anlamlılık Düzeyi (Alfa)

Anlamlılık düzeyi (α), sıfır hipotezini reddetmek için gereken kanıt miktarını tanımlayan önceden belirlenmiş bir eşiktir. Alfa için yaygın olarak kullanılan değerler 0.05 (%5) ve 0.01 (%1)'dir. P-değeri alfa'dan küçükse, sıfır hipotezini reddederiz.

Tip I ve Tip II Hataları

Hipotez testinde, yapabileceğimiz iki tür hata vardır:

• Tip I Hatası (Yanlış Pozitif): Sıfır hipotezi aslında doğru olduğunda reddetmek. Bir Tip I hatası yapma olasılığı alfa'ya (α) eşittir.
• Tip II Hatası (Yanlış Negatif): Sıfır hipotezi aslında yanlış olduğunda reddetmemek. Bir Tip II hatası yapma olasılığı beta (β) ile gösterilir.

Bir Testin Gücü

Bir testin gücü, sıfır hipotezi yanlış olduğunda doğru bir şekilde reddetme olasılığıdır (1 - β). Yüksek güçlü bir testin gerçek bir etkiyi tespit etme olasılığı daha yüksektir.

Test İstatistiği

Test istatistiği, sıfır hipotezini reddedip reddetmeyeceğimize karar vermek için örnek verilerden hesaplanan tek bir sayıdır. Örnekler arasında t-istatistiği, z-istatistiği, F-istatistiği ve ki-kare istatistiği bulunur. Test istatistiği seçimi, veri türüne ve test edilen hipoteze bağlıdır.

Güven Aralığı

Güven aralığı, gerçek popülasyon parametresinin belirli bir güven düzeyiyle (örneğin, %95 güven) düşme olasılığının yüksek olduğu bir değer aralığı sağlar. Güven aralıkları hipotez testleriyle ilişkilidir; sıfır hipotezi değeri güven aralığının dışına düşerse, sıfır hipotezini reddederiz.

Python'da Yaygın Hipotez Testleri

Python'un scipy.stats modülü, istatistiksel hipotez testleri yapmak için geniş bir fonksiyon yelpazesi sunar. İşte en yaygın kullanılan testlerden bazıları:

1. T-testleri

T-testleri, bir veya iki grubun ortalamalarını karşılaştırmak için kullanılır. Üç ana t-testi türü vardır:

• Tek Örneklem T-testi: Tek bir örneklemin ortalamasını bilinen bir popülasyon ortalamasıyla karşılaştırmak için kullanılır.
• Bağımsız Örneklemler T-testi (İki Örneklem T-testi): İki bağımsız grubun ortalamalarını karşılaştırmak için kullanılır. Bu test, iki grubun varyanslarının eşit olduğunu (veya eşit değilse ayarlanabileceğini) varsayar.
• Eşleştirilmiş Örneklemler T-testi: İki ilişkili grubun ortalamalarını karşılaştırmak için kullanılır (örneğin, aynı denekler üzerinde yapılan ölçümler öncesi ve sonrası).

Örnek (Tek Örneklem T-testi):

Belirli bir okuldaki (Japonya) öğrencilerin ortalama sınav puanının ulusal ortalamadan (75) anlamlı derecede farklı olup olmadığını test etmek istediğimizi varsayalım. 30 öğrenciden oluşan bir sınav puanı örneği topluyoruz.

```python import numpy as np from scipy import stats # Örnek veri (sınav puanları) scores = np.array([82, 78, 85, 90, 72, 76, 88, 80, 79, 83, 86, 74, 77, 81, 84, 89, 73, 75, 87, 91, 71, 70, 92, 68, 93, 95, 67, 69, 94, 96]) # Popülasyon ortalaması population_mean = 75 # Tek örneklem t-testi gerçekleştir t_statistic, p_value = stats.ttest_1samp(scores, population_mean) print("T-istatistiği:", t_statistic) print("P-değeri:", p_value) # P-değerinin alfa'dan küçük olup olmadığını kontrol et (örneğin, 0.05) alpha = 0.05 if p_value < alpha: print("Sıfır hipotezini reddet") else: print("Sıfır hipotezini reddetmede başarısız ol") ```

Örnek (Bağımsız Örneklemler T-testi):

İki farklı ülkedeki (Kanada ve Avustralya) yazılım mühendislerinin ortalama gelirini karşılaştırmak istediğimizi varsayalım. Her ülkedeki yazılım mühendislerinden örnekler alarak gelir verilerini topluyoruz.

```python import numpy as np from scipy import stats # Kanada'daki yazılım mühendislerinin gelir verileri (bin dolar cinsinden) canada_income = np.array([80, 85, 90, 95, 100, 105, 110, 115, 120, 125]) # Avustralya'daki yazılım mühendislerinin gelir verileri (bin dolar cinsinden) australia_income = np.array([75, 80, 85, 90, 95, 100, 105, 110, 115, 120]) # Bağımsız örneklemler t-testi gerçekleştir t_statistic, p_value = stats.ttest_ind(canada_income, australia_income) print("T-istatistiği:", t_statistic) print("P-değeri:", p_value) # P-değerinin alfa'dan küçük olup olmadığını kontrol et (örneğin, 0.05) alpha = 0.05 if p_value < alpha: print("Sıfır hipotezini reddet") else: print("Sıfır hipotezini reddetmede başarısız ol") ```

Örnek (Eşleştirilmiş Örneklemler T-testi):

Almanya'da bir şirket yeni bir eğitim programı uyguluyor ve çalışan performansını iyileştirip iyileştirmediğini görmek istiyor. Bir grup çalışanın performansını eğitim programından önce ve sonra ölçerler.

```python import numpy as np from scipy import stats # Eğitimden önceki performans verileri before_training = np.array([60, 65, 70, 75, 80, 85, 90, 95, 100, 105]) # Eğitimden sonraki performans verileri after_training = np.array([70, 75, 80, 85, 90, 95, 100, 105, 110, 115]) # Eşleştirilmiş örneklemler t-testi gerçekleştir t_statistic, p_value = stats.ttest_rel(after_training, before_training) print("T-istatistiği:", t_statistic) print("P-değeri:", p_value) # P-değerinin alfa'dan küçük olup olmadığını kontrol et (örneğin, 0.05) alpha = 0.05 if p_value < alpha: print("Sıfır hipotezini reddet") else: print("Sıfır hipotezini reddetmede başarısız ol") ```

2. Z-testleri

Z-testleri, popülasyon standart sapması bilindiğinde veya örneklem boyutu yeterince büyük olduğunda (tipik olarak n > 30) bir veya iki grubun ortalamalarını karşılaştırmak için kullanılır. T-testlerine benzer şekilde, tek örneklem ve iki örneklem z-testleri vardır.

Örnek (Tek Örneklem Z-testi):

Vietnam'da ampul üreten bir fabrika, ampullerinin ortalama ömrünün bilinen 50 saatlik standart sapma ile 1000 saat olduğunu iddia ediyor. Bir tüketici grubu 40 ampullük bir örneği test ediyor.

```python import numpy as np from scipy import stats from statsmodels.stats.weightstats import ztest # Örnek veri (ampullerin ömrü) lifespan = np.array([980, 1020, 990, 1010, 970, 1030, 1000, 960, 1040, 950, 1050, 940, 1060, 930, 1070, 920, 1080, 910, 1090, 900, 1100, 995, 1005, 985, 1015, 975, 1025, 1005, 955, 1045, 945, 1055, 935, 1065, 925, 1075, 915, 1085, 895, 1095]) # Popülasyon ortalaması ve standart sapması population_mean = 1000 population_std = 50 # Tek örneklem z-testi gerçekleştir z_statistic, p_value = ztest(lifespan, value=population_mean) print("Z-istatistiği:", z_statistic) print("P-değeri:", p_value) # P-değerinin alfa'dan küçük olup olmadığını kontrol et (örneğin, 0.05) alpha = 0.05 if p_value < alpha: print("Sıfır hipotezini reddet") else: print("Sıfır hipotezini reddetmede başarısız ol") ```

3. ANOVA (Varyans Analizi)

ANOVA, üç veya daha fazla grubun ortalamalarını karşılaştırmak için kullanılır. Grup ortalamaları arasında anlamlı bir fark olup olmadığını test eder. Tek yönlü ANOVA ve iki yönlü ANOVA dahil olmak üzere farklı ANOVA türleri vardır.

Örnek (Tek Yönlü ANOVA):

Brezilya'da bir pazarlama şirketi, üç farklı reklam kampanyasının satışlar üzerinde anlamlı bir etkisi olup olmadığını test etmek istiyor. Her kampanyanın oluşturduğu satışları ölçerler.

```python import numpy as np from scipy import stats # Her kampanya için satış verileri campaign_A = np.array([100, 110, 120, 130, 140]) campaign_B = np.array([110, 120, 130, 140, 150]) campaign_C = np.array([120, 130, 140, 150, 160]) # Tek yönlü ANOVA gerçekleştir f_statistic, p_value = stats.f_oneway(campaign_A, campaign_B, campaign_C) print("F-istatistiği:", f_statistic) print("P-değeri:", p_value) # P-değerinin alfa'dan küçük olup olmadığını kontrol et (örneğin, 0.05) alpha = 0.05 if p_value < alpha: print("Sıfır hipotezini reddet") else: print("Sıfır hipotezini reddet") ```

4. Ki-Kare Testi

Ki-Kare testi, kategorik verileri analiz etmek için kullanılır. İki kategorik değişken arasında anlamlı bir ilişki olup olmadığını test eder.

Örnek (Ki-Kare Testi):

Güney Afrika'da yapılan bir ankette insanlara siyasi eğilimleri (Demokrat, Cumhuriyetçi, Bağımsız) ve belirli bir politika hakkındaki görüşleri (Destek, Karşıt, Tarafsız) soruluyor. Siyasi eğilim ile politika hakkındaki görüş arasında bir ilişki olup olmadığını görmek istiyoruz.

```python import numpy as np from scipy.stats import chi2_contingency # Gözlemlenen frekanslar (kontenjans tablosu) observed = np.array([[50, 30, 20], [20, 40, 40], [30, 30, 40]]) # Ki-kare testi gerçekleştir chi2_statistic, p_value, dof, expected = chi2_contingency(observed) print("Ki-kare istatistiği:", chi2_statistic) print("P-değeri:", p_value) print("Serbestlik dereceleri:", dof) print("Beklenen frekanslar:", expected) # P-değerinin alfa'dan küçük olup olmadığını kontrol et (örneğin, 0.05) alpha = 0.05 if p_value < alpha: print("Sıfır hipotezini reddet") else: print("Sıfır hipotezini reddetmede başarısız ol") ```

Pratik Hususlar

1. Hipotez Testlerinin Varsayımları

Birçok hipotez testi, sonuçların geçerli olması için karşılanması gereken belirli varsayımlara sahiptir. Örneğin, t-testleri ve ANOVA genellikle verilerin normal dağıldığını ve eşit varyanslara sahip olduğunu varsayar. Testlerin sonuçlarını yorumlamadan önce bu varsayımları kontrol etmek önemlidir. Bu varsayımların ihlali, yanlış sonuçlara yol açabilir.

2. Örneklem Boyutu ve Güç Analizi

Örneklem boyutu, bir hipotez testinin gücünde önemli bir rol oynar. Daha büyük bir örneklem boyutu genellikle testin gücünü artırır ve gerçek bir etkiyi tespit etme olasılığını yükseltir. Güç analizi, istenen bir güç düzeyine ulaşmak için gereken minimum örneklem boyutunu belirlemek için kullanılabilir.

Örnek (Güç Analizi):

Bir t-testi planladığımızı ve %5 anlamlılık düzeyiyle %80'lik bir güce ulaşmak için gereken örneklem boyutunu belirlemek istediğimizi varsayalım. Etki boyutunu (tespit etmek istediğimiz ortalamalar arasındaki fark) ve standart sapmayı tahmin etmemiz gerekiyor.

```python from statsmodels.stats.power import TTestIndPower # Parametreler effect_size = 0.5 # Cohen's d alpha = 0.05 power = 0.8 # Güç analizi gerçekleştir analysis = TTestIndPower() sample_size = analysis.solve_power(effect_size=effect_size, power=power, alpha=alpha, ratio=1) print("Grup başına gerekli örneklem boyutu:", sample_size) ```

3. Çoklu Test

Çoklu hipotez testleri yaparken, bir Tip I hatası (yanlış pozitif) yapma olasılığı artar. Bu sorunu çözmek için, Bonferroni düzeltmesi veya Benjamini-Hochberg prosedürü gibi p-değerlerini ayarlama yöntemlerini kullanmak önemlidir.

4. Sonuçları Bağlam İçinde Yorumlama

Hipotez testlerinin sonuçlarını araştırma sorusu ve analiz edilen veriler bağlamında yorumlamak çok önemlidir. İstatistiksel olarak anlamlı bir sonuç, mutlaka pratik anlamlılık anlamına gelmez. Etkinin büyüklüğünü ve gerçek dünya etkilerini göz önünde bulundurun.

İleri Düzey Konular

1. Bayes Hipotez Testi

Bayes hipotez testi, geleneksel (sıkçı) hipotez testine alternatif bir yaklaşım sunar. Bir hipotezin diğeri üzerindeki kanıtlarını ölçen Bayes faktörünün hesaplanmasını içerir.

2. Parametrik Olmayan Testler

Parametrik olmayan testler, parametrik testlerin varsayımları (örneğin, normallik) karşılanmadığında kullanılır. Örnekler arasında Mann-Whitney U testi, Wilcoxon işaretli sıra testi ve Kruskal-Wallis testi bulunur.

3. Yeniden Örnekleme Yöntemleri (Önyükleme ve Permütasyon Testleri)

Önyükleme ve permütasyon testleri gibi yeniden örnekleme yöntemleri, altta yatan popülasyon dağılımı hakkında güçlü varsayımlarda bulunmadan bir test istatistiğinin örnekleme dağılımını tahmin etmenin bir yolunu sağlar.

Sonuç

İstatistiksel hipotez testi, bilim, iş ve mühendislik dahil olmak üzere çeşitli alanlarda veriye dayalı kararlar almak için güçlü bir araçtır. Veri bilimcileri, temel kavramları, yöntemleri ve pratik hususları anlayarak, verilerden içgörü kazanmak ve anlamlı sonuçlar çıkarmak için hipotez testini etkili bir şekilde kullanabilirler. Python'un scipy.stats modülü, çok çeşitli hipotez testleri yapmak için kapsamlı bir fonksiyon kümesi sağlar. Her testin varsayımlarını, örneklem boyutunu ve çoklu test potansiyelini dikkatlice göz önünde bulundurmayı ve sonuçları araştırma sorusu bağlamında yorumlamayı unutmayın. Bu kılavuz, bu güçlü yöntemleri gerçek dünya sorunlarına uygulamaya başlamanız için sağlam bir temel sağlar. Anlayışınızı derinleştirmek ve veri bilimi becerilerinizi geliştirmek için farklı testler ve tekniklerle keşfetmeye ve denemeye devam edin.

Daha Fazla Öğrenme:

• İstatistik ve veri bilimi üzerine çevrimiçi kurslar (örneğin, Coursera, edX, DataCamp)
• İstatistik ders kitapları
• Python'un scipy.stats modülünün dokümantasyonu
• Belirli hipotez testi teknikleri üzerine araştırma makaleleri ve makaleler