Naif Bayes Sınıflandırması

Naive Bayes Sınıflandırması, koşullu olasılık kavramı üzerinde çalışır. Bir veri kümesinin belirli bir demetinin belirli bir sınıf etiketine ait olma olasılığı nedir gibi soruya cevap verecektir. Bazı insanlar olasılık (şartlı) hakkında duyduklarında takılıp kalıyor. Bu güzel sınıflandırma teknikleriyle ilgili yanlış kanıların ortadan kaldırılması için temellerden başlayayım. “Bayes Sınıflandırıcı” nın derinliklerine dalmadan önce, bu tekniğin, yani “Bayes Teoremi” nin temeliyle başlayalım.

Bayes Teoremi

Bayes Teoremi X ‘de bir veri grubu X olan bir veri kümesinin kanıt olarak çalıştığını düşünün. H, veri grubu X’in belirli bir C sınıfına ait olduğu gibi i hipotezler olsun. Sınıflandırma problemleri için, P ( H | X ), “kanıt” veya gözlemlenen veri dizisi X verildiğinde H hipotezinin geçerli olma olasılığı. X öznitelik açıklamasını bildiğimiz için X dizisinin C sınıfına ait olma olasılığını bilmek istiyoruz (şimdiye kadar herhangi bir şey sizin için işe yaramazsa endişelenmeyin). D ‘de veri grubumuzun X yalnızca gelir ve yaşla sınırlı olduğunu (aslında bunlar özniteliklerdir) ve diziden birinin X dediğini varsayalım. 35 yaşında ve 40.000 $ geliri olan bir müşteri ve müşterimizin bir bilgisayar satın alacağı varsayımı H olsun, ardından aşağıdakiler dikkate almamız gereken olasılıklardır-

P ( H | X ): Müşterinin yaşını ve gelirini bildiğimiz için X müşterisinin bir bilgisayar satın alma olasılığı.

P ( X | H ): Bilgisayarı satın alacağını bildiğimize göre, X müşterisinin 35 yaşında olma ve 40.000 ABD Doları kazanma olasılığı .

P ( X ): Bir dizi müşteriden X müşterisinin 35 yaşında olma ve 40.000 ABD Doları kazanma olasılığı.

P ( H ): Müşterinin bilgisayarı satın alma olasılığı.

Not: Burada P ( H | X ), P ( X | H ) şu şekilde adlandırılır: posterior olasılık veya posteriori olasılık ve P ( X ), P ( H ), önceki olasılık veya öncelikli olasılık

Bu olasılıklar nasıl hesaplanır?

Bayes Teoremi, P ( X | H’den P ( H | X ) posterior olasılığı hesaplamanın bir yolunu sağlar ), P ( X ) ve P ( H ).

Bayes teoremi:

bizim durumumuzda yukarıdan P ( H | X ) = (P ( X | H ) * P ( H )) / P ( X ).

Naif Bayes Sınıflandırması

Yukarıdaki denklemdeki P (X | Ci) için X = xk, u = Ci’nin ortalaması ve standart sapma = sd (Ci) koyun.

Tamamen ham teoriydi, şimdi daha iyi anlamak için bir örnek düşünün

Bir X = grubumuz olduğunu varsayalım (yaş = gençlik, gelir = orta, öğrenci = evet, kredi derecelendirmesi = orta) ve sınıf etiketini (evet veya hayır) tahmin etmemiz gerekiyor. P (Ci) i = 1, 2 her sınıfın önceki olasılığı, eğitim tuplesine göre hesaplanabilir:

Burada x1 = yaş, x2 = gelir, x3 = öğrenci, x4 = kredi_rating

var

P (C1) = P (buys_computer = yes) = 9/14 = 0.643 (toplam 9 evet satırı olduğundan)

P (C2) = P (buys_computer = hayır) = 5/14 = 0,357.

P (X | Ci) ‘yi hesaplamak için, i = 1, 2 için, aşağıdaki koşullu olasılıkları hesaplıyoruz:

P (yaş = gençlik | buys_computer = evet) = 2/9 = 0.222 (it P (x1 | C1) = prob (yaş = gençlik ve buys_computer = evet) / prob (buys_computer = evet) = ( 2/14) / (9/14) = 2/9)

P (yaş = gençlik | buys_computer = hayır) = 3/5 = 0.600 (it P (x1 | C2))

P (gelir = orta | buys_computer = evet) = 4/9 = 0.444 (it P (x2 | C1))

P (gelir = orta | buys_computer = hayır) = 2/5 = 0,400 (o P (x2 | C2))

P (öğrenci = evet | buys_computer = evet) = 6/9 = 0.667

P (öğrenci = evet | buys_computer D = hayır) = 1/5 = 0.200

P (credit_rating = adil | buys_computer = yes) = 6/9 = 0.667

P (kredi_rating = adil | buys_computer = hayır) = 2/5 = 0,400

Bu olasılıkları kullanarak P ( X | buys_computer = evet) = P (yaş = genç | bilgisayar satın alır = evet) * P (gelir = orta | buys_computer = evet) * P ( öğrenci = evet | buys_computer = evet) * P (kredi derecelendirmesi = adil | buys_computer = evet) = 0.222 * 0.444 * 0.667 * 0.667 = 0.044.

Benzer şekilde, P ( X | buys_computer = no) = 0.600 * 0.400 * 0.200 * 0.400 = 0.019.

P (X | Ci) * P (Ci) ‘yi maksimize eden Ci, sınıfını bulmak için hesaplıyoruz

P ( X | buys_computer = yes) * P (satın-bilgisayar = evet) = 0,044 * 0,643 = 0,028

P ( X | buys_computer = hayır) * P (buys_computer = hayır) = 0,019 * 0,357 = 0,007

Bu nedenle, saf Bayes sınıflandırıcısı, X dizisi için buys_computer = yes ‘i tahmin eder.

Sıfır olasılık değerlerini hesaplamaktan kaçınmak için. Sınıf için bilgisayar satın aldığını varsayalım = 1000 tuple içeren bazı eğitim veritabanlarında evet, gelirli 0 tuple, gelir = orta, 990 tuple ve gelir = yüksek 10 tuple var. Bu olayların olasılıkları sırasıyla 0, 0.990 (990 / 1000’den) ve 0.010’dur (10 / 1000’den). Üç miktar için Laplacian düzeltmesini kullanarak, her bir gelir-değer çifti için her bir gelir-değer çifti için 1 demetimiz daha varmış gibi davranıyoruz. Bu şekilde, bunun yerine aşağıdaki olasılıkları elde ederiz (üç ondalık basamağa yuvarlanır):

1/1003 = 0.001, 999/1003 = 0.988, 11 /1003=0.011. “Düzeltilmiş” olasılık tahminleri, “düzeltilmemiş” emsallerine yakındır, ancak sıfır olasılık değerinden kaçınılır.