İlk bölümde HowTo blog serimizde, Smart Predict işlevinin yardımıyla verileri kullanarak bir yapay zekayı nasıl eğitebileceğinizi zaten göstermiştik. Bunu hayali bir mağazadan aldığımız verileri kullanarak gösterdik.
Tahmin modelimizi oluşturduktan sonra, bu sonuçlara yol açan etkenleri ve eğilimleri belirlemek için öncelikle eğitim sonuçlarına bakmak faydalı olacaktır. SAP Analytics Cloud Smart Predict, altta yatan modelin gerekli tüm ayrıntılarını keşfetmek için bize kapsamlı araçlar sağlar. Bu araçlar ilgili model türleri (sınıflandırma, regresyon ve zaman serileri) için uyarlanmıştır ve bu nedenle farklı senaryolar arasında biraz farklılık gösterir. Çalışmanın bu bölümünde sadece bir regresyon modelinin analizini tartışacağız.
Kalite ölçümü için Ortalama Hatanın Karekökü
Bir regresyon modelinin kalitesi, kök ortalama kare hatası (RMSE) olarak adlandırılan değerle ölçülebilir. Ortalama kare sapmayı gösteren bu gösterge istatistiksel bir araçtır. Bir tahminin kalitesini değerlendirmek için kullanılır. RMSE böylece modelin sağlamlığı hakkında bilgi verir. Benzer ifadelerin yeni veri setleri için de yüksek bir güvenle yapılabilmesini sağlar.
Modelin SAC Smart Predict ile incelenmesi
SAC Smart Predict eğitim veri setimizi iki bölüme ayırır. Bir bölüm regresyon modelini eğitmek için kullanılır. Diğer kısım ise eğitilen modeli doğrulamak için kullanılır. Bu örnekte verilen Ortalama Hatanın Karekökü bu iki veri setinden hesaplanmıştır. Daha sonra Hedef İstatistikleri'nde eğitim veri setinin her bir bölümü için ortalama ve standart sapma gibi ek bilgiler görürüz.
Bizim durumumuzda, bu modelle 95.21%'lik bir güven düzeyine ulaştık. Bu, önerilen 95% güven düzeyinin hemen üzerindedir. İdeal olarak 99%'nin üzerinde bir güven düzeyi hedeflenmektedir. Hatamız 127,47. Bu, gerçek değerin tahminimizle +/- 127,47'lik bir farka sahip olduğu anlamına geliyor. İdeal olarak, bu değer standart sapmadan daha küçük olmalı ve dolayısıyla ortalama +/- standart sapmadan oluşan çok naif bir modelden daha iyi olmalıdır.
Influencer Katkıları
Influencer Katkıları kendi içinde oldukça açıklayıcıdır. Bununla birlikte, bütünlük adına, bunları daha ayrıntılı olarak ele almak istiyoruz. Etkileyenler, hedef üzerinde etkisi olan değişkenlerdir. Varsayılan olarak, tüm sütunlar ve boyutlar etkileyiciler olarak kabul edilir. Eğitimden sonra bunlar en gerekli sütunlara ve boyutlara indirgenir. Bizim durumumuzda, satış ve indirimlerin kâr üzerinde en büyük etkiye sahip olduğunu görebiliriz. Influencer Contributions (Etkileyici Katkıları) görünümünde, sözde etkileyicilerin daha ayrıntılı bir görünümü vardır.
Tahmini ve Gerçek Grafik
Tahmin Edilen ve Gerçek Grafik, modelimizin doğruluğunu bir bakışta görmemizi sağlar. Grafik üç farklı eğriden oluşmaktadır.
- Yeşil - Mükemmel Model: Eğri varsayımsal mükemmel bir modeli temsil eder.
- Mavi - Doğrulama Gerçek: Bu eğri, tahminin bir fonksiyonu olarak gerçek hedef değeri gösterir.
- Mavi kesikli - Doğrulama Hatası Min/Maks: Bu iki eğri, doğrulama veri setinin beklenen minimum ve maksimum sapmasını temsil eder. İki eğri arasındaki aralık güven aralığıdır.
Bu grafikler nasıl yorumlanabilir?
İdeal olarak, yeşil ve mavi eğrilerin birbirine yakın olduğu ve benzer bir şekle sahip olduğu bir modelimiz var. Bu durumda, modelimizin bilinmeyen değerler hakkında akıllı tahminler yapabileceğinden emin olabiliriz.
Eğer durum böyle değilse, modelimizin kalitesi ve sağlamlığı çok iyi değil demektir. Daha sonra model daha büyük veya yeni veri setleriyle eğitilmelidir. Yeni etkileyiciler de dikkate alınmalıdır.
Eğriler çoğunlukla aynıysa ve sadece belirli segmentlerde farklılık gösteriyorsa, bu modelin kendisinin iyi olduğunu, ancak iyileştirmelerin hala mümkün olduğunu gösterir. Büyük sapmalara sahip segmentler için yeterli eğitim verisi bulunmaması muhtemeldir. Burada da eğitim veri seti muhtemelen genişletilmeli veya yeni etkileyiciler eklenmelidir.
Bizim durumumuzda, şimdilik modelimizden memnunuz. Nasıl Yapılır blog serimizin bir sonraki bölümünde, kar tahminleri yapmak için tahmin modelimizi yeni bir veri setine uyguluyoruz.