NOT 0015 / ARAŞTIRMA
Hava tahmini kaç gün öncesine kadar güvenilir?
Her hava durumu uygulaması sana bir sayı gösteriyor, ama o sayıyı bilmenin bilmemekten iyi olup olmadığını hiç göstermiyor. Ben de arşivlenmiş 7.358.400 tahmini, hiçbir modele ihtiyaç duymayan bir rakibe karşı puanladım — otuz şehir, iki yıl, saatlik veri.
Rakip bilerek aptal. Yağmurda şu cümle: "yağmayacak" — nadir bir olay olduğu için saatlerin çoğunda doğru. Sıcaklıkta: "yarın bugün gibi olur." İkisi de bedava. Soru şu: tahmin bunları hangi vadede yenmeyi bırakıyor? Buna güven ufku diyorum.
Otuz şehrin sekizinde saatlik yağmur tahmini "yağmayacak" demeyi hiç yenemiyor — bir gün öncesinde de, yedi gün öncesinde de.
Tablo
Güven ufku gün cinsinden, 4.000 yeniden örneklemeden gelen bootstrap aralığıyla. Sıfır, tahminin arşivin taşıdığı hiçbir vadede kazanamadığı anlamına geliyor.
şehir yağmur yağmur CI sıcaklık sıcaklık CI ------------------------------------------------------------ Adana 3.36 [1.45, 4.06] 4.97 [4.69, 5.4] Ankara 0.00 [0.0, 1.0] 5.92 [5.58, 6.26] Antalya 2.28 [0.0, 4.18] 0.00 [0.0, 0.0] Aydin 2.71 [1.84, 3.42] 4.16 [4.04, 4.28] Balikesir 2.03 [1.3, 2.7] 5.50 [5.08, 5.94] Bursa 3.43 [2.89, 3.99] 5.98 [5.62, 6.55] Canakkale 2.22 [1.66, 2.89] 5.68 [5.08, 7.0] Denizli 0.00 [0.0, 1.29] 4.27 [4.11, 4.44] Diyarbakir 1.72 [0.0, 2.84] 5.02 [4.51, 5.52] Erzurum 1.39 [0.0, 2.25] 3.97 [3.32, 5.43] Eskisehir 0.00 [0.0, 1.32] 6.25 [5.88, 6.64] Gaziantep 2.64 [1.44, 3.71] 6.17 [5.8, 6.51] Isparta 0.00 [0.0, 0.0] 4.23 [4.11, 4.34] Istanbul 2.82 [1.78, 3.59] 5.51 [4.99, 6.13] Izmir 2.86 [1.72, 4.11] 5.73 [5.39, 6.5] Kars 0.00 [0.0, 0.0] 4.35 [3.74, 4.91] Kayseri 0.00 [0.0, 1.21] 4.97 [4.62, 5.35] Konya 0.00 [0.0, 1.37] 6.13 [5.88, 6.31] Malatya 2.71 [1.8, 4.09] 4.80 [4.56, 5.09] Mersin 1.75 [0.0, 3.71] 0.00 [0.0, 2.33] Mugla 5.61 [4.55, 6.55] 4.50 [4.35, 4.66] Ordu 4.59 [4.14, 5.06] 4.90 [4.74, 5.19] Rize 5.74 [5.11, 6.71] 4.17 [4.06, 4.28] Samsun 3.18 [1.96, 3.57] 4.72 [4.51, 4.96] Sanliurfa 1.18 [0.0, 2.47] 5.99 [5.55, 6.21] Sivas 1.81 [0.0, 2.91] 5.55 [5.15, 5.97] Tokat 2.63 [1.52, 3.4] 5.77 [5.34, 6.31] Trabzon 4.45 [3.95, 4.88] 7.00 [5.75, 7.0] Van 0.00 [0.0, 1.41] 4.15 [3.88, 4.32] Zonguldak 4.40 [3.9, 4.9] 4.84 [4.69, 5.01]
Yağmur tahmininin kaybettiği sekiz şehir
Ankara, Konya, Kayseri, Eskişehir, Denizli, Isparta, Kars ve Van. Hepsi iç bölge, hepsi kurak. Hepsinde ölçülen beceri yedi vadenin yedisinde de negatif.
Bu sekizin ikisi diğer altısından daha güçlü bir iddia. Isparta ve Kars'ta bootstrap aralığı [0,00, 0,00] — hiçbir yeniden örnekleme pozitif ufuk üretmiyor. Kalan altısında aralık yaklaşık bir güne uzanıyor. Yani dürüst cümle "her vadede negatif ölçüldü", "kanıtlanabilir şekilde asla" değil. Bu ayrımı koruyorum çünkü sonuçla manşet arasındaki bütün fark orada.
Kurak bir şehir neden sıfır alıyor
Bu kötü model hikâyesi değil. Ankara'da yaklaşık yirmi saatte bir yağıyor, yani "yağmayacak" kuralı kimse hiçbir şeye bakmadan önce %95 doğru. Bu barajı geçmek için tahminin, boşa çaldığı her alarmın bedelini ödeyecek kadar gerçek yağmur yakalaması gerekiyor — ve saatlik çözünürlükte bu zor bir takas.
Rize'de yağmur çok daha sık. Orada naif kural zayıf, ve tahmin neredeyse altı gün öncesinden okumaya değer. Aynı modeller, aynı arşiv, tam ters cevap.
Sonuç çoğunlukla tahminin kalitesiyle değil, senin yaşadığın yerde bedava tahminin zaten ne kadar iyi olduğuyla ilgili.
Ankara noktayı tek satırda iki kez koyuyor. Sıcaklık ufku 5,92 gün, yağmur ufku sıfır. Aynı şehir, aynı iki yıl, aynı sağlayıcılar — cevap tamamen hangi soruyu sorduğuna ve o soru için tembel alternatifin ne olduğuna bağlı.
Sıcaklığın kaybettiği iki şehir
Antalya ve Mersin, ve mekanizma tam tersi. O sahilde yarın gerçekten bugün gibi: mevsimsel kayma yavaş, günlük aralık dar. Yani "dün ne olduysa o" olağanüstü güçlü bir temel. Antalya'nın aralığı [0,00, 0,00]; Mersin'inki 2,33 güne uzanıyor, dolayısıyla ikisinden sağlamı Antalya.
Öte yandan Trabzon'un sıcaklık tahmini 7,0 günde hâlâ kazanıyor — arşivin taşıdığı son vade. Yani oradaki gerçek ufuk ölçebildiğimin ötesinde bir yerde. Tablodaki üst sınır tahminin değil, veri setinin bir özelliği.
Nasıl kuruldu
Python çek ve şekillendir ağ bekliyor, başka hiçbir şey önemli değil Rust beceri ve bootstrap 30 şehir x 2 değişken x 7 vade x 4.000 yeniden örnekleme Python analiz ve grafikler
Bu ayrım ideolojik değil. Otuz şehir için iki yıllık arşiv tahmini çekmek tamamen ağ beklemek demek ve oraya en kısa yol Python. Puanlama ise 1,68 milyon bootstrap değerlendirmesi — dil seçiminin zevk olarak değil, duvar saati olarak göründüğü kısım orası.
Tablodaki her ufuk bir aralık taşıyor, çünkü tek bir beceri sayısı, tek bir vadede, tek bir şehrin iki yılında, kimsenin üzerine hareket etmesi gereken bir ölçüm değil. Isparta ile Ankara'nın farklı tür sıfırlar olduğunu söyleyebilmemi sağlayan şey o aralıklar.
Ne işe yarar
Somut olarak: o sekiz şehirden birinde yaşıyorsan, uygulamandaki saatlik yağmur olasılığı ölçtüğüm iki yıl boyunca "muhtemelen yağmaz" demenin üzerine hiçbir bilgi koymadı. Sıcaklık neredeyse her yerde başka bir hikâye — beş ila altı gün tipik, ve bu gerçekten işe yarar.
Daha genel olarak: bence en sık atlanan soru şekli bu. Herkes modelin doğru olup olmadığını ölçüyor. Onsuz yapacağın şeyi yenip yenmediğini ölçen çok daha az kişi var — oysa modelin var olması gerekip gerekmediğine karar veren ikinci sayı.
Ve bunun segment segment ölçülmesi gerekiyor, toplamda değil. Bu otuz şehrin tek bir ülke ortalaması pozitif bir yağmur ufku raporlar ve dürüst cevabın sıfır olduğu sekiz şehri gizlerdi.