Veri Ambarı ve ETL Pipeline: Modern Data Stack Rehberi

Veri Ambarı ve ETL: Modern İşletmelerin Veri Mimarisi

Cloud-native veri ambarları—Snowflake, BigQuery, Redshift gibi—eski Teradata ve Oracle sistemlerinin yerini aldı. Ancak teknoloji seçimi başarının yalnızca yarısıdır. Doğru ETL/ELT stratejisi ve veri kalitesi yönetimi, veri ambarı başarısının yüzde 70'ini belirler.

Smart Maple, 8 yıl içinde 50+ kuruluşun veri ambarı dönüşümünde rehberlik etti. Oplist healthcare uygulaması örneğinde, terabyte ölçeğindeki hasta verilerini başarıyla yönetiyoruz.

Üç Mimari Yaklaşım: Seçim Rehberi

Data Warehouse (Geleneksel)

Data warehouse, verinin önceden tanımlanmış şema ile yüklenen yapılandırılmış veri deposudur. Normalizasyon kurallarını takip eder, girişte temizlenir ve sorgu performansı mükemmeldir. Ancak yeni veri türlerine adapte olmak zaman alır.

Kurumsal raporlama ve finansal iş zekası için idealdir. Aylık maliyet TB başına 40-100 dolar; 3-5 kişilik DBA ve ETL uzman takım gerekir.

Data Lake (Modern)

Data lake, tüm veri türlerini (yapılandırılmış, yapısız, video, loglar) kabul eden esnek depolardır. Şema daha sonra tanımlanır. Makine öğrenmesi ve veri bilimi için idealdir.

Dezavantajı, veri kalitesi kontrolleri zayıfsa "veri bataklığına" dönüşebilir. Aylık maliyet TB başına 5-15 dolar, ancak veri bilimci ve mühendis ekibi (5-8 kişi) gerekir.

Lakehouse (Hibrit—Tercih Edilen)

Lakehouse, data lake'in esnekliğini data warehouse'un performansıyla birleştirir. Medallion Architecture (Bronz-Gümüş-Altın) katmanlarında veriler organize edilir: ham veriler bronz, temiz ve doğrulanmış veriler gümüş, analitik açısından hazır veriler altın katmanında bulunur.

Günümüzün en yaygın seçimidir. Aylık maliyet TB başına 15-30 dolar.

Kriter	Data Warehouse	Data Lake	Lakehouse
Sorgu Hızı	< 100ms	1-10s	< 500ms
Maliyet (TB/ay)	$40-100	$5-15	$15-30
İnsan Kaynağı	3-5	5-8	5-7
BI Entegrasyonu	Doğrudan, hızlı	SQL wrapper	Doğrudan SQL

ETL vs ELT: Paradigma Değişimi

ETL (Extract, Transform, Load) 1990'lardan kalma yaklaşımıdır. Operasyonel sistemlerden veri çıkarılır, şirket içi sunucularda temizlenir ve dönüştürülür, sonra veri ambarına yüklenir. Talend ve Informatica gibi yazılımlar lisans maliyeti ağırdır.

ELT (Extract, Load, Transform) bulut çağının yaklaşımıdır. Veriler doğrudan bulut ambarına yüklenir, transformasyonlar SQL ve dbt ile paralel olarak yapılır. Ölçeklenebilir, maliyet-etkili ve hızlıdır.

Özellik	ETL	ELT
Başlangıç Yılı	1990ler	2010lar
Transform Yeri	On-prem server	Bulut (Snowflake, Spark, dbt)
Ölçeklenebilirlik	Dikey (CPU ekle)	Yatay (sınırsız)
Maliyeti	Yazılım lisansı yüksek	Pay-as-you-go

Gerçek Dünya Örneği: Oplist Dönüşümü

Oplist, 2015-2018'de eski Informatica tabanlı ETL kullanıyordu. Hastane kayıtlarından veriyi çekmek, telefon formatı düzenlemek, null değerleri yönetmek ve kayıtları temizlemek 5 saat alıyordu. Tepe saatlerde yaygın darboğazlar oluşuyordu.

Günümüzde Smart Maple yönetimi altında, aynı veri 20 dakikada işlenir. Snowflake'e doğrudan yüklenir, SQL ve dbt ile paralel transformasyonlar yapılır. Ölçeklenebilir, hızlı ve işletme değişikliklerine adapte olabilen bir sistem.

Warehouse Teknolojileri: Kimin İçin?

Kriter	Snowflake	BigQuery	Redshift
Başlangıç Maliyeti	$600/ay	$0 (1TB free/ay)	$800/ay
Kurulum Kolaylığı	Düşük (SaaS)	Düşük (Cloud-native)	Yüksek (Yönetim gerekli)
Sorgu Hızı	<100ms	1-5s	1-5s
Ideal Durumlar	Enterprise, SaaS	Analytics, büyük veri	On-prem → Cloud

Snowflake, kurumsal SaaS uygulamaları için en uygun seçimdir. BigQuery, analitik ve büyük veri projeleri için ekonomiktir. Redshift, şirket içi Oracle'dan geçiş yapan kuruluşlar için uyundur.

Modern Data Stack: Teknoloji Yığını

Günümüzün veri teknoloji ekosistemi beş katmandan oluşur: veri toplama (API'ler, webhook'lar), orkestrasyonu (Airflow), depolama (Snowflake, BigQuery), transformasyon (dbt, SQL) ve son kullanıcı uygulamaları (iş zekası, makine öğrenmesi).

Orkestrasyonu yönetmek için Airflow öne çıkıyor. Fivetran ve Stitch gibi SaaS araçları, veritabanlarını otomatik senkronize eder. Transformasyon işleri dbt ile yapılır—SQL yazarak, sürüm kontrollü, tamamen otomatik.

Örnek maliyet (50 kişi şirket, aylık):

Bileşen	Tool	Maliyet
Orkestrasyonu	Airflow (self-hosted)	$100
ELT	Fivetran	$500
Veri Ambarı	Snowflake	$300
Transformasyon	dbt Cloud	$400
İş Zekası	Metabase	$0
Toplam		$1,300

Yıllık maliyet: 15.600 TL. Uygulanma süresi: 4-6 hafta.

ETL Pipeline Pratik Uygulaması

Airflow, Apache tarafından desteklenen endüstri standardı bir orkestrasyon platformudur. Oplist gibi bir healthcare uygulamasında, her gün sabah 2:00'de otomatik olarak çalışan günlük bir pipeline tasarlanabilir.

Bu pipeline üç aşamadan oluşur:

Çıkartma (Extract): Oplist'in üretken PostgreSQL veritabanından son 24 saatlik randevu verisi çekilir. Incremental extraction yaklaşımı kullanılarak sadece yeni veya değişmiş kayıtlar işlenir.

Transformasyon (Transform): Veriler temizlenir (null değerler, yinelenen kayıtlar, veri tipi dönüşümleri), zenginleştirilir (randevu saati, haftanın günü) ve doğrulanır (hasta yaşı 0-150 aralığında mı? Klinik ID boş mu?).

Yükleme (Load): Temiz veriler analytics veritabanına yüklenir. Aynı randevu kimliği varsa güncellenir, yoksa eklenir (upsert pattern). Tamamlandıktan sonra, veri kalitesi kontrolleri otomatik olarak çalışır.

Başarılı bir yürütme tamamlandıktan sonra hata oluşursa, data team'e otomatik email uyarısı gönderilir.

Transformasyon: dbt ile SQL-First Yaklaşımı

dbt (data build tool), transformasyon işlerini SQL yazarak yönetmeyi sağlayan açık kaynak araçtır. Version control altında çalışır, test edilebilir ve tam otomatik olarak çalıştırılabilir.

Típik bir workflow Medallion Architecture (Bronz-Gümüş-Altın) modeli izler. Bronz katmanında ham veriler saklanır. Gümüş katmanında veriler temizlenir, doğrulanır ve standart hale getirilir. Altın katmanında ise analitik açısından hazır, agregasyon yapılmış veriler bulunur.

Oplist örneğinde, dbt otomatik olarak her doktor için istatistikleri hesaplar: toplam randevu sayısı, tamamlanan randevu sayısı, iptal oranı ve ortalama randevu süresi. İş zekası araçları bu hazır tabloları kullanarak anlık raporlar ve panolar oluştururlar.

Veri Kalitesi: Otomatik Kontrol

Yüksek kaliteli veri, iş kararlarının güvenilirliğini belirler. Veri kalitesi kontrolleri otomatik olarak çalıştırılabilir: sütun varlığı, boş değer yüzdeleri, tekrarlanan kayıtlar, tarih aralıkları, sayısal sınırlar.

Oplist'te, her günlük pipeline tamamlandıktan sonra appointment_id alanının yüzde 99'undan fazla dolu olup olmadığı, patient_age'nin 0-150 aralığında olup olmadığı, status alanının geçerli değerlerden birine sahip olup olmadığı otomatik olarak kontrol edilir. Başarısız bir kontrol, veriyi raporlama sistemine sunmaz ve alerta iletilir.

Veri Ambarı Mimarileri: Kimball vs Inmon

Kimball mimarisi (boyutsal modelleme), merkez fact table çevresinde dimension tablolar organize eder. Oplist benzeri 50-500 kullanıcıya sahip SaaS şirketleri için idealdir. Hızlı raporlama, basit implementasyon, iş zekası araçlarına doğrudan entegrasyon sağlar.

Inmon mimarisi (kurumsal), merkezi normalized veri ambarından departman-spesifik veri Mart'ları türetir. Fortune 500 şirketleri gibi karmaşık kuruluşlar için uygundur ama yavaş ve pahalıdır.

Smart Maple tavsiyesi: SaaS şirketleri Kimball seçsin. Büyük kuruluşlar hybrid yaklaşım (normalized veri ambarı + Kimball style veri Mart'ları) tercih etsin.

Sonuç: Doğru Teknoloji Yığını

Modern veri mimarisi, eski ETL paradigmasından bulut tabanlı ELT yaklaşımına evrildi. Oplist benzeri healthcare SaaS uygulamaları için Smart Maple bu teknoloji yığınını önerir:

• Veri Ambarı: Snowflake (maliyet-etkili, ölçeklenebilir)
• Orkestrasyonu: Airflow (açık kaynak, esnek)
• Transformasyon: dbt (SQL-first, sürüm kontrollü)
• İş Zekası: Metabase (açık kaynak) + Power BI (kurumsal)

Maliyet: Yılda 15.600 TL | Süre: 4-6 hafta | ROI: İlk 3 ayda pozitif

Veri ambarı mimarisi, sadece teknik bir proje değildir—stratejik bir iş kararıdır. Doğru mimari, işletmenizin verilerden maksimum değer çıkarmasını sağlar. Smart Maple, 8 yıldır 50+ kuruluşun bu dönüşümünü başarıyla yönetmiştir.

Smart Maple ile başlayın. Veri mimarı uzmanlarımız, işletmeniz için özelleştirilmiş bir çözüm tasarlayabilir.