Modern Veri Yığını (Modern Data Stack) Rehberi: Araçlar ve Mimari [2026]

Modern Veri Yığını: Teknoloji Demokrasisi

10 yıl öncesine kadar, kurumsal düzeyde veri altyapısı kurmak, Fortune 500 şirketleri için ayrılmış bir lükstü. Müstakil yazılımlar, özel donanımlar, yıllar süren projeler. Maliyeti milyonlardı.

Bugün, 5 kişilik bir startup, Google BigQuery, Fivetran, dbt ve Looker ile aynı düzeyde veri altyapısını kurabilir. Maliyeti, aylık 5.000 dolar civarıdır. Bu devrime "Modern Data Stack" (MDS) deniliyor.

Bu rehber, MDS'nin ne olduğunu, hangi araçlardan oluştuğunu ve nasıl seçeceğinizi açıklıyor.

Veri Mühendisliği ve Data Pipeline rehberimizde gördüğünüz modern yaklaşımlar, MDS'nin uygulanmasıdır.

Modern Data Stack Nedir?

MDS, belirli ilkelere dayanan, modüler veri araçlarından oluşan bir mimarisidir:

1. Bulut-Birinci: Tüm bileşenler, bulut üzerinde çalışır. Kendi donanımınız yok.

2. SaaS Tercihi: Yazılım lisanslama yerine, hizmet olarak sağlanır. Yönetim, sağlayıcıya aittir.

3. ELT Odaklı: Dönüştürmeyi, hedef sistemde yapmak. (Geleneksel ETL yerine)

4. Modüler: Her katman, bağımsız araçlar tarafından yönetilir. Fivetran ingestion, dbt transformation, Snowflake storage, Looker visualization. İhtiyaca göre değiştirilebilir.

5. SQL Odaklı: Transform işlemler, Python yerine SQL ile yapılır. (dbt)

6. Veri Kataloğu: Veri erişimi, self-service. Teknik olmayan kullanıcılar da veriyi bulabilir.

Modern Data Stack, veri demokrasisidir. Teknik olmayan iş analitiği, SQL yardımıyla veri alabilir.

MDS Katmanları

Veri, çeşitli katmanlardan geçerek işlenip, son kullanıcılara sunulur. İş uygulamalarından (Salesforce, Stripe, Google Analytics, vb.) veri çekilir. Ingestion katmanında (Fivetran, Airbyte), bu veriler otomatik olarak toplanır. Storage katmanında (Snowflake, BigQuery, S3), veriler depolanır. Transformation katmanında (dbt), veriler dönüştürülüp temizlenir. Orchestration katmanında (Airflow, Dagster), tüm pipeline'lar zamanlanır ve koordine edilir. Son olarak, Visualization katmanında (Looker, Tableau), veriler raporlar ve dashboard'lar haline dönüştürülerek, business user'lara sunulur.

1. Ingestion (Veri Toplama) Katmanı

Amaç: İş uygulamalarından veri çekmek ve depolama sistemine yüklemek.

Popüler Araçlar:

Fivetran

• Plug-and-play connectors (300+ uygulama)
• Yapılandırma, web arayüzü üzerinden
• Otomatik şema saptaması
• Hata işleme ve yeniden deneme
• Maliyet: Veri hacmine göre (1.000 rows = 1 credit, 12 credit/gün = 1200 credit/ay = 6.000$/yıl örnek)

Airbyte

• Açık kaynak ve cloud seçeneği
• 300+ connector (Fivetran'ın hemen hemen aynısı)
• Daha uygun fiyat (açık kaynak free, cloud $10-300/ay)
• Teknik ekip gerekli

Stitch

• Talend'in MDS'ye odaklanmış ürünü
• Fivetran kadar değil, ama iyi seçenek

Seçim Kriteri:

• Kaç veri kaynağı? (300+: Fivetran/Airbyte)
• Bütçe? (Az para: Airbyte Cloud)
• Teknik ekip? (Var: Açık kaynak, Yok: SaaS)

2. Storage (Depolama) Katmanı

Amaç: Gelen veriyi saklamak, erişilebilir kılmak.

Popüler Araçlar:

Snowflake

• Veri ambarı + data lake (hybrid)
• Bulut-agnostik (AWS, GCP, Azure)
• Veri paylaşımı (Data Marketplace)
• Maliyet: Compute (8 credit/saat) + Storage (4$/TB/ay) = aylık 10.000-50.000$
• Popülarite: MDS'de en çok tercih edileni

Google BigQuery

• Veri ambarı + hızlı sorgu motorua
• Google Cloud'a bağlı
• Sorgu başına ödeme (5$/TB)
• Maliyet: aylık 5.000-20.000$
• Popülarite: İkinci en çok

Databricks

• Lakehouse (veri gölü + ambar)
• Delta Lake teknolojisi
• ML ve Spark entegrasyonu
• Maliyet: aylık 8.000-40.000$
• Popülarite: Artan (ML ekibi varsa tercih)

AWS S3 + Athena

• Yalnızca veri gölü
• En ucuz (S3: 0.02$/GB/ay)
• Sorgu: Athena 5$/TB
• Maliyet: aylık 1.000-5.000$ (hacime bağlı)
• Popülarite: Yapılandırılmış olmayan veri için

Seçim Kriteri:

• Veri mimarisi? (Warehouse: Snowflake, Lake: S3, Hybrid: Databricks)
• Cloud sağlayıcı? (AWS: BigQuery/Redshift, GCP: BigQuery, Azure: Synapse)
• Veri paylaşımı? (Evet: Snowflake Data Marketplace)

3. Transformation (Dönüştürme) Katmanı

Amaç: Ham verileri, analiz edilebilir tablolara dönüştürmek.

dbt (Data Build Tool)

dbt, MDS'nin kalbidir. SQL write yazıyorsunuz, dbt yapıları organize ediyor, test ediyor, dokümante ediyor.

Özellikler:

• SQL-based transformations
• Incremental models (sadece yeni veriler işlenir)
• Testler (data quality kontrolleri)
• Documentation (otomatik veri kataloğu)
• Lineage (veri nereden nereye gidiyor)
• CI/CD (GitHub ile entegre)

Maliyet:

• dbt Core (açık kaynak): Free
• dbt Cloud (yönetilen): 100$/ay-1.000$/ay

Alternatifler:

Spark SQL / Databricks

• Büyük hacimli veri için
• Python/Scala destekler
• dbt'den daha güçlü

Looker Looks (SQL Modeling)

• Looker'in kendi transformation aracı
• dbt'ye alternatif değil, tamamlayıcı

Seçim Kriteri:

• SQL-odaklı mı? (Evet: dbt)
• Büyük hacimli? (Evet: Spark)
• Looker kullanıyor musunuz? (Evet: Looks + dbt)

4. Orchestration (Yönetim) Katmanı

Amaç: Data pipeline'ları çalıştırmak, zamanlamak, hatalarla baş etmek.

Popüler Araçlar:

Airflow (Apache)

• En popüler açık kaynak
• Kompleks workflow'lar
• Python-based DAGs
• Maliyet: Açık kaynak (free), ama operasyon zor
• Self-hosted: 2-3 DevOps engineer = 200.000$/yıl

dbt Cloud Scheduler

• dbt transformations'ı zamanlamak için
• Basit ve entegre
• dbt Cloud paketine dahil

Dagster

• Airflow'dan daha modern
• Observability (ne olup bittiğini görmek) daha iyi
• Maliyet: Open source (free) veya Cloud (500-2.000$/ay)

Prefect Cloud

• Bulut-birinci yaklaşım
• Ölçeklenebilir, güvenilir
• Maliyet: 100-500$/ay

Seçim Kriteri:

• Basit iş akışı? (dbt Cloud Scheduler)
• Kompleks? (Airflow veya Dagster)
• Bulut-basedmi istiyorsunuz? (Prefect, Dagster Cloud)

5. Visualization (Görselleştirme) Katmanı

Amaç: Veriler, raporlar ve dashboard'lara dönüştürmek.

Popüler Araçlar:

Looker (Google)

• BI platform, hem reporting hem exploration
• Semantic layer (iş mantığı)
• Embedded analytics (uygulamaya gömülü)
• Maliyet: Koltuk başına 2.000-10.000$/yıl
• Popülarite: Kurumsal

Tableau

• Tableau Public (web-based)
• Tableau Server (self-hosted)
• Tableau Cloud (yönetilen)
• Maliyet: Koltuk başına 1.000-10.000$/yıl
• Popülarite: Eğitim ve araştırma

Metabase

• Açık kaynak, basit
• Küçük ekipler için ideal
• Maliyet: Free (açık kaynak)
• Popülarite: Startup'lar

Apache Superset

• Açık kaynak, hızla gelişiyor
• Python-based
• Maliyet: Free

Seçim Kriteri:

• Teknik olmayan kullanıcılar? (Looker, Tableau)
• Bütçe sınırlı? (Metabase, Superset)
• Kurumsal gereklilik? (Looker, Tableau)

MDS Toplam Maliyeti Hesaplaması

100 GB veri, 10 veri kaynağı, 50 kullanıcıyla orta ölçekli bir işletme için:

Komponent	Araç	Aylık Maliyet
Ingestion	Fivetran	3.000
Storage	Snowflake	5.000
Transformation	dbt Cloud	500
Orchestration	dbt Cloud Scheduler	0 (dahil)
Visualization	Looker	10.000
Monitoring	Trusted	2.000
Toplam		20.500

Bu maliyetin %50'si (10.000$) Looker cihazı lisansından. Eğer başlamak istiyorsanız:

Komponent	Araç	Aylık Maliyet
Ingestion	Airbyte Cloud	500
Storage	BigQuery	3.000
Transformation	dbt Cloud	300
Orchestration	Dbt Cloud	0
Visualization	Metabase	0
Toplam		3.800

Startup'lar, 3.000-5.000$ ile başlayabilir. Kurumlar, 15.000-30.000$ bütçe planlar.

Build vs. Buy Kararı

Her MDS komponentinde, build (açık kaynak) vs. buy (SaaS) seçeneği vardır:

Build Seçmeli Durumlar:

• Çok özel gereklilikler (standart solution yok)
• Yüksek veri hacmi (SaaS'ın maliyeti, self-hosted'den daha pahalı)
• Teknik ekip (DevOps, backend engineers)
• Veri egemenliği (veriler, kendi sunucularınızda kalmalı)

Buy Seçmeli Durumlar:

• Hızlı başlamak istiyorsanız
• Teknik ekip yok
• Operational burden istememek
• Ölçeklenebilir bir çözüm istiyorsanız

Çoğu modern şirket, hybrid seçer. Ingestion (Fivetran) ve Visualization (Looker) için buy, Transformation (dbt) ve Orchestration (Airflow) için build.

Modern Data Stack Maturity Seviyesleri

MDS implementasyonu, aşamalar halinde gelmeli:

Seviye 1: Veri Toplama

• Fivetran/Airbyte ile 3-5 veri kaynağı
• BigQuery/Snowflake'e yükleme
• Hedef: Ham veri bulut'ta

Seviye 2: Temel Transformation

• dbt ile ilk transformation'lar
• Haftada bir update
• Hedef: Temiz tabloları, temel raporlar

Seviye 3: Orchestration

• Airflow veya dbt Cloud Scheduler
• Saatlik update'ler
• Monitoring ve alerting
• Hedef: Güvenilir, otomatik pipeline'lar

Seviye 4: Semantic Layer

• Looker semantic layer veya dbt Metrics
• Birçok dashboard
• Advanced analytics
• Hedef: Self-service BI

Seviye 5: Modern Data Platform

• Data mesh (bölüm başına veri sahipliği)
• Data contracts
• ML & AI Integration
• Hedef: Veri-driven organizasyon

Başlangıç, Seviye 1-2'de. Maturity arttıkça, Seviye 3-5'e ilerleme.

MDS Trend'leri 2026'da

1. Data Mesh: Merkezi veri ekibinden, bölümlere dağıtılmış sahiplik

2. Data Contracts: Pipeline'lar arasında, şema anlaşmaları (veri kalitesi garantisi)

3. Reverse ETL: Veri ambarından, İşletme uygulamalarına geri yazma (Hightouch, Census)

4. AI Integration: LLM'ler, data pipeline'lara entegre (veri soru-cevapı)

5. Real-Time MDS: Streaming'e odaklı (Kafka + Spark)

Smart Maple, bu trend'leri takip ederek, müşterilerine en modern çözümleri sunmaktadır.

Smart Maple ile Modern Data Stack Kurulumu

Modern Data Stack implementasyonu, teknoloji seçimi kadar, organizasyonel değişim de gerektirir. Smart Maple, her iki yönde de danışmanlık sunmaktadır.

Hizmetlerimiz:

• MDS stratejisi tanımlama (araç seçimi)
• Fivetran/Airbyte ingestion kurulması
• Snowflake/BigQuery storage seçimi ve yapılandırması
• dbt dönüştürmelerin yazılması
• Airflow orchestration kurulması
• Looker/Tableau implementation
• Self-service BI training
• Continuous optimization

Projemiz:

• Hızlı başlangıç: 4 hafta içinde, ilk pipeline'lar çalışır
• Hızlı ROI: 2-3 ay içinde, veri analitiğin yararları görülür
• Sürdürülebilir: Operasyonel desteğimiz, sistem çalışır durumda tutar

Modern Data Stack kurulumu konusunda danışmanlık almak için, Smart Maple ile iletişime geçebilirsiniz. Size uygun bir MDS yol haritası oluşturabiliriz.