Neden bu terimler önemli?

Yapay zeka ve veri bilimi projelerinde birçok ekip, modelden önce veriyle ilgili sorunlarda zorlanır: yanlış anlamlandırılmış alanlar, tutarsız etiketler, izlenebilir olmayan veri akışı (lineage) ve belirsiz sorumluluklar… Sonuçta ekipler aynı kelimeleri kullanıyor gibi görünse de farklı şeyleri kasteder. Bu rehberin amacı; veri kalitesi, etiketleme/annotation ve veri yönetimi/yönetişimi kelime dağarcığını pratik bir “ortak dil”e dönüştürmek ve bunu uygulanabilir bir stratejiye bağlamaktır.

Not: Standartlar ve rehberler arasında terminoloji farkları olabilir. Akademik literatür de “tek ve evrensel” bir boyut seti olmadığına işaret eder. Bu nedenle burada, yaygın ve birlikte çalışabilir bir yaklaşım önerilir; ekip içi sözlükle netleştirilmesi beklenir.

Hızlı harita: Terimleri 3 kutuda düşünün

  • Veri kalitesi (data quality): Verinin amaca uygunluğu. Boyutlar (doğruluk, tamlık vb.) ve ölçüm yöntemleri.
  • Etiketleme/annotation: Modelin öğreneceği hedefin/gerçeğin (label) nasıl üretildiği; yönergeler, kalite kontrol ve anlaşmazlık çözümü.
  • Veri yönetimi ve yönetişimi (data management/governance): Roller, politikalar, yaşam döngüsü, metadata, erişim, sürümleme ve izlenebilirlik.

Pratikte bu üç alan birbirine bağlıdır: Yönetişim “kim-neye karar verir?” sorusunu, veri kalitesi “neyi iyi sayarız?” sorusunu, etiketleme ise “modelin gerçeğini nasıl tutarlı üretiriz?” sorusunu cevaplar.

1) Veri kalitesi terimleri: Boyutlar, ölçüm ve ortak tuzaklar

“Veri kalitesi” çoğunlukla birden fazla boyutla açıklanır. DAMA’nın veri yönetimi terminolojisi ve akademik çerçeveler bu boyutların yaygın bir çekirdeği paylaştığını, ancak detaylarda farklılaştığını gösterir. Bazı standartlar ise belirli veri türlerine odaklanır.

Öneri: Projeniz için 6–10 boyutluk bir “kalite sözlüğü” seçin, her boyutu ölçüm yaklaşımı ve kabul kriteri ile tanımlayın. Bu, ekip içi tartışmaları hızlandırır ve veri borcunu (data debt) görünür kılar.

Yaygın veri kalitesi boyutları (çekirdek set)

Boyut Kısa tanım Günlük örnek (e-öğrenme / referans ürün) Nasıl ölçülür?
Doğruluk (accuracy) Değerin “gerçeğe” veya referans kaynağa uygunluğu Sözlükte terim tanımının doğru kaynağa dayanması Spot check, uzman incelemesi, çapraz doğrulama
Tamlık (completeness) Gerekli alanların/örneklerin mevcut olması Konu etiketi zorunlu olan içeriklerde boş etiket kalmaması Boş/null oranı, zorunlu alan kontrolü
Tutarlılık (consistency) Aynı kuralın her yerde aynı uygulanması “Grade level” alanının bir yerde 6, bir yerde “sixth” gelmemesi Şema/kurallar, veri kontratı, kural ihlali sayısı
Zamanlılık (timeliness) Verinin ihtiyaç anında ulaşılabilir ve güncel olması Yeni eklenen içeriklerin arama indeksine gecikmeden düşmesi Gecikme SLA’ları, pipeline gecikme ölçümü
Güncellik (currency) Bilginin “eski” olmaması; değişen gerçekliği yansıtması Politika/teknoloji terimlerinin tanımlarının revizyon gerektirmesi Son güncellenme tarihi, içerik yaş analizi
Benzersizlik (uniqueness) Aynı kaydın tekrarlanmaması Aynı ders içeriğinin iki farklı ID ile çoğalması Dedup kuralları, benzerlik eşleştirme

Bu boyutların bir kısmı DAMA’nın güncellenen terminolojisi ve akademik çerçevelerde tartışılır. Örnek kaynaklar: DAMA DMBOK revizyon notları, MDPI Data (2024) boyutlar çerçevesi.

ISO 8000-210:2024 nerede devreye girer? (Sensör verisi odağı)

Genel amaçlı kalite boyutları her veri türüne uygulanabilir; ancak sensör/IoT gibi alanlarda veri kalitesini, ölçüm ve kayıt koşullarına bağlı daha teknik karakteristiklerle ele almak gerekebilir. ISO 8000-210:2024, sensör verisi için veri kalite karakteristiklerini tanımlayan bir standarttır ve özellikle zaman serileri, cihaz kaynaklı ölçümler ve saha koşullarının etkilediği veri setlerinde ortak bir dil kurmaya yardımcı olabilir.

Sınır: ISO 8000-210:2024’ün kapsamı sensör verisine odaklanır; bu nedenle DAMA/akademik “genel boyut setleri”nin yerine geçmekten ziyade, sensör verisi söz konusu olduğunda bu setleri tamamlayıcı bir referans olarak düşünmek daha doğru olur.

“Kalite”yi tek sayı zannetmeyin: Bağlama göre kalite

Veri kalitesi çoğu zaman kullanım amacına göre tanımlanır. Örneğin bir öneri sistemi için küçük yazım hataları tolere edilebilirken, yüksek riskli kararlar içeren uygulamalarda aynı tolerans kabul edilemez. Bu nedenle “kabul edilebilir kalite” eşiği, ürün riskine ve kararın etkisine göre belirlenmelidir.

İki kritik terim: Veri profilleme ve veri doğrulama

  • Veri profilleme (data profiling): Veri setinin istatistiksel ve yapısal olarak taranması. Amaç; dağılımlar, uç değerler, boşluklar, format uyuşmazlıkları gibi sinyalleri ortaya çıkarmaktır.
  • Veri doğrulama (data validation): Önceden tanımlanmış kurallara göre otomatik kontroller. Örn. “tarih alanı gelecekte olamaz” gibi.

Bu ikisi birlikte kullanıldığında “beklenmeyen” değişimlere erken yakalanırsınız ve etiketleme ya da model performansındaki düşüşleri açıklamak kolaylaşır.

2) Etiketleme (annotation) terimleri: Rehber, kalite kontrol, anlaşmazlık yönetimi

Etiketleme, eğitim verisinin “gerçeğini” tanımlar. Bu gerçek; sınıflandırma etiketi, kutu çizimi (bounding box), metin işaretleme, rubrik puanı, arama niyeti, içerik seviyesi gibi birçok biçimde olabilir. Etiketleme kalitesi düştüğünde modeliniz yanlış şeyi öğrenebilir.

Temel terimler

  • Etiket (label): Modelin tahmin etmesi beklenen hedef.
  • Labeling guidelines: Etiketleyenin hangi durumda hangi etiketi vereceğini açıklayan yazılı kurallar ve örnekler.
  • Ontoloji / etiket taksonomisi: Etiketlerin hiyerarşisi ve kapsamı (ör. “Matematik > Cebir > Denklem”).
  • Gold / sentinel örnekler: Kalitesi doğrulanmış, etiketleme doğruluğunu ölçmek için iş akışına serpiştirilen kontrol örnekleri.
  • Çift etiketleme (double annotation): Aynı örneğin birden fazla etiketleyici tarafından bağımsız işaretlenmesi.
  • Adjudication: Etiketleyiciler arası anlaşmazlıkların bir uzman/üçüncü kişi tarafından çözülmesi.
  • IAA (inter-annotator agreement): Etiketleyiciler arası uyum ölçümü. Sık geçen metrikler arasında Cohen’s kappa ve Krippendorff’s alpha yer alır.

Çok katmanlı kalite kontrol; çoklu etiketleme, adjudication, gold/sentinel örnekler ve IAA ölçümünü birlikte ele alır. Sahada kalite yönetimi pratikleri için: Computational Linguistics (MIT Press, 2024). Operasyonel yönerge ve iş akışı örnekleri için: Scale AI Data Labeling Guide.

İyi bir labeling guideline nasıl görünür? (Pratik şablon)

  • Amaç ve kapsam: Modelin neyi öğreneceği; hangi örneklerin kapsam dışı olduğu.
  • Etiket sözlüğü: Her etiketin tanımı, sınırları, “yakın ama değil” örnekleri.
  • Karar ağacı: Etiketleyenin adım adım ilerleyeceği akış.
  • Zor vakalar: Belirsiz durumlar için “escalation” kuralı (uzmana yönlendirme).
  • Örnek seti: Her etiket için pozitif/negatif örnekler ve gerekçeleri.
  • Sürümleme: Guideline değiştiğinde hangi etiketlerin yeniden işleneceği.

Örnek: Bir e-öğrenme platformunda “Beginner/Intermediate/Advanced” seviyesi etiketleniyorsa, sadece konuya değil ön koşul bilgi tanımına da yer vermek gerekir. Aksi halde etiketleyiciler kendi eğitim geçmişlerine göre farklı kararlar verebilir.

IAA metriği neyi çözer, neyi çözmez?

IAA ölçmek, “etiketleyiciler tutarlı mı?” sorusunu yanıtlamaya yardım eder. Ancak iki noktaya dikkat edin:

  • Yüksek uyum her zaman doğru etiket demek değildir; herkes aynı hatayı yapıyor olabilir. Bu yüzden gold/sentinel örnekler ve uzman denetimi önemlidir.
  • Düşük uyum bazen doğal olabilir; görev tanımı muğlaksa veya sınıflar birbirine çok yakınsa. Bu durumda çözüm genellikle guideline’ı netleştirmek veya sınıf tanımlarını revize etmektir.

Otomatik hata tespiti (label-error detection) ne zaman işe yarar?

Etiket hatalarını otomatik olarak işaretleyen yaklaşımlar, özellikle büyük veri setlerinde “inceleme kuyruğu” oluşturmak için faydalı olabilir. Örneğin cleanlab dokümantasyonu, model çıktıları üzerinden olası etiket sorunlarını belirleme ve bu örnekleri gözden geçirme akışlarını açıklar.

Sınır: Bu tür araçlar genellikle bir “önceliklendirme” sağlar; tek başına nihai karar mekanizması olarak düşünülmemelidir. Yüksek riskli alanlarda veya önemli kullanıcı etkisi olan etiketlerde, insan doğrulaması/adjudication süreci koruyucu bir katmandır.

3) Veri yönetimi ve yönetişimi: Roller, yaşam döngüsü ve izlenebilirlik

“Data governance” sıklıkla politikalar ve karar mekanizmaları; “data management” ise bu kararların günlük operasyonu olarak düşünülür. Kurumsal ölçekte sürdürülebilir kalite için ikisi birlikte gereklidir.

NIST RDaF ile yaşam döngüsü düşünmek

NIST’in Research Data Framework (RDaF) v2.0 yayını, veri yaşam döngüsü ve yönetişim uygulamalarına yönelik bir çerçeve sunar. Araştırma bağlamında tasarlanmış olsa da, ürün ekiplerinin de şu pratik ihtiyaçlarına iyi oturur:

  • Verinin nereden geldiği (provenance) ve nasıl dönüştüğü
  • Kimlerin sorumlu olduğu (roller)
  • Hangi sürümün nerede kullanıldığı (reproducibility)
  • Paylaşım/erişim kuralları ve dokümantasyon

Roller: Owner, Steward, Custodian (sık karıştırılan kavramlar)

  • Data Owner (sahip): Verinin kullanım amacını ve erişim kararlarını belirleyen iş sorumlusu.
  • Data Steward (sorumlu/koruyucu): Veri sözlüğü, kalite kuralları, tanımlar ve günlük kalite iyileştirmelerinin sahibi.
  • Data Custodian (saklayıcı/işleten): Altyapı, erişim kontrolleri, yedekleme gibi teknik işletim sorumlusu.

Bu ayrım net değilse “kalite problemi” hızlıca “kim çözecek?” problemine dönüşür.

İzlenebilirlik (lineage) ve sürümleme (versioning) neden kritik?

Model performansında düşüş yaşadığınızda ilk sorulardan biri şudur: Hangi veri sürümüyle eğittik ve o veri nasıl üretildi? Bu soruya hızlı cevap verebilmek için:

  • Dataset versioning: Eğitim/validasyon/test setleri sürümlenmeli, değişiklik notları tutulmalı.
  • Lineage: Kaynak → dönüşümler → son dataset zinciri kayıt altına alınmalı.
  • Metadata: Alan tanımları, kapsam, kısıtlar ve kalite ölçümleri dataset ile birlikte yaşamalı.

4) Data pipeline terimleri: Veri hattında kaliteyi “tasarımla” koymak

“Data pipeline”, verinin toplanması, dönüştürülmesi ve tüketilmesi arasındaki süreçtir. Kaliteyi yalnızca en sonda kontrol etmek, hataları pahalı hale getirir. Bunun yerine kalite kontrolleri hattın içine yerleştirilmelidir.

Sık geçen pipeline kavramları

  • Ingestion: Kaynaktan veri alma (stream/batch).
  • ETL/ELT: Dönüştürme adımları (temizleme, birleştirme, zenginleştirme).
  • Data contract: Üretici ve tüketici arasında şema ve kalite beklentisi anlaşması.
  • Training dataset / evaluation dataset: Model eğitim ve değerlendirme setleri (ayrım ve dokümantasyon önemli).
  • Drift: Zamanla veri dağılımının veya etiket ilişkisinin değişmesi (izleme gerektirir).

Bu terimler, yönetişimle birleştiğinde “veri borcunu” azaltır: hangi alanın ne anlama geldiği, hangi dönüşümün neden yapıldığı ve hangi testlerin geçtiği görünür olur.

5) Regülasyon ve denetim perspektifi: Ne kadar belge, ne kadar kontrol?

ABD pazarında her sektör için tek tip, bağlayıcı bir rejimden söz etmek zordur; ancak “güvenilir AI” beklentisi artar. AB tarafında ise AI Act gibi düzenlemeler, özellikle yüksek riskli sistemlerde veri yönetişimi ve kalite yönetimi beklentilerini daha somut hale getirir. Bağlam için: ISACA – Understanding the EU AI Act.

Uyum gereksinimleri hızla değişebilir. Bu bölüm hukuki danışmanlık değildir; kurumunuzun kapsamı ve risk sınıfı için uzman görüşü alın.

Pratik çıkarım: Regülasyon baskısı olsun veya olmasın, izlenebilirlik, dataset dokümantasyonu, kalite ölçümleri ve etiketleme süreç kayıtları; hem denetim hem de mühendislik açısından geri dönüşü yüksek yatırımlardır.

6) Uygulanabilir strateji: 30–60–90 günlük plan

İlk 30 gün: Ortak dil ve minimum kalite standardı

  • Terim sözlüğü: Projeye özel veri kalitesi boyutlarını ve etiket taksonomisini tek sayfada toplayın.
  • Dataset kartı: Kaynak, kapsam, güncellik, bilinen sınırlamalar, temel metrikler.
  • Labeling guideline v1: En az 20–50 örnekle “zor vaka” bölümünü yazın.
  • Gold/sentinel set: Küçük ama güvenilir bir kontrol seti oluşturun.

60 gün: Süreç ve ölçüm (QC katmanları)

  • Çift etiketleme + adjudication: Belirsiz sınıflarda veya kritik etiketlerde devreye alın.
  • IAA ölçümü: Eğitimi ve guideline revizyonunu yönlendirmek için düzenli raporlayın.
  • Otomatik kontroller: Şema doğrulama, zorunlu alanlar, format kontrolleri.
  • İnceleme kuyruğu: Olası etiket sorunlarını önceliklendirin; insan onayıyla kapatın.

90 gün: Yönetişim ve ölçekleme

  • Roller ve RACI: Owner/steward/custodian sorumluluklarını yazılı hale getirin.
  • Sürümleme ve lineage: Eğitim ve değerlendirme setlerine sürüm etiketi; pipeline dönüşüm kayıtları.
  • Kalite inceleme ritmi: Aylık kalite toplantısı (metrik trendleri, drift sinyalleri, yeniden etiketleme kararları).

Kontrol listeleri (kopyalayıp kullanın)

Veri kalitesi kontrol listesi

  • Kalite boyutları proje için tanımlandı ve ölçüm yöntemi yazıldı.
  • Şema ve zorunlu alan kuralları otomatik doğrulanıyor.
  • Güncellik/zamanlılık için temel SLA veya hedefler belirlendi.
  • Tekilleştirme ve tekrar kayıt kuralları tanımlı.
  • Bilinen sınırlamalar dataset dokümantasyonunda yer alıyor.

Etiketleme kalite kontrol listesi

  • Guideline’da kapsam dışı örnekler ve escalation yolu var.
  • Örneklerle desteklenen etiket sözlüğü ve karar ağacı var.
  • Gold/sentinel örnekler iş akışına düzenli ekleniyor.
  • Çift etiketleme ve adjudication, kritik görevlerde uygulanıyor.
  • IAA düzenli ölçülüyor ve guideline revizyonlarına bağlanıyor.

Yönetişim ve izlenebilirlik kontrol listesi

  • Veri sahibi (owner) ve veri sorumlusu (steward) atanmış.
  • Dataset sürümleri ve değişiklik notları tutuluyor.
  • Lineage: kaynak → dönüşüm → kullanım zinciri izlenebilir.
  • Erişim ve paylaşım kuralları dokümante.

Sonuç: Terimlerden sisteme

“Veri kalitesi”, “etiketleme” ve “veri yönetişimi” tek tek kavramlar değil; birlikte bir kalite yönetim sistemi oluştururlar. DAMA ve akademik çerçeveler, kalite boyutlarının çok boyutlu doğasına işaret ederken; ISO 8000-210:2024 gibi standartlar sensör verisi gibi alanlarda daha spesifik kalite karakteristikleri için ortak dil sunabilir. NIST RDaF ise yaşam döngüsü ve yönetişim perspektifini yapılandırmaya yardımcı olur. Etiketleme tarafında çok katmanlı kalite kontrol (gold/sentinel, çoklu etiketleme, adjudication ve otomatik ön kontroller) sürdürülebilirliği artırır.

Bu rehberdeki şablonlarla başlayıp kendi alanınıza göre terimleri netleştirirseniz, ekip içinde ortak dil kurar; veri hattınızı daha izlenebilir hale getirir ve modellerinizin performansını “veri üzerinden” sistematik şekilde iyileştirmek için sağlam bir temel atarsınız.

Kaynaklar