Big data nedir, ne işe yarar?

big data nedir

Son dönem teknoloji dünyasının en popüler konularından biri big data (büyük veri). Birkaç yıldır zaten teknoloji dünyasının zihnini meşgul eden bu kavram son günlerde Facebook’un Cambridge Analytica skandalı sonrası  artık standart internet kullanıcısının da gündeminde yer tutmaya başladı. Peki big data nedir, ne işimize yarar, neden bu kadar önemli, geleneksel veriden ne farkı var; bu yazıda büyük veri ile yeni tanışanlar için bu gibi sorulara yanıt vermeye çalışacağız.

Big data nedir? Bildiğimiz geleneksel veriden ne farkı var?

Bir e-ticaret sitesi örneğinden yola çıkalım. Geleneksel olarak internetin ilk yaygınlaştığı yıllarda bir e-ticaret sitesi için veri kabaca ürünler, üyeler, siparişler gibi boyutlardan ibaret idi. Bu veriler ilişkisel veritabanı tabloları içerisinde tutulur ve işlenirdi. Siz ziyaretçi olarak bu ürün tablosundaki bilgileri, size sunulan bir arayüz içerisinde inceler, siteye üye olarak bilgilerinizi sisteme kaydeder, sonra da siparişlerinizi oluştururdunuz.

Henüz internetten alışveriş yapabilmenin tek başına şaşırtıcı olduğu dönemlerde bu kadarı herkesi mutlu etmek için yeterliydi. Elbette zamanla işlem hacimleri büyüdü, teknolojik olanaklarımız katlanarak arttı ve dijital pazarlamaya büyük paralar harcanmaya, herkes bu süreçler hakkında daha fazla kafa yormaya başladı.

Bugün sözünü ettiğimiz “büyük veri”ye giden yolda ilk önce eldeki datalar arasında anlamlı ve işe yarar sonuçlar çıkarmaya başladık. E-ticaret sitemizde “bunu alan bunları da aldı” gibi formüllerle, elimizdeki veriden ziyaretçilerin daha fazla alışveriş yapmasını sağlayabileceğimiz öneriler geliştirmeye başladık.

Bilgi işleme hızımız teknoloji ile birlikte artmaya devam ettikçe daha kompleks çeşitli veri kaynaklarındaki yığın haldeki verileri de anlamlı hale getirmeye başladık. Zamanla kullanıcının mouse hareketlerine kadar tüm aktivitelerini izlemek, kaydetmek ve bunlardan anlamlı sonuçlar üretebilecek şekilde bu verileri işleyebilmek mümkün hale geldi.

Üstelik tüm bu veri artık, bizim de onayımızla, Google, Facebook gibi firmalar aracılığı ile platformlar arası kullanıma da açıldı. Bugün örneğin Google, elindeki veri ile pek çoğumuzu eşinden daha iyi tanıyor. Şu an için bu bilgileri sadece satın alma tercihlerimizi öngörmeye ve etkilemeye yönelik kullanıyor olmasını umuyoruz.

Frankenstein ile ilk yüzleşme, Cambridge Analytica skandalı

Konuyu bilmeyenler için kısaca özetlemek gerekirse; Cambridge Analytica adlı İngiliz veri analiz firmasının milyonlarca Facebook kullanıcı verisini usulsüz biçimde toplayarak bunları başta ABD başkanlık seçimleri olmak üzere çeşitli ülkelerdeki seçim sonuçlarını manipüle edecek biçimde kullandığının ortaya çıkması ile Facebook’u zor durum bırakan skandal halen tartışılmaya devam ediyor.

Facebook üzerinden eğlenmek için çözdüğünüz ve anlamsız görünen pek çok test üzerinden elde ettiği veriler ile kullanıcıları profilleyen firma, bu verileri seçimdeki tercihlerini etkilemek için kullandı.

Büyük verinin mahremiyetimiz ile ilişkisi muhtemelen önümüzdeki yıllar boyunca çok tartışılan konulardan olmayı sürdürecek. Fakat bu yazının konusu distopya senaryoları olmadığı için şimdilik burada bırakalım.

Big data ne kadar büyük?

2013 yılında IBM tarafından açıklanan bir çalışmaya göre her gün 2.5 quintillion byte (2,5 milyar GB) veri üretiyoruz. Üstelik tüm elektronik cihazlarımızın da bir bir “akıllanması” ile bu veriyi üretme hızımız da korkunç bir şekilde katlanarak artıyor. Aynı çalışmaya göre bugün dünyada mevcut tüm verinin %90’ı son iki yıl içerisinde üretildi.

Büyük veri, basit bir boyut meselesi de değil. Teknolojinin ilerlemesi ile, bu okyanusa her gün yeni veri kaynakları katılıyor. Verilerin kendisi yeni olmasa bile artık her hareketimiz kaydedilerek işlenmeye müsait veriler haline geliyor. Büyük veri alanında çalışan pek çok şirket ve ürün, bu verilerden şirketlerin işine yarayacak sonuçlar elde etmeye çabalıyor.

Big Data’nın tarihsel gelişimi

Büyük veri tanımı daha eskilere dayansa da, geniş kitleler tarafından sosyal medya başta olmak üzere online servisler üzerinden ürettiğimiz verilerin dikkatleri üzerine çekmesi 2000’li yılların ortalarına doğru oldu.

2005 yılında Hadoop (Büyük data kümeleri ile çalışmak üzere hazırlanmış bir open source framework) ortaya çıktı. Diğer yandan aynı zamanlarda ilişkisel veritabanlarına alternatif olarak NoSQL veritabanı çözümleri popüler hale gelmeye başladı.

Big data üzerinden çalışmak üzere hazırlanmış yazılım çözümlerinin sırasıyla ortaya çıkması, hem maliyetler hem de kabiliyetleri hızla daha elverişli hale getirdi.

Bu gelişmelerle paralel olarak nesnelerin interneti (IoT) kavramı hayatımıza girdi ve artık sadece insanlar değil, teknolojik cihazlar da internete katıldı. Cihazlarımız da sürekli olarak big data bulutuna veri göndermeye başladı.

Makine öğrenmesi algoritmalarının gelişmesi ile de artık bu verileri yorumlamak ve kullanışlı sonuçlar üretmek çok daha kolay hale geldi.

Büyük veri nasıl kullanılabilir?

Buraya kadar büyük veri kavramını anlamaya çalıştık. Peki gündelik hayatımızda bugün büyük verinin etkisi nedir ve biz nerede bu veriden faydalanabiliriz. Biraz beyin jimnastiği yapalım. Büyük veri hakkımızda ne biliyor?

Örneğin, kredi kartı ile yaptığınız harcamaları izleyen ve inceleyen bankanız ekonomik durumunuzun gidişatı hakkında sizden çok daha objektif bir değerlendirme yapabilir. Bu bilgi de kredi verme kararında çok daha isabetli risk değerlendirmesi yapmasını sağlayabilir.

Ya da süpermarket alışveriş alışkanlıklarınızın seyri ruh haliniz hakkında, ruh haliniz de bir sonra satın alacağınız ürünler hakkında bu verileri inceleyen şirkete neler söyleyebilir? Üstelik bu firma sadece sizi izlemiyor. Elinde bu verileri doğrulayabileceği daha milyonlarca başka profil mevcut. Bu örneklerin sayısı arttıkça da daha isabetli kararlar vermeye başlayacak.

Üstelik bu verilerin işlenmesi konusunda makine öğrenmesi işin içine katıldığında mevzu çok daha ilginç bir hal alıyor. Artık bu verileri kendi hipotezlerimiz ile sınamak ve sonuç çıkarmaya çalışmak yerine tüm bu verilerin bilgisayarlar tarafından sınanması ve anlamlı kalıplar çıkartılması ile büyük veri analizi de çok daha ileri boyutlara taşınabiliyor.

Umarım konuya yeni ilgi duyanlar için big data hakkında temel bazı soruları yanıtlayabildik. Eklemek istedikleriniz, soru ve itirazlarınız için aşağıdaki yorumlar bölümünü kullanabilirsiniz.

Yorumunuzu Yazın