Big Data nedir?

Bilgisayarın ama daha önemlisi internetin bulunmasının ardından dijital veriler her geçen gün hızla çoğalıyor. Bu durumu kendi kişisel bilgisayarlarımızda da görebiliriz. 10 sene önce 128GB büyüklüğünde bir harddisk yeterli iken, günümüzde 1TB kapasiteli harddisk neredeyse standart konfigürasyon haline geldi. Kullanıcılar olarak bununla yetinmiyoruz ayrıca bulut çözümleri de kullanır hale geldik. Bu durum dijital verilerimizin hızla artmasının bir sonucu. Aynı durum şirketler için de geçerli. Birçok büyük şirket, her geçen gün artan verileri saklamak için büyük çaba sarfediyor.

Ancak saklanın yanında elde edilen ve saklanan verilerin etkin olarak kullanılmasını amaçlayan şirketler Big Data metodolojisine odaklanmaya başladı.

Big Data kısaca; sosyal / toplumsal medya paylaşımları, ağ günlükleri ,bloglar, fotoğraf, video, log dosyaları vb. gibi değişik kaynaklardan toplanan tüm verilerin, anlamlı ve işlenebilir biçime dönüştürülmüş biçimine denir. Big Data ayrıca geleneksel veritabanı araçları ve algoritmaları ile işlemesi zor olan bu büyük verinin oluşturulması, saklanması, akışı, analiz edilmesi gibi birçok konuyu içeren bir terim olarak karşımıza çıkmaktadır.

Big Data süreci
Big Data süreci

 

 

 

 

 

 

 

 

 

Tahmin edilebileceği gibi, ilişkisel veri tabanlarında tutulan yapısal verinin dışında kalan, son dönemlere dek çok da kullanılmayan, yapısal olmayan veri yığınları mevcuttur. Artık yıkılmış olan yaygın bilişimci inanışına göre, yapısal olmayan veri, değersizdi. Ama Big Data bize gösterdi ki; önceleri “bilgi çöplüğü” diye adlandırılan olgudan muazzam derecede önemli, kullanılabilir, yararlı ve işlenebilir veri çıkartmak mümkündür. Bu veriler, doğru analiz metotları ile yorumlandığında şirketlerin stratejik kararlarını doğru bir biçimde almalarına, risklerini daha iyi yönetmelerine ve innovasyon yapmalarına imkan sağlayabilmektedir.

Halen şirketlerin çoğu, konvansiyonel veri ambarı ve veri madenciliği yöntemleriyle elde ettikleri datalardan yola çıkarak, karar almaya devam ediyorlar. Ancak, tüketici eğilimlerini dinamik şekilde öngörebilmek, veriyi Big Data metodolojisi ile analiz edebilmekten ve bu analizlere göre karar alıp hareket edebilmekten geçiyor.

2012 rakamları ile dünyada günlük 2.5 Kentirilyon byte veri üretilmektedir. Bu veriler klasik veritabanlarının kaldıramayacağı büyüklükte olduğu gibi verinin büyüme hızı da bir bilgisayar veya bir veri depolama ünitesini aşmaktadır.  Bu çapta büyük veriyi işleme, transfer etme gibi işlerin tümü Big Data metodolojisinin temelini oluşturmaktadır.

Person of Interest isimli dizide Big Data kullanılarak suçluya ya da kurbana ulaşılıyor
Person of Interest isimli dizide Big Data kullanılarak suçluya ya da kurbana ulaşılıyor

İlişkisel veritabanları gigabyte seviyesinde veri tutabilirken, Big Data petabyte seviyelerinde veriler saklanmasına imkan vermektedir. Ancak Big Data sadece yığın işleme(Batch) işlemleri için uygundur. Transactions gibi gelişmiş veritabanlarında kritik öneme sahip özellikler Big Data’da bulunmaz. Veritabanlarında okuma, yazma güncelleme gibi işlemleri transactionlar aracılığı ile yapabilen -bu işlemler atomik- olarak kabul edilir ve çeşitli kilitleme mekanizmaları ile verinin birden fazla işlem tarafından değiştirilerek tutarsızlaşması engellenir. Big Data’nın, verinin bir kere yazılıp defalarca okuma işlemi yapıldığı durumlarda kullanılması gerekir. Çünkü veriler birden fazla yere paralel olarak işlenmektedir. Çünkü veriler birden fazla yerde paralel olarak işlenmektedir. Bu büyüklükte veri; RFID sensörlerinden, sosyal medyaya, hastanelere kadar birçok alanda üretilmektedir. DNA dizilişlerinin analizi, hava durumu sensörlerinden gelen veriler başta olmak üzere veri oluşturma işlemlerinin yapıldığı birçok alanda Big Data çok önemli bir ihtiyaç olarak karşımıza çıkmaktadır.

Big Data Ekosistemi
Big Data Ekosistemi

 

 

 

 

 

 

 

 

Büyük veri platformunun oluşumunda -genel olarak 5V diye açıklandığı için ingilizce karşılıklarına yer verilebiliriz- beş bileşen vardır. Bunlar; variety, velocity, volume, verification ve value ‘dir.

1.Variety (Çeşitlilik): Üretilen verinin yüzde 80’i yapısal değildir ve her yeni üretilen teknoloji, farklı formatlarda veri üretmektedir. Telefonlardan, tabletlerden, bütünleşik devrelerden gelen türlü çeşitlilikte “Veri Tipi” ile uğraşılması gerekiyor. Bir de bu verilerin farklı dillerde, Non-Unicode olabileceği düşünüldüğünde, bütünleşik olmaları ve birbirlerine dönüşmeleri gerekmektedir.

2.Velocity (Hız): Big Data’nın üretilme hızı çok yüksektir ve bu hız da gittikçe artmaktadır. Bu durum, o veriye muhtaç olan işlem sayısının ve çeşitliliğinin de aynı hızda artması gerektiği sonucunu doğurmaktadır.

3.Volume (Veri Büyüklüğü): IDC istatistiklerine göre 2020’de ulaşılacak veri miktarı, 2009’un 44 katı olacaktır. Şu anda kullanılan, “büyük” diye adlandırdığımız kapasiteleri ve “büyük sistemleri” düşünüp, bunların 44 kat büyüklükte verilerle nasıl başa çıkacakları şimdiden düşünülmesi gerekmektedir. Her kurumun veri arşivleme, işleme, bütünleştirme, saklama vb teknolojilerinin bu büyüklükte veri hacmi ile nasıl başa çıkacağının kurgulanması gerekiyor. 2010’lu yıllarda dünyadaki toplam bilişim harcamaları yılda %5 artmakta, buna karşın üretilen veri miktarı %40 artmaktadır.

4.Verification (Doğrulama): Bu bilgi yoğunluğu içinde verinin akışı sırasında “güvenli” olması da bir diğer bileşen. Akış sırasında, doğru katmadan, olması gerektiği güvenlik seviyesinde izlenmesi, doğru kişiler tarafından görünebilir veya gizli kalması zorunludur.

5.Value (Değer): Big Data için yapılması gereken yatırımlar düşünüldüğünde; doğal olarak her ticari işletme için en önemli bileşen yaratacağı katma değerdir. Karar veriş süreçlerinize anlık olarak etki etmesi, doğru kararı vermenizde hemen elinizin altında olması gerekiyor. Örneğin sağlık konusunda stratejik kararlar alan bir devlet kurumu; anlık olarak bölge, il, ilçe, vb detaylarda hastalık, ilaç, doktor dağılımlarını görebilmeli. Ya da Hava Kuvvetleri; bütün uçucu envanterindeki taşıtlarının anlık yerlerini ve durumlarını izleyebilmeli, geriye dönük bakım tarihçelerini kontrol edebilmeli. Bir banka, kredi vereceği kişinin, sadece demografik bilgilerini değil, yemek yeme, tatil yapma alışkanlıklarını dahi izleyebilmeli, gerekirse sosyal ağlarda ne yaptığını görebilmeli.

İçinde bulunduğumuz zamanda; yatırımcılar, teknoloji girişimcileri, medya ve danışmanlık şirketleri Big Data konusuna odaklanarak, yeni fırsatlar yakalıyor. Bulut Barındırma (Cloud) çözümlerinin basitleşip ucuzlayarak genele yayılması, veri işleme konusundaki ekonomik dengeleri temelden değiştirdi. Yakın geleceğin en önemli teknoloji piyasasının Big Data üzerinde şekillenmesi ve önümüzdeki beş yıl içinde de bu pazarın 50 milyar USD’yi aşması bekleniyor. Dünya çapında yıllık veri hacmindeki büyüme şu anda %59 ve büyümenin yukarıda belirttiğim gibi, artarak devam etmesi bekleniyor. Bu büyümenin merkezinde hem geleneksel hem de yeni veri kaynakları yatıyor. IDC dijital kayıtların bu sene sonunda 1.2M Zetabytes (1021bytes)’a ulaşacağını, önümüzdeki on sene içinde de 44 katına çıkacağını tahmin ediyor. Bir önceki paragrafta bahsettiğimiz büyümenin asıl kaynağı yapısal olmayan verilerden kaynaklanıyor. Yapısal olmayan verilerin yaklaşık %80′nin değersiz olduğuna dair mit ise gerek arama motorlarının gerekse de e-ticaret yapan kurumların tıklama verisini takip ederek ulaştıkları başarı sonrasında çürütülmüş görünüyor. Asıl gereksinim ise yapısal ve yapısal olmayan verinin saklanması, beraberce analiz edilerek, veri madenciliği işlemlerine tabi tutulması.

1980’lerdeki gibi; ürünün çok daha önemli olduğu zamanlarda, şirketlerin asıl amacı belirli bir ürünü üretmek ve müşteriye ulaşımını sağlamaktı. Bu yıllarda ERP sistemlerinin ön planda olduğunu görüyoruz. ERP (Enterprise Resource Planning) sistemlerinin geliştirilmesindeki asıl amaçlardan bazıları; müşteri, dağıtım merkezi, tedarikçiler ve üretimi bir platformda toplamaktı. Bir zamanlar çok popüler olan bu sistemde doygunluğa ulaşıldığında insanlar şu soruyu sormaya başladılar “benim için doğru müşteri kimdir?”

CRM sistemlerinin doğuşu da bu soruyla başladı denilebilir, CRM (Customer Relationship Management-Müşteri ilişkileri Yönetimi)’in asıl ilgilendiği nokta “Doğru ürün ya da hizmeti, doğru müşteriye, doğru fiyatla, doğru kanalda, doğru yerde ve zamanda sunmaktır.“ Yani artık ürüne göre müşteri değil, müşteriye göre ürün devri başlamıştır. Son 10 yıldır yükselen değer olan bu metodoloji giderek önemini arttırmaktadır.

Bir sonraki yazımda Big Data’nın CRM alanına etkilerini inceleyeceğim.

 

Economist, Insurer, Risk Management Advisor, Entrepreneur

Leave a reply:

Your email address will not be published.

Site Footer

Sliding Sidebar