Veri Bilimcinin Not Defteri

Veri Bilimcinin Not Defteri

By In Big Data On 30 Ocak 2014


Wolfram ve diğer matematik hesaplama yapabildiğimiz yazılım paketlerinde not defteri sistemi bulunmaktadır. Aynı yapıya benzer bir yöntem veri bilim çalışmalarında da bugünlerde uygulanmaya başlandı. Bu makalede veri biliminde kullanılan not defteri sistemlerine yer vereceğiz.

Günümüzde adı geçen yazılım projelerden eski adıyla “IPython Notebook” ve yeni adıyla “Jupyter” kullanımı giderek artmaktadır.

Bu sistemler üzerinde veri bilimcisi, üzerinde çalışmak istediği konuların her biri için ayrı bir not defteri açabilmekte her bir not defteri içinde matematiksel, istatistiksel hesaplamalarını sanki kağıt üstüne yazıyormuş gibi kaydedebilmektedir. Kaydedilen not defterlerini diğer veri bilimcilerle, bilim adamlarıyla ve mühendislerle paylaşabilmektedir. Eğer bir workshop veya seminer dizisinde buna benzer bir not defteri ile bilim adamının ve mühendislerin bilgi paylaşımında bulunduğunu görürseniz şaşırmayın !

Not defterleri sadece formüllerin, programların metin olarak paylaşılmasını sağlamaz ayrıca geliştiricilere web üzerinden çalıştırılabilir bir geliştirme ortamı da sunmaktadır. Not defterleri içindeki programlar çeşitli işletim çatılarıyla birlikte çalışabilir şekilde tasarlanmıştır. Biz bu entegrasyon noktalarına “Kernel” ismini vermekteyiz. Örneğin CDR bilgilerini işleyen bir not defterimiz olsun. Bu not defterini çalıştırmak için 100 makineden oluşan bir kümemiz varsa ve bu küme üzerinde Spark işlem çatısı çalışıyorsa, not defterimizi bu Kernel’a bağlayarak sonuçları gözlemleyebiliyoruz.

Örneğin telekom alanında faaliyet gösteren bir operatör için PoC bir proje gerçekleştiriyorsunuz. PoC yaparken zaman ve efor çok değerli iki parametredir. Bu yüzden prototipleme önem kazanmaktadır. Not defteri sistemleriyle özellikle veri odaklı ürünlerin PoC’lerini gerçekleştirmek değerli vakitlerimizi, eforlarımızı optimize etmektedir.


Related Posts