Büyük Veri, her gün işletmeleri sular altında bırakan hem yapılandırılmış hem de yapılandırılmamış büyük veri hacmini tanımlayan bir terimdir. Ancak önemli olan veri miktarı değildir. Büyük Veri ile önemli olan kuruluşların verilerle yaptığı şeydir. Büyük Veri, daha iyi kararlar ve stratejik iş hareketlerine yol açan fikirler elde etmek için analiz edilebilir. (PowerData, 2015).
Büyük veriler, geleneksel verilerle birlikte birçok yeni veri ve veri yönetimi türünü içeren ve bütünleştiren bütüncül bir bilgi yönetimi stratejisini tanımlar (ORACLE, 2014).
Çok daha geniş bir tanım içinde, kavramın kapsamını daha iyi anlamak için 4 V dikkate alınmalıdır:
Ses
Veri miktarını ifade eder, daha fazla hacmin daha fazla veri ile eşanlamlı olmadığına dikkat edilmelidir, bu nedenle Büyük Veri'de büyük hacimli bilgilerin işlenmesinin düşük yoğunlukta olması gerekir. ORACLE, Hadoop verilerini söylüyorBunlar, örneğin web sayfalarında yapılan tıklamalar, sosyal ağlardaki iletiler ve hatta mobil uygulamalar, ağdaki mevcut trafik ve diğerleri gibi yapılandırılmamış (bilinmeyen değerlere sahip) olmalıdır. Big Data'nın işi, bu verileri faydalı bilgilere dönüştürmektir. Depolama boyutuna başvurmak onlarca terabayttan farklı olabilir yüzlerce petabayt, her kuruluşa bağlı olarak.
Hadoop
Hadoop sistemi, paralel programlama zorluğu nedeniyle geliştiricilerin çalışmalarını aydınlatma, kullanıcıya yardımcı olan bir ekosistem sağlama, dosyayı dağıtma işlevine sahiptir. düğümlerde, birkaç işlemin paralel olarak yürütülmesine izin verir. Hadoop sistemi veri izleme için kontrol modüllerine sahiptir, eklentilerin entegrasyonuna izin verirdepolanan bilgilerin işlenmesini, manipülasyonunu, izlenmesini ve istişaresini kolaylaştırmaya hizmet eder.
değer
Şu anda verilerin veya bilgilerin değerinin olduğunu söylemek nadir değildir, ancak bunlara sahip olmak herhangi bir yardımcı program oluşturmaz, ancak onlar için bir uygulama bulunmalıdır. Bu verilerden değer elde etmemize izin veren birçok nicel ve araştırma tekniği vardır, bunun açık bir örneği, birçok şirket tarafından gerçekleştirilen ve aşağıdakileri içeren ilgili bir teklif sunmaya hizmet eden müşteri tercihlerinin analizidir. konum gibi veriler.
Tüm bilgilerin depolanıp işlenebilmesinin bir maliyeti vardır, ancak çevrimiçi davranış analizi için artan talep nedeniyle, hesaplama ve veri depolama açısından fiyatlar düşmüştür, böylece büyük bir bölümlere ayırmaya gerek kalmadan veya yalnızca bir örnek kullanmadan bilgi miktarı.
Tüm bilgileri birlikte işleyebilme gerçeği, karar alma konusunda daha kesin olmalarını sağlayan bir yeniliği varsayar. Değerli bilgileri keşfetme süreci analistlerin veya uzmanların alana, kullanıcılara ve yöneticilere katılmasını gerektirir. Bu şekilde, Büyük Veri, davranışların bir tahminini sunabilmek için insan davranışını tahmin etmeyi, kalıpları tanımayı öğrenmelidir.
Çeşitlilik
Bu özellik, yapılandırılmamış verilere ve aralarında metin, ses ve video olmak üzere yarı yapılandırılmış olarak sınıflandırılabilen verilere karşılık gelir. Tüm bu veriler, meta veri kullanımının yanı sıra bir anlam oluşturmak için ek işlem gerektirir.destek. Başka bir deyişle, bu özellik bilginin karmaşıklığını ölçmeye ve azaltmaya çalışır.
Anlaşıldıklarında, yapılandırılmamış veriler yapılandırılmış veri olarak işlenebilir, yani denetimler için özetlenebilir, hizalanabilir ve çizilebilir. Bununla birlikte, bilinen bir kaynaktan elde edilen veriler önceden haber verilmeksizin değiştiğinde daha fazla karmaşıklık söz konusudur, bu analiz için bir yük oluşturur.
hız
Verilerin alınma oranı ve analiz edilmesi veya işlenmesi gibi bazı eylemlerin uygulanma oranıdır. Daha yüksek bir hız elde etmek için sadece baytlarda değil aynı zamanda okuma gücünde de yüksek bir bellek kapasitesi gereklidir, bu nedenle bulut depolama ve internet hızı gibi teknolojilerin önemi çok önemlidir.
Örneğin, bazı Nesnelerin İnterneti uygulamaları (Nesnelerin İnterneti), statü ve güvenlik toplamlarına sahiptir, bunlar gerçek zamanlı eylemler ve değerlendirmeler gerektirir.
Başka bir örnek, İnternet'i kullanmaya hazır olan akıllı ürünlerdir, gerçek zamanlı olarak çalışırlar ve kullanım istatistikleri, güvenlik, konum gibi ilgili bilgileri sağlarlar. E-ticaret uygulamaları bu değişkenleri nasıl kullanmaya çalışarak bir Akıllı Telefonun konumunu reklam yoluyla teklif yapmak için kişisel tercihlerle karıştırıyor. Operasyonel bir bakış açısından, cep telefonları için tasarlanan uygulamalar büyük bir kullanıcı tabanına ve daha geniş bir ağ trafiğine sahiptir, bu nedenle deneyim ve yanıt beklentisi hemen olmalıdır.
Açıklama
Tüm bu ilkeler netleştikten sonra, Büyük Verilerin o zaman bir veri kümesi olduğuna dikkat edilmelidir, bu da hacim, değer, çeşitlilik ve hızı yakalamayı, kaydetmeyi, yönetmeyi, işlemeyi zorlaştıran bu veri kümelerinin kombinasyonlarıdır. ilişki veritabanları, istatistikler ve görselleştirme paketleri gibi konvansiyonel teknolojiler ve araçlar aracılığıyla analizlerinin faydalı olmaları için gerekli bir süre içerisinde analiz edilmesi.
Belirli bir veri kümesinin Büyük Veri olarak kabul edilmesi gereken boyutun ne olduğu tanımlanmamıştır, çünkü zaman geçtikçe değişmeye devam etmektedir, şu anda bu alandaki çoğu analist ve uzmanlar, başlayan veri setleri olduklarını söylüyor 30 Terabayttan. Bu nedenle, şu anda kullanılan teknolojiler tarafından üretilen ve İnternette bilgi arama, sosyal ağlar ve bunlarda meydana gelen etkileşimler gibi verilerin çoğunun yapılandırılmamış doğası nedeniyle doğada son derece karmaşıktır (Facebook, Twitter, Google, diğerleri arasında), sayfa kayıtları, cihaz sensörleri (ölçümler, GPS konumu), dizüstü bilgisayarlar, akıllı telefonlar ve makine ve araçlar da dahil olmak üzere çağrı merkezi kayıtları.
Büyük Verileri etkin bir şekilde kullanabilmek için, ERP veya CRM gibi geleneksel bir ticari uygulamanın yapılandırılmış verileri (ilişkisel veritabanı) ile birleştirilmelidir.
Önem
Büyük Verilerin şirketlerin bazen cevap vermeleri gerektiğini bilmediği birçok soruya cevap vermesi, bu aracı iş düzeyinde son derece kullanışlı kılan şeydir, çünkü bir referans noktası sağlar. Gerekli bilgi hacmi, verilerin şirketlerin ihtiyaç duyduğu şekilde kalıplanmasını sağlar. Böylece problemleri daha anlaşılır bir şekilde tanımlayabilirler.
Büyük miktarda veri toplayabilme ve bunların içinde belirli eğilimlerin bulunmasına izin verebilme gerçeği, şirketlerin kararlarını hızlı, verimli ve sorunsuz bir şekilde almalarını sağlar. Vurgulanması son derece önemli bir şey, problemler şirketin itibarını etkilemeden veya faydalarına zarar vermeden çok önce problem alanlarını ortadan kaldırmanıza izin vermesidir.
Büyük Veri, kuruluşların bilgilerini büyüme veya iyileştirme fırsatlarını belirlemek için kullanarak analiz yoluyla kullanmalarına yardımcı olur. Bu akıllı iş hareketleri, daha verimli operasyonlar, daha yüksek karlar ve müşteri memnuniyeti sağlar. Avantajlar, aşağıdaki gibi bu araçla dikkate alınmalıdır:
| Maliyetlerin azaltılması | Hızlandırılmış karar verme | Ürün üretmek ve
Hizmetler |
Maliyetlerin azaltılması
Hadoop sistemi ve bulut tabanlı analitik gibi en güçlü ve potansiyel veri teknolojileri ele alınmalıdır. Bunlar maliyet avantajı yaratır, çünkü büyük miktarda veri depolamak söz konusu olduğunda, ilerleyen yıllarda üstel büyüme gösteren ve aynı zamanda daha verimli pazarlama yollarını belirlememize izin veren büyük miktarda arz vardır.
Daha hızlı karar verme
Hadoop sistemine atıfta bulunulan hız ve bilgi analitiği, yeni veri kaynaklarını analiz etme yeteneği ile birleştiğinde, şirketlere anında bilgi sunmalarını sağlar (özet olarak ya da gereken belirli veriler olarak)) ve bu yolla öğrendiklerine (yapay zeka) dayalı kararlar alırlar.
Yeni ürünler / hizmetler oluşturun
Büyük Veri, müşteri ihtiyaçlarını analiz etme ve ölçme yeteneği sunar, bu nedenle memnuniyetleri, istedikleri veya ihtiyaç duydukları kesin olarak bildikleri bilgilerinin analizi ile verilir. Analitik yoluyla şirketler, müşterilerinin taleplerini karşılamak için yeni ürünler ve hizmetler oluştururlar. Sahip olduklarını bilmedikleri yeni ihtiyaçlar bile üretebilirler.
Uygulama
Daha önce de görülebileceği gibi, Big Data'nın erişim gücü düşünülemez, aslında sınırlar aynı şirketler tarafından belirlenir, çünkü bu bilgilerle ne yapılacağı onlara bağlıdır. Bu aracın çeşitli sektörlerde kullanılabileceği yollar aşağıdadır:
Sağlık
Büyük Veri, sağlık sektöründe büyük miktarda bilgi içerir. Öncelikle hasta kayıtlarının bir parçası, genel ve özel sağlık planları, sigorta ve kapsam bilgileri ve ayrıca bilgileri yönetmek zordur. Tüm bu veriler, analiz uygulanırken anahtar olan bilgileri sağlar. Bu nedenle veri analizi teknolojisi sağlık hizmetleri için hayati önem taşımaktadır. Bu büyük miktardaki bilgileri analiz ederek, hasta tanıları ve tedavi seçenekleri neredeyse anında sağlanabilir, böylece hastalıklara onarılamaz olmadan saldırma olasılıkları yaratılır.
yönetim
Yönetimin karşılaştığı temel zorluklardan biri, genellikle sıkı bütçelerle operasyonların kalitesini sağlamak ve verimliliği arttırmaktır. Büyük Veri, yönetimin faaliyetlere daha geniş bir bakış açısı sunarak, işlemlerin teknoloji yoluyla düzene sokulmasına izin verebilir.
reklâm
Akıllı telefonların yanı sıra GPS entegrasyonuna sahip cihazların artan kullanımı, reklamverenlerin bir restoran, kitapçı veya kahve dükkanı gibi belirli bir mağazanın yakınında olduklarında tüketicileri hedeflemelerine olanak tanır. Bu, hizmet sağlayıcılar için daha fazla gelir elde etme, yeni potansiyel müşteriler alma, konumlandırma ve başarıya ulaşma gibi fırsatlar yaratır.
Satış
Müşteri hizmetleri tüm işletmeler için son derece önemli hale geldi ve müşteriler en küçük ayrıntıya kadar talepte bulundular, bu nedenle satışlar daha akıllı alıcıların perakendecilerin beklediği gibi gelişti. tam olarak neye ihtiyaç duyduklarını ve ne zaman ihtiyaç duyduklarını anlayın.
Büyük Veri, perakendecilerin bu talepleri karşılamasını sağlayabilir. Müşteri sadakat programlarından, alışveriş alışkanlıklarından ve diğer kaynaklardan sonsuz miktarda veri ile donatılan perakendeciler sadece müşterileri hakkında derin bir anlayışa sahip olmakla kalmaz, aynı zamanda eğilimleri tahmin edebilir, yeni ürünler önerebilir ve karlılığı artırabilir.
turizm
Turizm sektörünün anahtarı olduğu için müşteri memnuniyetine izin vermelidir, ancak özellikle doğru zamanda bu özelliğin ölçülmesi zordur. Örneğin tatil köyleri ve kumarhaneler, kötü bir müşteri deneyimini tersine çevirmek için sadece küçük bir şansa sahiptir. Büyük veri analizi, bu şirketlere müşteri verilerini toplama, analiz uygulama ve potansiyel sorunları çok geç olmadan hemen tanımlama olanağı sağlar.
Büyük Veri zorlukları
Büyük Verilerin belirli özellikleri, veri kalitesini birçok zorlukla karşı karşıya bırakır:
| Ses | değer | Çeşitlilik | hız | gerçeklik |
Veri kaynakları ve türlerinde çeşitlilik
Pek çok kaynak, veri türü ve karmaşık yapılarla veri entegrasyonunun zorluğu artar.
Büyük veri veri kaynakları çok geniştir:
- İnternet ve mobil veri, Nesnelerin İnterneti verileri, uzmanlaşmış şirketler tarafından toplanan sektörel veriler. Data Deneysel veriler.
Ve veri türleri de:
- Yapılandırılmamış veri türleri: belgeler, videolar, sesler, vb. Yarı yapılandırılmış veri türleri: yazılım, elektronik tablolar, raporlar, yapılandırılmış veri türleri
Bilgilerin sadece% 20'si yapılandırılmıştır ve bir veri kalitesi projesi üstlenmezsek birçok hataya neden olabilir.
Veri hacmi
Daha önce gördüğümüz gibi, veri hacmi muazzamdır ve bu, veri kalitesi sürecinin makul bir süre içinde yürütülmesini zorlaştırır.
Yüksek kaliteli verileri hızlı bir şekilde toplamak, temizlemek, entegre etmek ve elde etmek zordur. Yapılandırılmamış türleri yapılandırılmış türlere dönüştürmek ve bu verileri işlemek uzun zaman alır.
uçuculuk
Veriler hızla değişir ve bu çok kısa bir geçerlilik sağlar. Bunu çözmek için çok yüksek bir işleme gücüne ihtiyacımız var.
Bunu iyi yapmazsak, bu verilere dayanan işleme ve analiz, karar vermede hatalara yol açabilecek hatalı sonuçlar doğurabilir.
Birleşik veri kalitesi standartları yoktur
1987 yılında Uluslararası Standardizasyon Örgütü (ISO), ürün ve hizmetlerin kalitesini garanti etmek için ISO 9000 standartlarını yayınladı. Bununla birlikte, veri kalitesi standartları ile ilgili çalışma 1990'lara kadar başlamamış ve 2011 yılına kadar ISO ISO 8000 veri kalitesi standartlarını yayınlamamıştır.
Bu standartların olgunlaşması ve iyileştirilmesi gerekmektedir. Ayrıca, büyük veri kalitesi verileri üzerine araştırmalar henüz yeni başlamıştır ve neredeyse hiç sonuç alınamamıştır.
Büyük verilerin kalitesi, sadece rekabet avantajı elde etmek için değil, aynı zamanda çok ciddi sonuçlar doğurabilecek hatalı verilere dayanarak ciddi stratejik ve operasyonel hatalar yapmamızı önlemek için önemlidir.
Veri Yönetim Planı
Yönetişim, verilerin gizliliğini ve güvenliğini korurken, mümkün olan en az sayıda hata ile verilerin yetkilendirilmesini, organize edilmesini ve bir veritabanında gerekli kullanıcı izinleriyle sağlanmasını ifade eder. Özellikle verinin nerede ve nasıl barındırıldığı ve işlendiği gerçeği sürekli hareket halinde olduğunda, bu özellikler arasında kolay denge sağlamak zordur.
Ayrıntılı Veri Erişimi
Ayrıntılı denetimler olmadan etkili veri yönetişiminiz olamaz.
Bu zerre şekilli kontroller, erişim kontrol ifadeleri ile elde edilebilmektedir. Bu ifadeler, rol tabanlı izinler ve görünürlük ayarlarıyla esnek veri erişimini ve yetkilendirmesini kontrol etmek için gruplama ve Boole mantığı kullanır.
En düşük düzeyde, gizli veriler gizlenerek korunur ve en üst düzeyde veri bilimcileri ve BI analistleri için gizli sözleşmeler vardır. Bu, veri maskeleme özellikleri ve ham verilerin mümkün olduğunca kilitlendiği ve üst kısımda yöneticilere daha fazla görünürlük sağlanana kadar kademeli olarak daha fazla erişim sağlanan farklı görünümlerle yapılabilir.
Daha entegre güvenlik sağlayan farklı erişim düzeylerine sahip olabilirsiniz.
Veri koruması
Yönetişim, zincirin son noktasında güvenlik olmadan gerçekleşmez. Mevcut kimlik doğrulama sistemleri ve standartlarıyla entegre edilmiş, verilerin çevresine iyi bir çevre oluşturmak ve bir güvenlik duvarı koymak önemlidir. Kimlik doğrulama söz konusu olduğunda, şirketlerin kanıtlanmış sistemlerle senkronize olması önemlidir.
Kimlik doğrulamayla, LDAP, Active Directory ve diğer dizin hizmetleriyle nasıl entegre edileceğini görmekle ilgilidir. Kimlik doğrulama desteği için Kerberos gibi araçlar da desteklenebilir. Ancak önemli olan ayrı bir altyapı oluşturmak değil, onu mevcut yapıya entegre etmektir.
Şifreleme
Çevreyi koruduktan ve verilen tüm granüler veri erişimini doğruladıktan sonraki bir sonraki adım, dosyaların ve kişisel olarak tanımlanabilir bilgilerin (PII) şifrelenmesini ve veri hattının uçtan ucuna şifrelenmesini sağlamaktır.
Çevre aşıldığında ve sisteme erişim sağlandığında, PII verilerinin korunması son derece önemlidir. Bu verilerin şifrelenmesi gerekir, böylece kimlere erişirse erişsinler, ihtiyaç duydukları taramaları bu verileri göstermeden çalıştırabilirler.
Denetim ve Analiz
Strateji, denetim olmadan çalışmaz. Sürecin her aşamasında bu görünürlük ve hesap verebilirlik düzeyi, BT'nin yalnızca erişim politikalarını ve denetimlerini ayarlamak ve en iyisini ummak yerine verileri "yönetmesini" sağlayan şeydir. Ayrıca, şirketlerin verileri görüntüleme şeklimizin ve bunları yönetmek ve analiz etmek için kullandığımız teknolojilerin her geçen gün değiştiği bir ortamda stratejilerini nasıl güncel tutabilecekleri de budur.
Büyük Veri ve IoT'nin (Nesnelerin İnterneti) bebeklik dönemindeyiz ve verilerdeki erişimi izlemek ve kalıpları tanımak çok önemlidir.
Denetleme ve ayrıştırma, JavaScript Nesne Notasyonu (JSON) dosyalarını izlemek kadar basit olabilir.
Birleşik Veri Mimarisi
Sonuç olarak, iş veri yönetimi stratejisini denetleyen BT yöneticisi, ayrıntılı erişim, kimlik doğrulama, güvenlik, şifreleme ve denetimin ayrıntılarını düşünmelidir. Ama burada bitmemeli. Bunun yerine, bu bileşenlerin her birinin küresel veri mimarinize nasıl entegre olduğunu düşünmelisiniz. Ayrıca, veri toplama ve depolamadan BI, analitik ve diğer üçüncü taraf hizmetlerine kadar bu altyapının nasıl ölçeklenebilir ve güvenli olması gerektiğini de düşünmeniz gerekir. Veri yönetişimi, teknolojinin kendisi kadar strateji ve yürütmeyi yeniden düşünmekle ilgilidir.
Bir dizi güvenlik kuralının ötesine geçer. Bu rollerin tüm platformda ve ona getirilen tüm araçlarda oluşturulduğu ve senkronize edildiği benzersiz bir mimaridir.
Tez önerisi
Teklif 1
Veracruz topluluğunun bilgilerini analiz etmek ve bireylerin yönlendirilmesini ve düzeltilmesini kolaylaştıran ağlar üzerindeki faaliyetleri izleyerek suçları önleyebilmek için Büyük Veri'yi kullanın.
Önerme 2
Daha hızlı entegrasyon için sosyal yapıların geliştirilmesi için gecikmelerden ölçeklendirme önerileri oluşturun.
Referans kaynakları
Veri Yönetimi Uzmanları. (Ekim 2012). Büyük Veri: Nedir?
Önemi, zorlukları ve yönetişimi. Mart, 2018, PowerData Web Sitesinden:
ORACLE. (Ağustos 2014). İş büyük veri. Mart 2018, ORACLE Latin Amerika Web sitesinden:
Quer, A. (05 Eylül 2013). Büyük Veri ve Hadoop arasındaki ilişki nedir? Mart, 2018, PowerData Web Sitesinden:
______________________
Büyük hacimli verileri depolamak, işlemek ve analiz etmek için kullanılan açık kaynaklı sistem.
Terabayt (TB), 10 12 bayta eşdeğer, yani 1.000.000.000.000 (bir milyar) bayt.
Petabyte (PB) 10 15 bayta, yani 1.000.000.000.000.000 bayta eşittir.
Bir adla atanan ve sistem veya kullanıcı için eksiksiz bir bağımsız birim olarak yapılandırılan mantıksal bilgi veya veri kümesi.
Aynı yerde bir araya gelen birkaç öğenin kesişme noktası veya birleşimi.
Uzantı veya ekleme, BT projeleri için yüklenebilir bir yükseltmeyi ifade edebilir.
Kaynak adı verilen bir nesnenin bilgilendirici içeriğini tanımlayan veri grubu.
Nesnelerin İnterneti, bir zamanlar iletişim cihazları, kameralar, sensörler vb.Gibi kapalı devre yoluyla bağlanan nesnelere güç sağlar ve ağların kullanımı yoluyla küresel olarak iletişim kurmalarını sağlar.
Orijinal dosyayı indirin
