Yandex canlı veri teknolojisi. Yandex Data Factory ve Intel, büyük verileri kullanma şeklimizi değiştiriyor
Yandex Data Factory, Sberbank'ın "süper veri analizi" için seçtiği şirket oldu. YDF proje ofisi başkanı Alexander Khaitin, FutureBanking'e bir bankanın soyut konuşmadan eyleme geçerek büyük veri teknolojilerini tam olarak nasıl uygulayabileceğini anlattı.
İki ya da üç yıl önce büyük veri çok konuşulan bir konuydu. Her banka bundan bahsetmeyi kendi görevi olarak görüyordu. Şimdi her şey sessiz. Bankaların teknoloji konusunda hayal kırıklığına uğradığına dair bir his var. Öyle mi?Aslında bu terimi söylemeyi bıraktılar. Ancak bankaların “içerisine” bakarsanız çoğunda Hadoop vardır. Artık teknolojilerin kullanımından bahsediyorlar ve sadece teorik yararlılıkları hakkında soyut olarak konuşmuyorlar. Örneğin 100.000'den fazla müşterisi olan bir şirket için kişisel öneriler, tanımı gereği büyük veridir. Basitçe ilgili verilerin ölçeği nedeniyle.
Yani büyük verinin ilk kullanımı yukarı ve çapraz satış mı? Ancak klasik CRM sistemleri uzun süredir bu alanda çalışıyor...
Büyük veriyi kullanmak için yalnızca iki koşul gereklidir: Birincisi, verinin mevcut olması, ikincisi ise mevcut fonlar zaten kullanılmış. Mesela şirket zaten bir kanal kurmuş, herkese SMS gönderiyor ve insanlar da onlara cevap veriyor. Süreç oluşturuldu ve uygun maliyetli, ancak yine de yanıtın belirli bir yüzdesini istiyoruz. Aynı zamanda kanal kapasitesi sınırlıdır - bir kişiye 100 mesaj gönderemiyoruz, o sadece onlara yanıt vermeyecektir. Ancak daha kesin bir öneriyle sonuca ulaşılabileceği açıktır. Diyelim ki emeklilik yaşındaki kadınlara depozito, üniversiteden sonra erkeklere de kredi teklif edilmesi gerektiğini anladık. Bu kurallar yapılandırılmıştır ve çalışırlar. Ancak gerçek şu ki, bu tür kadınların hepsine depozito veya erkeklere kredi teklif edilmesine gerek yok. Büyük veri ve makine öğrenimi sayesinde, hangilerinin bu ürünlere ihtiyacı olduğunu tam olarak anlayabiliyoruz ve böylece yanıtın çok az bir yüzdesini ekleyebiliyoruz. Bankalardan biri için oldukça geniş bir müşteri örneklemi üzerinde yaptığımız denemede, tavsiye göndermenin etkisini %13 oranında artırmayı başardık.
Bir dersinde veri bilimcisi Cloudera'dan insanların kendisine "Veriler burada, içinde bir şeyler arayın" demelerinden nefret ettiğini söylüyor. Ancak kendisine net bir görev verildiğinde çalışabilir. Ancak bankalar her zaman ellerindeki verilere göre ne yapılabileceğini anlayamıyor ve bir görev belirleyemiyor.
Sadece bankanın neye ihtiyacı olduğunu anlamalısınız. Satışları artırmak istiyorsa bunu söylemekten çekinmemelidir. Ancak banka genel olarak satışları artırmak istiyorsa bu çok genel bir görevdir. Müşterilerle aktif iletişim kurarak satışları artırmak ise daha anlaşılır bir iştir. Teklifi netleştirerek satışlarda artış bekleyebiliriz.
Banka bunun için tam olarak hangi verileri kullanabilir?
En güçlü sinyal (bir şeyi satın almaya hazır olup olmadığımızı vb. tahmin etmek için kullanabileceğimiz bir işaret), müşteri ile banka arasındaki etkileşimden üretilen verilerdedir. Ve burada ilk olarak hizmeti kullanma geçmişine bakıyoruz - müşterinin kredi alıp almadığı, banka kartının olup olmadığı, hangi hesapları açtığı - tüm olaylar. İkinci bölüm iletişimin tarihidir; ona neler teklif edildi, hangi teklifleri kabul etti ve hangilerini reddetti. Üçüncü bölüm ise sosyo-demografik profildir.
Bu analizde kaç alan kullanılıyor?
Doğrusal olmasa bile ne kadar çok alan o kadar iyidir. Onlarca ve yüzlerce. Sosyal demo profili tek başına 10-15 alan içerir. Bu tür projelerin kişiselleştirilmiş veriler kullanılarak yapılabilmesi önemlidir. Belirli bir kişiyi, tam adını ve telefon numarasını bilmenize gerek yoktur. Yalnızca benzersizliğini bilmek önemlidir. Daha fazla tarih iletişimler artık alanlar değil, kayıtlardır. Bu tür kayıtlar, eğer iletişim ayda bir, yılda 12 olsaydı. Bu yüzlerceyi tamamlıyor. Bunlar işlem sistemlerinden, CRM sistemlerinden ve diğerlerinden gelen verilerdir. Hepsi birlikte müşteri sayısıyla çarpıldığında büyük veriyi oluşturur.
Yandex'in bir parçası olarak bu verileri İnternet'ten bazı bilgilerle tamamlayabilir misiniz?
Bu tamamen doğru bir varsayım değil. Öncelikle, daha önce de söylediğim gibi, en güçlü sinyal, müşterinin bankayla olan etkileşiminin geçmişindedir. Ve bir kişinin sosyal ağlarda kedi ve köpeklerle yazdığı şey çok daha seyrek bilgidir. İkinci olarak, bir banka müşterisi ile bir sosyal ağ profilini eşleştirme görevi oldukça karmaşıktır. İsimlerini dikkate almasak bile hiç kimse sosyal ağlarda tam adını yazmak zorunda değil.
Ancak genel anlamda, çok çeşitli verilere dayanarak nasıl yanıtlar verileceğini öğrenmek için büyük verilere tam olarak ihtiyaç vardır.
Büyük verinin sorunu da budur; sonuç beklentisiyle mekanizmanın beklentisinin birbirine karışması. Müşteri kristal bir küreye bakıp kime kredi veya depozito teklif edeceğini söyleyeceğimizi düşünüyor. Ama bu olmuyor. Belirli veriler gereklidir.
Yandex'in kristal küresi yok mu?
Hayır, üretmeye bile çalışmıyoruz. Büyük veri matematiktir. İnsanların nasıl davrandığına dair örneklerimiz var. Bunlarda kalıplar veya genel tekrar eden kalıplar buluruz ve eksik olanları vurgularız. Kişinin A, B, C adımlarını attığını ve kredi çektiğini görüyoruz. Daha sonra A ve B adımlarını atmış ancak C'nin henüz bunu yapmamış olduğunu görüyoruz. Bu, ona evlenme teklif edebileceğiniz anın geldiği anlamına gelir. Bu oldukça resmi bir matematiksel süreçtir. Ve aynı zamanda önemli olan, iyi bir tahminde bulunabiliyoruz ama aynı zamanda neden tam olarak böyle olduğunu da anlamıyoruz. Büyük veri ölçülebilir kalitede çalışan bir kara kutudur.
Peki ister inanın ister inanmayın?
Hayır, bu kötü bir fikir. Her şeyin ölçülmesi gerekiyor. Her zaman iki grup bulunmalıdır; biri kontrol, ikincisi çalışan. Ve teknolojinin bir etkisi olup olmadığını, olumlu olup olmadığını karşılaştırın. O zaman teknolojiye olan inanca veya inanca dayalı kararlar almaya gerek yoktur. Haftalık rapor, kontrol grubu ile geri kalanlar arasındaki satış farkını gösterecektir. Üstelik bir hafta %5, sonraki %6 artış olabilir ve bir hafta sonra satışlar %2 düşebilir. Bu, bir şeylerin değişmesi gerektiği anlamına geliyor.
Ancak şüpheciler, büyük verilere dayanarak yeşil pantolonlu ve büyük kulaklı insanların daha iyi satın aldığı sonucuna varabileceğimizi söyleyebilir, ancak aslında bu tamamen saçmalık olur.
Sağ. Bu yüzden etkiyi ölçüyoruz. Ölçülebilir bir etkiye her zaman mekanizmanın ayrıntılı bir şekilde anlaşılması eşlik etmez. Örneğin farmakoloji şu şekilde çalışır: Bir ilacın geniş bir grup insanda işe yaradığını kanıtlamak için bir deney yapılır. Ve sonra insanlar vücutlarında ne olduğunu anlamadan ilaç alıyorlar.
Bir bankaya başka hangi iş süreçlerinde büyük veriye yönelik ilaç reçete edilebilir?
Oldukça fazla var. Örneğin sadakat. Bu, çapraz ve üst satıştan daha geniş bir görevdir. Ancak burada bile herkese hediyeler yağdırmak yerine, onlardan gerçekten etkilenecek olanları seçebilirsiniz. Örneğin herkese %2 indirim yapmak oldukça zayıf bir motivasyon aracıdır. Aynı zamanda% 10 vermek de imkansızdır çünkü o zaman şirket çok fazla para kaybedecektir. Ancak yalnızca öncelikle sadakatini kaybeden ve ikinci olarak ilgi duymaya başlayan kişilere odaklanırsanız, %10 teklif edebilirsiniz. Örneğin projelerimizden birinde, büyük veri kullanılarak oluşturulan bir model, bir müşterinin ayrılma olasılığını önceden kullanılan modele göre %20 daha doğru tahmin ediyor. Artık elde tutma önlemlerinizi seçilen müşterilere odaklamanız gerekiyor. Nihai etkiyi değerlendirmek zaman alır; henüz tamamlanmayan pratik testler şu anda devam etmektedir.
O zaman soru şu: Büyük verinin etkinliği nasıl ölçülecek ve sıfıra mı gidiyor?
Öncelikle bu bir hizmetse, o zaman ekonomik verim SLA - hizmet düzeyi sözleşmesine dahil edilebilir. Kontrol grubuna göre satışlarda bir artış olması gerekir. Bunlar sermaye giderleri değil işletme giderleridir: satış yoksa para da yoktur. Ancak zaman içinde modelin bozulduğu açıktır; ancak büyük veri söz konusu olduğunda, daha fazla veri olduğundan bozulma, basit ekstrapolasyona göre daha yavaş gerçekleşir. Bu nedenle hizmetin modelin yeniden eğitilmesini içermesi gerekir. Genellikle çeyrekte bir kez yapılır. Tam olarak aynı prensip Yandex tarafından aramada kullanılıyor - algoritmalar insanlar tarafından görülmese de sürekli geliştiriliyor.
Büyük veri, puanlama ve dolandırıcılıkla mücadelede kullanılıyor mu?
Buradaki sorun bankaların içsel verilerini paylaşma konusunda pek istekli olmamaları. Dolandırıcılık konusunda da durum aynı; bankalar bu durumla kendileri mücadele etmeyi tercih ediyor. İstemci hazırsa bu tür senaryolarda makine öğrenimi teknolojileri de kullanılabilir. yeterli miktar analiz için veriler.
Büyük veri için standart olmayan bazı görevlere örnekler verebilir misiniz?
Evet. Örneğin, müşterinin iletişim merkezini aramasının nasıl önleneceği. Diyelim ki ATM'ye gidiyor ve bir sorusu var. Ona hemen bir cevap vermeliyiz. ATM'de fatura yoksa, onlara yakınlarda başka bir ATM'nin nerede olduğunu vb. söyleyin. Makine öğreniminin rolü, geçmiş verilerin analizine dayanarak, insanların hangi durumlarda ve neden çağrı merkezini aradığını temel alarak arama niyetini tahmin etmektir.
Sizce ne zaman oluşturulacak? yapay zeka?
Sonuç olarak, standart Turing testi geçildi ve makineler uzun süredir belirli entelektüel sorunları çözmek için kullanılıyor - sadece satranç oynamıyorlar. Ancak şu ana kadar yapay zekanın ne zaman ve nasıl olacağını varsaymak için hiçbir neden yok. genel anlamda bu kelime oluşturulacak. Pratik açıdan bakıldığında önemli olan bireysel entelektüel sorunların çözümüdür.
Belirtilen dönemin her günü için belirtilen kampanyalara ilişkin istatistikleri döndürür.
Dikkat.
Bu yöntem güncel değil ve yakında devre dışı bırakılacak. API'nin 5. sürümünü kullanın.
Live 4 ve 5 sürümleri arasındaki yöntemlerin uyumluluğu hakkında bilgi için Geçiş kılavuzuna bakın.
Kısıtlamalar
Tek bir kampanya için günde 100'e kadar yöntem çağrısı.
İstenilen kampanya sayısının seçilen dönemdeki gün sayısıyla çarpımı 1000'i geçmemelidir.
İstatistikler, içinde bulunulan aydan önceki üç yıla ait mevcuttur. Örneğin: 15 Eylül 2016'da, 1 Eylül 2013'ten itibaren verileri alabilirsiniz.
Aynı yöntem çağrısında belirtilen tüm kampanyalar aynı para biriminde olmalıdır.
Live 4 sürümündeki yenilikler
\N Kabul edilebilir değerler: GerekliGerçek para birimindeki kampanyalar için"))"> Para birimi Gerçek para birimi kullanan kampanyalar için giriş parametresi gereklidir. Giriş parametreleri eklendi \N Yanıttaki tutarlar için kullanılacak para birimi. Kabul edilebilir değerler: RUB, CHF, EUR, KZT, TRY, UAH, USD, BYN. Değer, kampanya para birimiyle eşleşmelidir; aksi takdirde kodla birlikte bir hata döndürülür. Birimlerdeki kampanyalar için parametreyi atlayın veya NULL'u iletin. GerekliGerçek para birimindeki kampanyalar için"))"> Para birimi , \N \nGerekliHayır)))"> KDV Dahil
\nGerekliHayır)))"> İndirimi Dahil Et
JSON'daki giriş veri yapısı aşağıda gösterilmiştir. ( "method": "GetSummaryStat", "param": ( /* GetSummaryStatRequest */ " \N \nGerekliEvet)))"> KampanyaIDS
Yanıttaki tutarlar için kullanılacak para birimi. Kabul edilebilir değerler: RUB, CHF, EUR, KZT, TRY, UAH, USD, BYN. Değer, kampanya para birimiyle eşleşmelidir; aksi takdirde kodla birlikte bir hata döndürülür. Birimlerdeki kampanyalar için parametreyi atlayın veya NULL'u iletin. \nGerekliGerçek para birimindeki kampanyalar için"))"> Para birimi
Tıklamaların maliyeti için KDV'yi bir para biriminde hesaplayın - Evet/Hayır. Değer Evet olduğunda yanıtta gösterilen tutarlara KDV dahildir. Atlanırsa, Evet varsayılır. Currency parametresi atlanırsa IncludeVAT parametresi dikkate alınmaz. \nGerekliHayır)))"> KDV Dahil
Tıklamaların maliyetine ilişkin indirimi bir para birimi cinsinden hesaplayın - Evet/Hayır. Değer Evet olduğunda rapor, indirimi içeren tutarları (başka bir deyişle kampanya bakiyesinden fiili olarak kesilen tutarları) gösterir. Değer Hayır olduğunda rapor, indirim uygulanmadan önceki tutarları gösterir. Atlanırsa, Evet varsayılır. Not. Para biriminde yürütülen kampanyalarda tıklama başına maliyet düşüldükten sonra indirim uygulanır. \nGerekliHayır)))"> İndirimi Dahil Et
": (sicim) ) ) KampanyaIDS Kampanya kimliklerini içeren dizi. Yanıttaki tutarlar için kullanılacak para birimi. Kabul edilebilir değerler: RUB, CHF, EUR, KZT, TRY, UAH, USD, BYN. Değer, kampanya para birimiyle eşleşmelidir; aksi takdirde kodla birlikte bir hata döndürülür. Birimlerdeki kampanyalar için parametreyi atlayın veya NULL'u iletin. Tıklamaların maliyeti için KDV'yi bir para biriminde hesaplayın - Evet/Hayır. Değer Evet olduğunda yanıtta gösterilen tutarlara KDV dahildir. Atlanırsa, Evet varsayılır. Currency parametresi atlanırsa IncludeVAT parametresi dikkate alınmaz. Tıklamaların maliyetine ilişkin indirimi bir para birimi cinsinden hesaplayın - Evet/Hayır. Değer Evet olduğunda rapor, indirimi içeren tutarları (başka bir deyişle kampanya bakiyesinden fiili olarak kesilen tutarları) gösterir. Değer Hayır olduğunda rapor, indirim uygulanmadan önceki tutarları gösterir. Atlanırsa, Evet varsayılır. Not. KampanyaIDS Kampanya kimliklerini içeren dizi. Yanıttaki tutarlar için kullanılacak para birimi. Kabul edilebilir değerler: RUB, CHF, EUR, KZT, TRY, UAH, USD, BYN. Değer, kampanya para birimiyle eşleşmelidir; aksi takdirde kodla birlikte bir hata döndürülür. Birimlerdeki kampanyalar için parametreyi atlayın veya NULL'u iletin. Tıklamaların maliyeti için KDV'yi bir para biriminde hesaplayın - Evet/Hayır. Değer Evet olduğunda yanıtta gösterilen tutarlara KDV dahildir. Atlanırsa, Evet varsayılır. Currency parametresi atlanırsa IncludeVAT parametresi dikkate alınmaz. Tıklamaların maliyetine ilişkin indirimi bir para birimi cinsinden hesaplayın - Evet/Hayır. Değer Evet olduğunda rapor, indirimi içeren tutarları (başka bir deyişle kampanya bakiyesinden fiili olarak kesilen tutarları) gösterir. Değer Hayır olduğunda rapor, indirim uygulanmadan önceki tutarları gösterir. Atlanırsa, Evet varsayılır. Not. İstatistiklerin döndürüldüğü rapor döneminin bitiş tarihi (YYYY-AA-GG).Giriş verileri
Parametreler aşağıda açıklanmıştır.
Parametre
Tanım
Gerekli Dikkat.
Kampanya sayısının rapor dönemindeki gün sayısıyla çarpımı 1000'i geçmemelidir. Dikkat.
Evet Dikkat.
Başlangıç tarihi
Bitiş tarihi Para birimi
KDV Dahil Para birimi
Parametreler aşağıda açıklanmıştır.
Parametre
Tanım
HAYIR
Gerekli Dikkat.
Kampanya sayısının rapor dönemindeki gün sayısıyla çarpımı 1000'i geçmemelidir. İndirimi Dahil Et Dikkat.
Evet GetSummaryStatRequest nesnesi Dikkat.
Başlangıç tarihi İstatistiklerin döndürüldüğü rapor döneminin başlangıç tarihi (YYYY-AA-GG).
Bitiş tarihi Para birimi
KDV Dahil Para birimi
Gerçek para birimindeki kampanyalar için
Para Birimi parametresi atlanırsa "Hayır" değeri kabul edilir.
Çıkış verileri
Yöntem, StatItem nesnelerinin bir dizisini döndürür. Her nesne, seçilen dönemdeki tek bir tarihe ait tek bir kampanyanın istatistiklerini içerir.
Dikkat. İstenen kampanya tüm dönem boyunca herhangi bir gösterime sahip değilse yanıtta kampanyayla ilgili bilgi yayınlanmaz. Döndürülen parametrelerin bir kısmı Yandex.Metrica verilerine dayanmaktadır (Doğrudan Yardım'da Yandex.Metrica: reklam kampanyası verimliliği değerlendirmesi Yardım bölümüne bakın).
( "veri": [ ( /* StatItem */ " Kampanya kimliği."))"> Kampanya Kimliği
": (tarih), " \N ": (int), " Veri istatistikleri şunun için sağlanmıştır.")")> İstatistikTarihi
Veri istatistikleri şunun için sağlanmıştır.")")> \n \n")))">
TıklamalarArama Yandex Reklam Ağı'ndaki tıklama sayısı."))">
TıklamalarArama Tıklama Bağlamı
\n")))"> TıklamalarArama Oturum DerinliğiArama
SessionDepthContext TıklamalarArama Yandex.Metrica verilerinden alınır ve yalnızca aramada CPAOptimizer otomatik stratejisinin kullanılması durumunda alınır.
Yandex Reklam Ağı'ndaki tıklamaların toplam maliyeti (Para birimi giriş parametresinde belirtilen para biriminde). Aramadan tıklandığında bir site için oturum derinliği. \n")))"> Yandex Reklam Ağı'ndan tıklandığında bir sitenin oturum derinliği. SessionDepthContext Arama'dan aktarım sırasında toplam ziyaret sayısının bir parçası olarak hedef ziyaretlerin yüzdesi. \n")))"> Yandex Reklam Ağı'ndan aktarım sırasında toplam ziyaret sayısına göre hedef ziyaretlerin yüzdesi. SessionDepthContext Yandex Reklam Ağı'ndaki tıklamaların toplam maliyeti (Para birimi giriş parametresinde belirtilen para biriminde). Aramadan tıklandığında bir site için oturum derinliği. \n")))"> Yandex Reklam Ağı'ndan tıklandığında bir sitenin oturum derinliği. SessionDepthContext Arama'dan aktarım sırasında toplam ziyaret sayısının bir parçası olarak hedef ziyaretlerin yüzdesi. \n")))"> Yandex Reklam Ağı'ndan aktarım sırasında toplam ziyaret sayısına göre hedef ziyaretlerin yüzdesi. SessionDepthContext Aramadan elde edilen tıklamalar için hedef. \n")))"> Yandex Reklam Ağı'ndan gelen tıklamalar için Yandex.Metrica hedefine ulaşmanın maliyeti. SessionDepthContext Değer Evet olduğunda rapor, indirimi içeren tutarları (başka bir deyişle kampanya bakiyesinden fiili olarak kesilen tutarları) gösterir. Değer Hayır olduğunda rapor, indirim uygulanmadan önceki tutarları gösterir. Atlanırsa, Evet varsayılır. Not. Para biriminde yürütülen kampanyalarda tıklama başına maliyet düşüldükten sonra indirim uygulanır. GerekliHayır)))"> İndirimi Dahil Et giriş parametresi. İndirim uygulanmadan önceki tıklamaların maliyeti = Tıklamaların maliyeti aslında bakiyeden düşülüyor / (1 – İndirim) Not. Kampanya Yandex birimlerinde yürütüldüyse tutarlar başka herhangi bir dönüşüme gerek kalmadan "olduğu gibi" döndürülür.Yandex.Metrica verilerinden alınmıştır, ancak yalnızca Yandex Reklam Ağı'nda CPAOptimizer otomatik stratejisi kullanılıyorsa.
GösterilerArama
GösterilerBağlamı
TıklamalarArama
Tıklama Bağlamı
Oturum DerinliğiArama
SessionDepthContext
HedefDönüşümArama
HedefDönüşümBağlamı
HedefMaliyetArama
Yandex.Metrica verilerinden alınmıştır, ancak yalnızca Yandex Reklam Ağı'nda CPAOptimizer otomatik stratejisi kullanılıyorsa.
GösterilerArama Aramadaki gösterim sayısı.
GösterilerBağlamı Yandex Reklam Ağı'ndaki gösterim sayısı.
TıklamalarArama Aramadaki tıklama sayısı.
Tıklama Bağlamı Yandex Reklam Ağı'ndaki tıklama sayısı.
Oturum DerinliğiArama
SessionDepthContext
HedefDönüşümArama
HedefDönüşümBağlamı
HedefMaliyetArama
HedefMaliyetBağlamı
Notlar Tıklamaların maliyetine ilişkin indirimi bir para birimi cinsinden hesaplayın - Evet/Hayır.
Yandex, Paris'te düzenlenen LeWeb konferansında, faaliyetinin yeni ve önemli bir alanının - büyük verilerin ticari olarak işlenmesi - Yandex Veri Fabrikası'nın açıldığını duyurdu.
Büyük veri işlemenin, tüm insanlığı daha da verimli hale getirecek ve bizi şu anda tam olarak hayal bile edemeyeceğimiz bir geleceğe götürecek yeni bir teknolojik devrim turunun parçası olduğuna inanıyoruz. Ve bunda büyük miktarda veriyle çalışmak, elektrik üretmek veya üretmekten daha az önemli ve yaygın olmayacak. demiryolları Bugün.
Yandex Data Factory'nin halka açılmasından önce partner şirketlerle birçok pilot proje yürüttük. Yandex Data Factory, elektrik hatlarının bakımını yapan bir şirket için dronlar tarafından çekilen görüntüleri analiz eden ve ağaçların kablolara çok yakın büyümesi gibi tehditleri otomatik olarak tespit eden bir sistem oluşturdu. Karayolu kurumu için de yol tıkanıklığı, kaldırım kalitesi, ortalama sürat trafik ve kazalar. Bu, bir sonraki saat için trafik sıkışıklığının gerçek zamanlı tahminini yapmayı ve kaza olasılığının yüksek olduğu alanları belirlemeyi mümkün kıldı.
Öyle görünüyor ki, insanlık %10 veya daha fazla tasarruf etmeyi öğrendiğinde bir sanayi devrimi yaşanıyor. 200 yıl önce buhar makinesini kullanmaya başladılar. Yüz yıl önce kimyanın gelişmesi sayesinde yeni yapay malzemeler ortaya çıktı. 20. yüzyılda elektronik sadece üretimi değil günlük yaşamı da değiştirdi. İnsanlar Çin ve Güneydoğu Asya'da malzeme işlemenin daha ucuz olduğunu anlayınca dünyanın tüm endüstriyel üretimi oraya taşındı. Aslında %10 tasarruf bir dünya değişimidir. Veri analitiği, küresel üretimin ve ekonomilerin daha verimli hale gelmesine yardımcı olabilir.
Büyük verinin bulunduğu tek yer internet değil. Tarihsel olarak, geçen yüzyılın 60-70'lerinde jeologlar tarafından üretildiler. Yüzeydeki patlamalardan yansıyan dalgaları izlediler; bu onların yeraltına bakma şekliydi. Jeolojik araştırmalarda analiz edilecek çok şey var. Ve iki yıl önce jeolojik ve jeofizik verileri işlemek için paralel hesaplama teknolojilerimizi ve ekipmanlarımızı sağladık. Algoritmalar yeraltına bakmanın yeni bir yolu haline geldi.
Birçoğumuz uçaklardaki Wi-Fi'nin uçarken cihazlarımızı kullanabilmemiz için olduğunu düşünüyoruz. Ancak başlangıçta İnternet içlerinde ortaya çıktı, çünkü modern bir uçak, uçuşunun tüm süresini ölçen binlerce sensörden oluşuyor. büyük miktar göstergeler ve veriler üretir. Bazıları inişten önce bile yere iletilir ve ondan sonra üzerine kaydedilen her şeyle ne yapılacağı bilinmeden terabaytlık bir disk uçaktan çıkarılır ve saklanır.
Ancak uçuş sırasında iletilen verilere bakarsanız, örneğin uçakta hangi yedek parçaların değiştirilmesi gerektiğini önceden tahmin edebilirsiniz. Bu, hem yolcuların zamanından hem de yedek parça nedeniyle aksama süresinde %10 kayıp yaşayan uçak sektörünün kaynaklarından tasarruf sağlayacak. Yandex'in kendisi tam anlamıyla 120 MW güç tüketen sunucuların sokaklarıdır. Yüzbinlerce sunucunuz olsa bile, birkaç yüz disk her an kapalı olabilir. Makine bundan sonra hangi sürücünün arızalanacağını tahmin edebilir ve değiştirilmesi gerektiğini önerebilir.
Yandex, bunun için gerekli teknolojilere ve uzmanlığa sahip dünyadaki birkaç şirketten biridir. Makine öğrenimi ve verileri analiz etme yeteneği olmadan internette arama yapmak imkansızdır. Artık Yandex'deki neredeyse her şeyin arkasındalar: trafik tahminleri, istatistiksel çeviri, konuşma ve görüntü tanıma. Sovyet bilim okulunun bunun gelişmesinde büyük etkisi oldu. Daha sonra verilerle nasıl çalışılacağını bilen uzmanlar yetiştirmek için Veri Analizi Okulu'nu kurduk. İÇİNDE Lise Ekonomi, katılımımızla birlikte veri analizi ve yapay zeka bölümünü de içeren Bilgisayar Bilimleri Fakültesi oluşturuldu.
Matrixnet - makine öğrenimi teknolojimiz başlangıçta arama sıralaması sorunlarını çözmek için oluşturuldu. Şimdi CERN'deki bilim adamları tarafından kullanılıyor. Projelerden biri, bir çarpıştırıcıdaki parçacık çarpışmalarına ilişkin verileri gerçek zamanlı olarak seçmek için bir sistemin inşasıyla ilgilidir. Bu, bilim adamlarının LHC'deki parçacık çarpışmaları hakkında sadece ilginç ve önemli verileri çok hızlı bir şekilde elde etmelerine olanak tanıyan, Matrixnet'i temel alan hassas ve esnek bir filtredir. bilimsel çalışmalar. Bazen bu, örneğin 100 milyar vakanın 100 bininde meydana gelen son derece nadir verilerdir. Tüm LHCb bilimsel makalelerinin yarısından fazlası Matrixnet tabanlı algoritmamız tarafından filtrelenen verilere dayanmaktadır.
CERN ile ikinci projemiz veri depolama optimizasyonu. İki yıllık çalışma boyunca LHC, bilim adamlarının bunlara hızlı bir şekilde erişebilmesi için sabit disklerde depolanan petabaytlarca veri üretti. Ancak HDD'deki alan zaten tükeniyor ve verilerin bir kısmının teyp sürücülerine aktarılması gerekiyor. Bu daha ucuz bir depolama yöntemidir ancak aynı zamanda daha az esnektir; banttaki verileri aramak o kadar kolay değildir. Dosyaların hangi bölümünü aktaracağınızı ve hangi bölümünü sabit disklerinizde bırakacağınızı anlamalısınız. CERN'e deneylerle ilgili birikmiş binlerce dosyayı sıralamasına ve HDD'de bırakılması gereken verileri vurgulamasına yardım etmeyi teklif ettik. Böylece HDD'de yüzde onlarca olan birkaç petabaytın serbest bırakılmasına yardımcı olacağız.
Veri miktarı çok hızlı bir şekilde artıyor. Her birimiz cebimizde çok büyük bir veri kaynağı taşıyoruz: telefonumuzda. Sensörler ucuzluyor, sunuculara giderek daha fazla veri gönderiliyor ve bununla ne yapılacağı sorusu ortaya çıkıyor. Bize öyle geliyor ki, eğer bunları kullanmayı öğrenirsek ve bir şekilde onlarla çalışırsak, o zaman küresel ekonominin kaynaklarından %10 tasarruf etme şansı var. Ve eğer bu gerçekleşirse yeni bir sanayi devrimiyle karşı karşıya kalacağız.
Etiketler:
- ydf
- Yandex'in
- Büyük veri
- makine öğrenme
- matris ağı
Yorumlar 32
LiveData kullanmanın avantajları
LiveData'yı kullanmak aşağıdaki avantajları sağlar:
Kullanıcı arayüzünüzün veri durumunuzla eşleşmesini sağlar LiveData gözlemci modelini takip eder. LiveData, yaşam döngüsü durumu değiştiğinde Observer nesnelerine bildirimde bulunur. Bu Observer nesnelerindeki kullanıcı arayüzünü güncellemek için kodunuzu birleştirebilirsiniz. Uygulama verileri her değiştiğinde kullanıcı arayüzünü güncellemek yerine, gözlemciniz her değişiklik olduğunda kullanıcı arayüzünü güncelleyebilir. Bellek sızıntısı yok Gözlemciler Yaşam Döngüsü nesnelerine bağlıdırlar ve ilişkili yaşam döngüleri bozulduğunda kendilerini temizlerler. Durdurulan faaliyetler nedeniyle çökme yok Gözlemcinin yaşam döngüsü, arka yığındaki bir etkinlik gibi etkin değilse, herhangi bir LiveData olayı almaz. Artık manuel yaşam döngüsü yönetimine gerek yok Kullanıcı arayüzü bileşenleri yalnızca ilgili verileri gözlemler ve gözlemi durdurmaz veya sürdürmez. LiveData, gözlem sırasında ilgili yaşam döngüsü durum değişikliklerinin farkında olduğundan tüm bunları otomatik olarak yönetir. Her zaman güncel veriler Bir yaşam döngüsü devre dışı kalırsa, tekrar etkin hale geldiğinde en son verileri alır. Örneğin, arka planda olan bir etkinlik, ön plana döndükten hemen sonra en son verileri alır. Uygun konfigürasyon değişiklikleri Bir etkinlik veya parça, cihazın döndürülmesi gibi bir yapılandırma değişikliği nedeniyle yeniden oluşturulursa, mevcut en son verileri hemen alır. Kaynakları paylaşma Sistem hizmetlerini uygulamanızda paylaşılabilecek şekilde sarmak için singleton modelini kullanarak bir LiveData nesnesini genişletebilirsiniz. LiveData nesnesi sistem hizmetine bir kez bağlanır ve ardından kaynağa ihtiyaç duyan herhangi bir gözlemci LiveData nesnesini izleyebilir. Daha fazla bilgi için bakınız .LiveData nesneleriyle çalışma
- Belirli bir veri türünü tutmak için bir LiveData örneği oluşturun. Bu genellikle ViewModel sınıfınızda yapılır.
- LiveData nesnesinin tutulan verileri değiştiğinde ne olacağını kontrol eden onChanged() yöntemini tanımlayan bir Observer nesnesi oluşturun. Genellikle bir kullanıcı arayüzü denetleyicisinde bir etkinlik veya parça gibi bir Observer nesnesi oluşturursunuz.
Observer nesnesini, gözlem() yöntemini kullanarak LiveData nesnesine ekleyin. gözlemle() yöntemi bir LifecycleOwner nesnesini alır. Bu, değişikliklerden haberdar olmak için Observer nesnesini LiveData nesnesine abone eder. Observer nesnesini genellikle bir etkinlik veya parça gibi bir kullanıcı arayüzü denetleyicisine eklersiniz.
Not:GözlemciForever(Observer) yöntemini kullanarak ilişkili bir LifecycleOwner nesnesi olmadan bir gözlemciyi kaydedebilirsiniz. Bu durumda gözlemcinin her zaman aktif olduğu kabul edilir ve bu nedenle değişiklikler konusunda her zaman bilgilendirilir. RemoveObserver(Observer) yöntemini çağırarak bu gözlemcileri kaldırabilirsiniz.
LiveData nesnesinde depolanan değeri güncellediğinizde, eklenen LifecycleOwner etkin durumda olduğu sürece tüm kayıtlı gözlemciler tetiklenir.
LiveData, kullanıcı arayüzü denetleyici gözlemcilerinin güncellemelere abone olmasına olanak tanır. LiveData nesnesi tarafından tutulan veriler değiştiğinde, kullanıcı arayüzü buna yanıt olarak otomatik olarak güncellenir.
LiveData nesneleri oluşturma
LiveData, List gibi Collections uygulayan nesneler de dahil olmak üzere herhangi bir veriyle kullanılabilen bir sarmalayıcıdır. Bir LiveData nesnesi genellikle bir ViewModel nesnesi içinde depolanır ve aşağıdaki örnekte gösterildiği gibi bir alıcı yöntemi aracılığıyla erişilir:
Kotlin
class NameViewModel: ViewModel() ( // String ile bir LiveData oluşturun val currentName: MutableLiveDataJava
genel sınıf NameViewModel, ViewModel'i genişletir ( // Özel MutableLiveData dizesi ile bir LiveData oluşturun(); ) geçerliAd'ı döndür; ) // ViewModel'in geri kalanı... )
Not:Başlangıçta LiveData nesnesindeki veriler ayarlanmamıştır.
- Aşağıdaki nedenlerden dolayı, bir etkinlik veya parçanın aksine, kullanıcı arayüzünü güncelleyen LiveData nesnelerini ViewModel nesnelerinde sakladığınızdan emin olun:
- Şişirilmiş faaliyetlerden ve parçalardan kaçınmak için. Artık bu UI denetleyicileri verileri görüntülemekten sorumludur ancak veri durumunu tutmaktan sorumludur.
LiveData örneklerini belirli etkinlik veya parça örneklerinden ayırmak ve LiveData nesnelerinin yapılandırma değişikliklerinden etkilenmemesini sağlamak.
ViewModel kılavuzunda ViewModel sınıfının yararları ve kullanımı hakkında daha fazla bilgi edinebilirsiniz.
LiveData nesnelerini gözlemleyin
LiveData ile eşyordamları kullanma
LiveData, Kotlin koroutinleri için destek içerir. Daha fazla bilgi için bkz. Android Mimarisi Bileşenleriyle Kotlin eşyordamlarını kullanma.
LiveData'yı Genişlet
Kotlin
LiveData, gözlemcinin yaşam döngüsü BAŞLATILDI veya SÜRDÜRÜLDÜ durumundaysa, bir gözlemcinin etkin durumda olduğunu kabul eder. Aşağıdaki örnek kod, LiveData sınıfının nasıl genişletileceğini gösterir:Java
genel sınıf StockLiveData, LiveData'yı genişletiyorBu örnekte fiyat dinleyicisinin uygulanması aşağıdaki önemli yöntemleri içerir:
- LiveData nesnesinin aktif bir gözlemcisi olduğunda onActive() yöntemi çağrılır. Bu, hisse senedi fiyat güncellemelerini bu yöntemden gözlemlemeye başlamanız gerektiği anlamına gelir.
- LiveData nesnesinin herhangi bir aktif gözlemcisi olmadığında onInactive() yöntemi çağrılır. Hiçbir gözlemci dinlemediğinden StockManager hizmetine bağlı kalmanın bir anlamı yoktur.
- setValue(T) yöntemi, LiveData örneğinin değerini günceller ve tüm etkin gözlemcileri değişiklik hakkında bilgilendirir.
StockLiveData sınıfını aşağıdaki gibi kullanabilirsiniz:
Kotlin
eğlenceyi geçersiz kıl onActivityCreated(savedInstanceState: Bundle?) ( super.onActivityCreated(savedInstanceState) val myPriceListener: LiveDataJava
genel sınıf MyFragment Fragment'i genişletir ( @Override public void onActivityCreated(Bundle saveInstanceState) ( super.onActivityCreated(savedInstanceState); LiveDataYandex'in B2B büyük veri projesi (YDF), bugün stratejik bir ortaklığa imza attığını duyurdu. Yeni girişim, YDF'nin benzersiz büyük veri analitiği tekniklerini Intel Xeon teknolojisine dayanan sektör lideri veri merkezi mimarisiyle birleştirecek. Ortaklığın stratejik hedefi, müşteriler arasında büyük veri çözümlerinin benimsenmesini hızlandırmaktır. Bu, her ölçekteki şirketin YDF tarafından işlenen verilerden faydalanmasını kolaylaştıracak ve basitleştirecektir.
YDF, çok çeşitli yeni nesil çözümleri destekleyen en popüler platform olan mimari için büyük verinin toplanması, saklanması ve analiz edilmesine yönelik teknolojiler geliştirecek ve optimize edecek. Buna karşılık Intel, büyük veri analitiği alanında güvenilir bir ortak olarak YDF'nin gelişmelerini müşterilerine tanıtacak.
Müşterilerin sensörler ve ağ geçitlerinden dijital cihazlara kadar çeşitli kaynaklardan gelen verileri yönetip analiz edebilmesi için YDF ile yapılan işbirliğinin Intel'in veri merkezi ve IoT teknolojilerini desteklemesi bekleniyor.
YDF ve Intel'in veri merkezi geliştirme alanındaki stratejisini birleştirerek büyük veri analizi için en etkili çözümü yaratıyoruz" dedi Intel'in Rusya ve BDT ülkeleri bölge müdürü Dmitry Konash. “Şirketlerin verilerini analiz etmekten ve geleneksel iş süreçlerini dönüştürmekten ek faydalar elde edebilmeleri için büyük veri teknolojilerinin sektör genelinde benimsenmesini hızlandırmayı sabırsızlıkla bekliyoruz.” Bu işbirliği, bilgi işlem ve ağ çözümlerinden depolama ve güvenliğe kadar veri merkezi teknolojilerimizin yanı sıra Nesnelerin İnterneti girişimlerimizi de içeriyor.
Her iki şirket de donanım ve yazılım geliştirmeyi destekleyen büyük veri çözümlerini kullanıyor. YDF ve Intel, özel müşteri programları da dahil olmak üzere ortak pazara açılma stratejileri uygulayacak.
İş kararları almaya yönelik büyük veri analizi, ekonominin hemen hemen her sektörünü yeni bir düzeye taşıyabilecek, nispeten yeni ancak çok hızlı gelişen bir bilgi teknolojisi alanıdır” diye vurguladı Yandex Veri Fabrikası başkanı Evgenia Zavalishina. Yönün henüz yeni ortaya çıktığı bu aşamada Intel ile işbirliği yapmaktan memnuniyet duyuyoruz ve birlikte büyük veri konseptinin kurumsal kullanıcılar için faydalarını tanıtacağız."