Učenje strojnega učenja: razvoj strojnih učnih storitev in njihovo uporabo v mobilni aplikaciji. Strojno usposabljanje za storitve analize podatkov DUMMIES in strojno učenje

Storitev strojnega učenja na Machine Azure Machine Učenje je trenutno v predprodajnem testiranju, ki je dostopen vsem, ki imajo paketno azure (ali vsaj poskusni dostop). Če se sprašujete, zakaj je bila ta tehnologija vedno tako navdušena, poglej moj, napisan pred enim mesecem ali prebral na tej objavi, v kateri vam bom povedal o vsem.

Če na kratko, da bi izvedli analitične naloge z napovedjo (napovedna analitična) z uporabo azure strojnega učenja, zadostno izvedite naslednje korake:

  1. Prenesite ali uvozite na spletu vsak tok ali nakopičen podatki(Na primer, demografija vaše stranke in njene skupne stroške)
  2. Zgradite in potrdite model. (Na primer, napovedujejo stroške, ki temeljijo na demografiji)
  3. Ustvarite spletno storitev, ki uporablja vaše modele za hitro napovedi V realnem času (odločiti, kateri predlogi za zagotavljanje nove stranke na podlagi njegove demografije)

Storitev azure ml (znana kot tudi projekt Passau.), Ki jih predstavljata dve konceptualni sestavini: Poskusi in Spletne storitvein eno razvojno orodje Ml studio.. Druge ljudi lahko povabite z Microsoftovim računom (Live ID), da sodelujejo v svojem delovnem okolju ( delovne sklepe.) Z ML Studiom in hkrati pa niti ni treba plačati za naročnino Azure, da dela z vami.

Poskusi lahko predstavljate kot pretočne konfiguracije ( pretok podatkov) Kaj želite storiti s svojimi informacijami in modelov. Ti, kot raziskovalec podatkov Azure ML, se osredotočite na poskuse in lahko preživite ves svoj čas v ML studiu, se ukvarjajo samo z obnovo poskusov, sprememba parametrov, algoritmov, validacijskih meril, periodične spremembe podatkov in tako naprej. ML Studio je spletna aplikacija in izgleda kot portal managementa azure (v času pisanja članka, sredi leta 2014). Vmesnik izgleda čisto, prijetno in deluje ne le v IE, temveč tudi v Firefoxu in Chromu, čeprav z nekaterimi rezervacijami, vendar je to samo prva predogled različica.

ML STUDIO je kraj, kjer začnete svoje delo, reševanje podatkovnih virov, ki jih želite uporabiti: prenesete podatkovne nize ali podatke v živo, ki so na voljo prek mehanizma Bralnik.na spletni strani, Odata, SQL Azure, Microsoft Azure, panj ali Blobov azure. Potem boste morda morali izdelati nekaj Preoblikovanje podatkov, na primer, združevanje, preimenovanje zvočnikov, združenje, izključitev dvojnikov ali zelo koristno delovanje dicinga (binning / diskretizacija). Poleg tega lahko uporabite druge, bolj zanimive transformacije, na primer, končni in neskončni filtri za vhodni odziv ( Končno. In. Pri prvem vnosu), ki se uporabljajo pri obdelavi signalov (obdelava signalov). Uporabljajo se lahko tudi širše za podatke, ki se nanašajo na gospodarstvo, ki se lahko obravnava v obliki kompleksnih valov (na primer še posebej začasne vrstice). Je del dela opredelitev sezonein pogosto povezana z iskanjem frekvenc, podobnih glasbenim v teh sezon. Poleg tega, če samo začnete svoj projekt in niso povsem prepričani, kateri stolpci podatkov vključujejo, nato filtri za samodejno izbiro funkcij ( Izbira funkcij.) Morda vam je koristno, ki vam predstavlja dobro izbiro kazalnikov korelacije. V praksi, kljub temu, v poznejših korakih, boste želeli, da nastavite niz stolpcev ročno, da bi dosegli maksimalno natančnost.

Zdaj bomo šli na dejstvo, da bomo čakali tako dolgo: to bomo naredili ti strojno učenje - kar pomeni inicializacijo (opredelitev) modela, usposabljanje ( Vlak.) Nekateri modeli, preverjanje ( Ocenite.) produktivnost modela in njegovo veljavnost in, če je vse v redu, vrednotenje ( Ocena) Modeli (izvajanja napovedi na njeni bazi). Azure ML ponuja številne algoritme Klasifikacijenaloge, vključno z MULTICLASS. in Dvoslojne odločitvene gozdove, odločitev džungle (Razvili Microsoft Raziskave), Logistična regresija, nevronske mreže, tako dobro, kot Dvojkovna povprečja Perceptrons, Bayes Point Stroj, Povečana odločanja in Podporni vektorski stroji (SVM). Grozd Uporablja variacijo standardnega pristopa K-pomeni. Regresijo Vključite Bayesian linearna, okrepljena odločitev, odločitvene gozdove,zagotovo LINEARNA REGRESIJA, Regresija nevronske mreže, ordinalna in Poissonova regresija.In to je samo v različici 1.

Uporabno lahko uporabite Statistical.funkcije v svojih poskusih, vključno s splošnimi osnovnimi, na primer, izračun odstopanj. Poskusite sami, začnite samo z navodili nalogi. Opisna statistika vaše podatke in vizualizirati ( Vizualizirati.) Rezultati (uporabite točke povezav o nalogah). Uživajte v elementih boxplots. Pridobljenih vizualizacij, dejstvo, da ni bilo dovolj v vseh Microsoft Bi-Tools, celo Excel ...

En primer razred, kako azure ml prinaša zunanjo študijo vaših poskusov, je na voljo v razdelku Naloga Besedilo analize.Nalogo Imenovano priznanje subjekta bo obdelal vhodno besedilo (imenovano zgodbe, na primer poštne naslove, tipizirane situacije ali opise Tweet) in odstranite imenovane izraze iz njih (imenovani pogoji), samodejno jih razvrstijo kot Ljudje, krajiali Organizacije. Podpora projektu Wabbit Wabbit, ki ga podpira Yahoo in Microsoft Raziskava. Lahko ga uporabite, da bi dobili hash za subjekte na zahtevo. V prihodnosti pričakujem videz večjega števila orodij in priložnosti na tem področju, saj je očitno, da ima Microsoft velik kup znanja, ki je shranjen znotraj Bing.

Globoka podpora za R Jezik r

In poleg vsega, lahko uporabite znotraj azure ml. Glede na moje izračune, danes Azure ML vsebuje približno 410 vnaprej nameščenih paketov na vrhu R 3.1.0 (presenečenje, najnovejša različica). Med paketi gGplot2. (Da!), prra. in dlyr, Car, Batesets, Hmisc, Massin vse druge najpogosteje uporabljene pakete za analizo podatkov (podatkovno rudarstvo). kot. rpart, NNET, Survival, Bootitd.

Če želite najti seznam paketov, ki so bili vključeni v azure ml, preprosto ustvarite majhen poskus, na primer, na primer, kot sem tukaj pokazal, izvedite malo kodo R in shranite nastalo CSV na vašem računalniku. Stolpec 1 bo prikazal vse vključene pakete.

Kaj, če je vaš najljubši paket R (na primer, ROCR.ali nleqslv.) Manjka na seznamu? Pravzaprav vas lahko dokumentacija zmede. Pravi, da v "sedanji" ni mogoče vzpostaviti lastnih paketov, potem pa dokumentacija opisuje pot obvoznice, ki pomaga pri povezovanju paketa z uporabo datoteke ZIP. Opis tega pristopa lahko najdete spodaj za to povezavo, kjer je prikazano, kako se prijaviti namestite. Paketi () Med uporabo povezave do datoteke, prenesene na nalogo Izvedite r scenarij.

Ključ za razumevanje pomembnosti dejstva, da je R del Azure ML, po mojem mnenju, ne le, da platforma zagotavlja dostop do jezika statistike in analitike de facto (Lingua-Franca), ampak tudi, kako hitro je hitro in neboleč v procesu obdelave vaših podatkov. To je še posebej opazno glede na ozadje dejstva, da R ni tako priročno orodje za manipulacijske podatke. Torej, namesto da bi uporabili dragi Rodbc. (omogočeno) V njegovem R-scenariju lahko razmislite o uporabi azure ml za vse resne naloge obdelave podatkov (opravičujem se, navijači prra.) in prenos podatkov v R-scenarij v obliki podatkovnega podatkovnega nabora Azure ML Tabele podatkovki je na voljo v obliki avtohtonega podatkovnega okvira (podatkovni okvir). Podatki bodo čarobno pojavijo v vašem skriptu kot predmet, ki se imenuje. dataset.. Dodate lahko več podatkovnih virov.

Medtem ko še nisem končal testov uspešnosti, vendar vse, kar je morda mogoče izboljšati uspešnost r na obdelavi velikih količin podatkov, lahko le dobrodošli vroče. Poleg tega te priložnosti izgledajo kot očitna prednost ponudnika v oblaku, v primerjavi s konvencionalno škatlico. Lahko si predstavljam, da Microsoft uporablja številne trike za povečanje produktivnosti, ko so podatkovni nizi iz Azure povezani z ML storitev AZURE, tudi če upoštevate mejo na 10 GB trenutno.

Skupaj z R ali brez njega imate lahko delovni poskus, ki ga lahko uporabite kot delovno opeko znotraj vaše spletno usmerjene aplikacije. Predstavljajte si, da ste pravkar zgradili sistem priporočil. V smislu azure ml, imate poskus, ki uporablja ocenjevalno nalogo (točkovanje, napovedi). Ugotavljate, kateri od vhodnih priključkov je treba uporabiti kot Objavite vnos.za vašo spletno storitev in v skladu s tem, kaj je treba upoštevati Objavi izhod. Predstavljeni bodo v obliki majhnih zelenih in modrih avtomilov na izzivnem vezju. Ponovno znova zaženete poskus in ga s Studio ML objavi kot Azure ML spletna storitev. Zdaj lahko uživate rezultate Azure ml počitek APIv obliki preproste spletne storitve ali odata Endpoint.. Ta API ponuja Zahtevajte odzivno storitev (RRS)za sinhron dostop z nizkimi zamudami za izvajanje napovedi, in asinhrono izvedbo Služba za pakete (BES)Če želite prehraniti model, recimo s svojimi prihodnjimi svežimi podatki. Ta API ponuja samodejno ustvarjeno vzorčno kodo, ki jo lahko preprosto kopirate in prilepite za uporabo v Python, R ali C # aplikaciji, kot tudi na katerem koli drugem mestu, kot vse to preprosto temelji na počitku in JSON.

Na zalogi so hladna majhna stran za testiranje, ki vam bo omogočilo, da vnesete zahtevane vrednosti za sveže storitve in pripravite napoved preskusa.

Storitev ima in dodatne funkcije Zasnovan za uporabo v praksi, na primer, preprečevanje avtomatskega Microsoftovega posodabljanja katere koli komponente (naloge, itd) vašega poskusa, katere sprememba lahko spremeni ali celo prekine vaše delo. Pravilno rešitevMicrosoft je tisto, kar ne želijo soočiti s katerim koli strokovnjakom, ki podpirajo spletne sisteme. Posodobitve storitev lahko preizkusite na steyji in konfigurirate varnost prek tipke API Access.

Stane

Koliko stane vse? Ob upoštevanju cen različice predogleda izgleda zelo privlačno. Obstajata dve vrsti stroškov, urni računalništvo ( na uro aktivni izračun) in plačilo klicev API-ja Spletne storitve ( klic API-ja na spletno storitev), obe vrsti stroškov sta sorazmerna. Uravno plačilo spodaj, medtem ko uporabljate ML Studio (0,38 / uro) in nekoliko višje v industrijskem poslovanju prek storitve ML API (0,75 $ / uro). Klicanje Stroški se ne štejejo, ko delate v ML Studio in stanejo 0,18 $ za 1000 napovedi med uporabo industrijskega delovanja. Če je kaj zanimiv in izjemno preprost model oblikovanja cen, za razliko od drugih, ki jih je Microsoft. Zelo zanimivo je, da ugotovimo, kaj moji razvijalci kupci mislijo, da obstaja kul priložnost za učinkovito preprodajo azure ml kot del lastne spletne aplikacije, porabi le minimalne sile za podporo, ne da bi bilo treba zgraditi celoten sistem sam .

Kje začeti?

Kje začeti? Obiščite Azure.microsoft.com, naročite in ustvarite delovni prostor Nove / podatkovne storitve / strojno učenje.Potem pojdi na ploščo Armaturna plošča. in kliknite povezavo Prijavite se v ML Studio.Po pregledu nalog, ki določajo poskus, vam bom svetoval, da izberete enega od številnih primerov, ustvarite kopijo in ga zaženite, da se izvedete. Če zasluži, sledite zgoraj opisanim korakom, da ga objavite kot spletna storitev prve napovedi.

Seveda, poskrbite, da ne zamudite naših prihodnjih videoposnetkov in člankov na to temo: Postanite član spletne strani za prejemanje novic z velikim nizom informacij. Če želite začeti hitro, bodite pozorni na naše usposabljanje za usposabljanje na podatkih, zlasti na modulih za pripravo podatkov, kot so ti koncepti, zlasti primeri, vhod.in izhodne stolpce.popolnoma bo koristno pri delu z azure ml.

Želim vam, da uživate v učenju strojnega učenja!

Izraz "strojni učenje" vas je najverjetneje srečal več kot enkrat. Čeprav se pogosto uporablja kot sinonim umetna inteligencaPravzaprav je strojno učenje eden njegovih elementov. Hkrati sta se oba koncepta rodila v Massachusettsu tehnološki inštitut V poznih petdesetih letih.

Danes naletite na strojno učenje vsak dan, čeprav, morda ne vem tega. Siri in Googlove glasovne pomočnike, prepoznavanje obrazov na Facebooku in Windows 10, priporočila v Amazon, tehnologija, ki ne omogočajo avtomobilov robotov, da se kopičijo na ovirah, ki so nastale zaradi napredka strojnega učenja.

Za človeške možgane so sistemi strojne učenja še vedno zelo daleč, vendar že imajo impresivne dosežke v sredstvu - na primer, zmaga nad ljudmi v šahu, desktop Game. Pojdi in pokra.

V zadnjih nekaj letih je razvoj strojnega učenja zaradi številnih tehnoloških prebojev prejel oster zagon, povečanje razpoložljive računalniške moči in številčnosti podatkov o usposabljanju.

Programska oprema za samo-učenje

Torej, kaj je strojno učenje? Začnimo s tem, kar ni. To niso navadni računalniški programi, ki jih napisal ročno.

Za razliko od tradicionalne programske opreme, ki se popolnoma občaka z izvajanjem navodil, vendar ne morejo improvizacije, sistem strojnega učenja v bistvu sam programirajo, neodvisno razvijajo navodila s posploševanjem znanih informacij.

Klasični primer - prepoznavanje slik. Prikaži sistem za učenje stroja zadostno število Snapshots psov z oznako "pes", kot tudi mačke, drevesa in drugi predmeti, označeni "ne pes", in bo sčasoma začel razlikovati pse. In za to ne bo treba razložiti, kako izgleda.

Filter spam v vašem poštnem programu je dober primer strojnega učenja v akciji. Po predelavi na stotine milijonov vzorcev neželenih in potrebnih sporočil se sistem nauči dodeliti tipičnih znakov pošiljateljev neželene pošte. Z njimi ni popolna, temveč učinkovito.

Učenje z učiteljem in brez

Omenjena vrsta strojnega učenja se imenuje usposabljanje z učiteljem. To pomeni, da je nekdo uvedla algoritem z ogromno količino podatkov o študiji, ogled rezultatov in prilagajanje nastavitev, dokler ni bila dosežena želena natančnost razvrstitve podatkov, kar sistem še ni "videl". To je enako, kot pritisnete gumb "Ne-Spam" v poštnem programu, ko filter po naključju prestreže sporočilo, ki ga potrebujete. Pogosteje to storite, bolj natančen filter postane.

Tipične učne naloge z učiteljem - klasifikacija in napovedovanje (ali regresijska analiza). Priznavanje neželene pošte in slik - Naloge klasifikacije in napoved delnic so klasični primer regresije.

Pri usposabljanju brez učitelja si sistem gleda ogromno obsegom podatkov, spomin, kako "običajni" podatki izgledajo, da pridobi sposobnost prepoznavanja anomalij in skritih vzorcev. Učenje brez učitelja je uporabno, ko zagotovo ne veste, kaj iščete, - v tem primeru je mogoče sistem narediti, da vam pomaga.

Sistemi usposabljanja brez učitelja lahko odkrijejo vzorce v velikih količinah podatkov, ki so veliko hitreje kot ljudje. Zato jih banke uporabljajo za prepoznavanje goljufivih operacij, tržnikov - identificirati stranke s podobnimi atributi, in varnost - priznati zlonamerno dejavnost v omrežju.

Primeri učnih nalog brez učitelja - združevanje in iskanje pravil združenja. Prvi velja, zlasti za segmentacijo kupcev, in na iskanje pravil združenja, temeljijo na mehanizmih za izdajo priporočil.

Slovar Terminos.

Strojno usposabljanje je le vrh umetne inteligence ledene gore. Med drugim je tesno povezana z njo, nevronske mreže, globoko usposabljanje in kognitivni izračuni.

Zivcno omrezje.To je računalniška arhitektura, ki posnema strukturo možganskih nevronov; Vsak umetni nevron je povezan z drugimi. Nevronske mreže so zgrajene s plasti; Nevroni na eni plasti prenašajo podatke na več nevronov na naslednjih, itd, dokler se izhodni sloj ne doseže. Na zadnjem sloju je, da omrežje daje ugibanje - recimo, kaj je predmet v obliki psa podoben tistemu, kar je odgovor spremljal oceno odgovora.

Obstajajo različne vrste nevronskih mrež za reševanje različne vrste Naloge. Omrežje S. veliko število Plasti se imenujejo globoko. Neuraltas so eno najpomembnejših strojnih učnih orodij, ne pa edina.

Globoko učenje.To je v bistvu strojno učenje "na steroidih" - uporaba večplastnih (globokih ali globokih) omrežij za sprejemanje odločitev na podlagi netočnih ali nepopolnih informacij. Deepstack's globok študijski sistem v decembru lani premagal 11 profesionalnih igralcev poker s preračunavanjem strategije po vsakem krogu Randa.

Kognitivni izračuni.To je izraz izumil v IBM-ovih ustvarjalcih Watson Supercomputer. Razlika med kognitivnimi izračuni in umetno inteligenco v IBM-u vidim, da prvi ne nadomešča človeškega uma, in ga dopolnjuje: na primer, pomagajo zdravnikom, da dajo bolj natančne diagnoze, finančni svetovalci - za izdajo bolj obveščenih priporočil, odvetnikov - Precedenti in t. P.

Omejitve strojnega učenja

Vsak sistem za učenje strojev ustvarja lastno shemo odnosov, ki predstavlja nekaj podobnega črni škatli. Ne boste mogli izvedeti, kako se izvede klasifikacija, vendar ni pomembno, glavna stvar je, da je delovala.

Vendar pa je sistem strojnega učenja le toliko, kot natančno, podatki o usposabljanju: če pošljete "smeti" vhod, bo rezultat primeren. Z nepravilnim učenjem ali premajmam, velikost vzorca usposabljanja, algoritem lahko povzroči nepravilne rezultate.

HP je v letu 2009 udaril v neprijetne razmere, ko se je izkazalo, da je sistem identifikacije osebe za spletno kamero na prenosnem računalniku HP MediaSmart, ki se je izkazal za prepoznavanje afriških ameriških obrazov. Junija 2015 je algoritem slabe kakovosti google storitev Fotografije, imenovane dve črni Američani "Gorillas".

Drug primer je žalostno znameniti Twitter Bot Microsoft Tay, s katerim je v letu 2016 dal poskus: potem so poskušali ugotoviti, ali se bo umetna inteligenca "pretvarjala, da" osebo, ki se je naučila na resničnih sporočilih ljudi. Manj kot na dan trola v Twitterju je v izbrani ksenophoba - tukaj je tipičen primer pokvarjenega podatkov o usposabljanju.

***

Torej, kljub vsem hrupu okoli umetne inteligence, ne bo pretiravanje, da bi rekli, da strojni učenje in sorodne tehnologije resnično spremenijo svet okoli nas, in tako hitro, da, da in videz, bodo avtomobili pridobili popolno samozavedanje.

Dan Tynan. Kaj je strojno učenje? Programska oprema, pridobljena iz podatkov. Infoworld. 9. avgust 2017

GAZPROM NEFT bo uporabil umetne inteligence "Yandex"

Z uporabo tehnologije velikih podatkov, strojnega učenja in umetne inteligence, GAZPROM NEFT in Yandex načrt za vzdrževanje vrtin, izvajati modeliranje tehnoloških procesov rafiniranja nafte, optimizacijo drugih proizvodnih procesov.

Sporazum, ki ga je sklenila družba, vključuje izvajanje strokovnjakov Yandexa Tovarna podatkov. Neodvisna preučitev obstoječih tehnoloških rešitev, skupnega razvoja in izvajanja raziskovalnih in tehnoloških projektov, izmenjavo znanstvenih in tehničnih informacij, znanja in usposabljanja zaposlenih.

Oljna in plinska industrija je ena izmed najbolj obetavnih z vidika uporabe novih tehnologij, saj je nabrala velike količine podatkov, in preproste rešitve Optimizacija proizvodnje in podjetja je že dolgo uporabljena. S tem so bile ustvarjene dobre priložnosti za pridobitev oprijemljivega učinka od uvajanja rešitev, ki temeljijo na strojnem učenju in umetne inteligence.

Hokejska analitika v azure

Ruska družba Iceberg Sports Analytics je uvedla odločitev Iceberg.hockey, ki se je izvajala na platformi Microsoft Azure. Omogoča vam, da upravljate hokejske klube za učinkovitejše, povečate možnosti za zmago in optimizacijo uporabe proračuna ekipe.

V ledene gore.Hokey, njihovi algoritmi, ki so bili izdelani posebej za hokej, ki temeljijo na tehnologijah napredne analitike, strojno učenje in računalniški vid. Sistem je zasnovan za menedžerje in trenerje hokejskih klubov. Za vsako igro rešitev ustvarja približno milijon linij podatkov, s pomočjo treh fotoaparatov, ki določajo vse, kar se dogaja na polju vsako desetino drugega: to je približno 500 parametrov za vsakega igralca. Razvijalci so uspeli doseči visoko natančnost analize podatkov: napaka ni večja od 4%. Analiza pomaga prejemati informacije o optimalni kombinaciji igralcev, tehnike igre posebnih športnikov, povezav in ekip na splošno.

Med strankami družbe že imajo New York Islanders in HC Sochi, kot tudi avstrijsko hokejsko akademijo Redbull.

"Hlyn" Optimized Atm Service

Bank "Khlynov" je spremenil storitve bankomatov, kolesarske strojne storitve iz Microsoft Azure Cloud. Posledično je banka lahko uporabila prej "zamrznjene" 250 milijonov rubljev.

Ker se odjemalska mreža banke nenehno razvija, se zahtevajo novi pristopi k skladiščenju denarnih sredstev kupcev in dela z njimi. Na začetku projekta je bil povprečni mesečni ostanek na Khlynske kartice približno 800 milijonov rubljev. Tretjina tega denarja je bila rezervirana v bankomatih za odstranjevanje imetnikov kartic.

Uporaba strojno učenja storitev iz Microsoft Azure Cloud je banki omogočila zmanjšanje zneska rezerviranih sredstev v bankomatih bankomatorin do 16-20% povprečnih mesečnih ostankov na zemljevidih: se je povečal na 1,2 milijarde rubljev, in znesek rezerviranega zneska 200- 230 milijonov rubljev. Izpuščena sredstva banke bi lahko poslala drugim operativnim nalogam, zlasti za posojila svojim strankam.

Ustvarjen skupaj z ALGORITM "Rubikon", kolesarskimi metodami strojnega učenja, je banki omogočila zmanjšanje števila mesečnih zbirk odhodov za več kot 1,5-krat. Vsak od teh potovanj stane 3 tisoč rubljev, vsak prevaža tisoč rubljev, ki je predmet provizije 0,026%.

V bližnji prihodnosti je banka "Hlynov" namerava uvesti dodatna orodja za napovedne analitike iz Microsoftovega azurnega oblaka za produktivno uporabo informacij, ki so se nabrale več kot 25 let dela s strankami.

MoneyCare uporablja strojno učenje za napoved odobritve kreditov

Neodvisni denarni posrednik za denar Credit je ustvaril model napovedi, ki temelji na Cloud Service Microsoft Azure strojnemu učenju. Rešitev vam omogoča, da ocenite verjetnost pozitivnega odziva banke na kreditno zahtevo.

Za najboljšo pretvorbo kreditnih aplikacij se je družba odločila, da zmanjša število osebnih podatkov na najmanjšo potrebno minimalno, kot tudi oblikovanje modela, ki napoveduje verjetnost pozitivne bančne odgovore. Opredelitev minimalnega niza podatkov in izgradnjo prototipnega podjetja MoneyCare, ki je zaupana COLUMBUS strokovnjakom.

Z izbiro platforme za strojno učenje se je MoneyCare Specialist ustavil na Azurnem stroju Učenje v oblaku, ki vam omogoča, da hitro ustvarite in uvajate polnopravne napovedi modelov kot analitične rešitve.

V prvi fazi projekta je bil ustvarjen klasifikacijski prototip, ki je bil izdelan pri učenju stroja Azure, katerega naloga je bila izbrana več kot 60% vlog za kredit z verjetnostjo odobritve več kot 80%. Hkrati so bile uporabljene metode, kot so diskriminacijska analiza, regresijska analiza, združevanje, klasifikacija, ki temelji na separazitabilnosti, pa tudi algoritmi z zmanjšanjem dimenzij.

Druga faza projekta je bila usposabljanje zaposlenih za komunalne storitve in skupno delavnico o izboljšanju prototipa. Posvetovanje o vzpostavitvi modelov, tipičnih nalog strojnega učenja, prav tako pa so določili naslednje korake za izboljšanje prototipa.

Vlada Murmansk regije bo uporabil strojno učenje v pretoku dokumentov

Oddelek za programsko tehnologijo SPBSU skupaj z Didanjičnim oblikovanjem družbe je raziskoval možnost uporabe algoritmov strojnega učenja v elektronskih sistemih za upravljanje dokumentov. Predmet študije je bila vlada Murmansk regije. Kot baza podatkov je bilo uporabljenih več kot 250 tisoč razseljenih storitev.

Preverjena je bila možnost uporabe inteligentnih algoritmov, ki ponavljajo načela zivcno omrezje. Glavne naloge takega omrežja so opredelitev kategorije dokumentov, avtomatsko polnjenje njegovih glavnih atributov, opredelitev, ki temelji na analizi besedila priložene datoteke najverjetnejših izvajalcev in ustvarjanja projektov navodil zanje.

Ugotovljeno je bilo, da lahko z uporabo inteligentnih algoritmov, lahko avtomatizirate razvrščanje dokumentov na vsebino priloženih datotek in naredite semantično jedro za vsako kategorijo, iščete podobne ali enake dokumente, določite odvisnosti nekaterih atributov dokumenta od drugih in celo Avtomatizirajte gradnjo probabilističnega modela vrednosti atributov. Med študijem je bilo mogoče doseči 95-odstotno natančnost pri določanju kategorije vsebine dokumentov. Naslednji korak, preizkušen na ozki skupini ključnih uporabnikov vlade Murmansk regije, predelavo velikih količin dokumentov.


Strojno usposabljanje je eno izmed najbolj priljubljenih področij računalništva, čeprav je hkrati eden od najbolj izogibanja razvijalcem. Glavni razlog za to je, da teoretični del strojnega učenja zahteva globoko matematično usposabljanje, ki jih mnogi raje takoj pozabijo na koncu univerzitetnega učenja. Vendar je treba razumeti, da je poleg teoretičnih temeljev, obstaja tudi praktična stran, ki se izkaže, da je veliko lažje obvladati in vsakodnevno uporabo. Namen tega dela je odpraviti vrzel med programerji in strokovnjaki za obdelavo podatkov in kažejo, da je uporaba strojnega učenja v svojih aplikacijah lahko precej preprosta naloga. Članek opisuje celotno zaporedje korakov, potrebnih za izgradnjo modela cenovne cene avtomobilov, odvisno od karakterističnih sklopov, sledi njena uporaba v mobilni aplikaciji na Windows 10 Mobile.

Kaj je azure ml?

Če je na kratko, je učenje stroja na azurju:

  • rešitev v oblaku, ki omogoča gradnjo in uporabo kompleksnih modelov strojnega učenja v enostavni in vizualni obliki;
  • ekosistemi, namenjeni za distribucijo in monetizacijo pripravljenih algoritmov.
Več informacij o azure ml lahko najdete v tem članku, kot tudi s klikom na povezavo

Zakaj natančno azure ml?
Ker je azurno strojno učenje eno od najpreprostejših orodij za uporabo strojnega učenja, ki odstrani vhodno pregrado za vsakogar, ki se odloči, da ga uporabljajo za njihove potrebe. Z azure ml ni več matematik.

Logični proces učenja gradbenega stroja Algoritem

  1. Opredelitev cilja.Vsi algoritmi za strojno učenje so neuporabni brez jasno določenega cilja eksperimenta. V tem laboratorijsko delo Cilj je napovedati ceno avtomobila, ki temelji na značilnostih, ki jih določa končni uporabnik.
  2. Zbiranje podatkov.V tej fazi se oblikuje vzorec podatkov, ki so potrebni za nadaljnjo poučevanje modela. V ta primer Univerza v Kaliforniji bo uporabljala podatke o skladišču strojev.
    arhiv.is.ics.edu/ml/datasets/automobile.
  3. Priprava podatkov. Na tej stopnji je priprava podatkov izdelana z oblikovanjem značilnosti, odstranjevanjem emisij in ločevanjem vzorca na usposabljanje in preskus.
  4. Razvoj modela. V procesu razvoja modela, izbire enega ali več podatkovnih modelov in ustreznih učnih algoritmov, ki, v skladu z razvijalcem, bo moral dati zahtevani rezultat. Pogosto se ta proces združi s vzporednim študijem učinkovitosti več modelov in analizo vizualnih podatkov, da bi našli vse vzorce.
  5. Model usposabljanja. Med usposabljanjem, učni algoritem proizvaja iskanje skritih vzorcev v podatkovnem vzorcu, da bi našli metodo napovedi. Postopek iskanja je določen z izbranim modelom in učnim algoritmom.
  6. Ocena modela. Po usposobljenem modelu je treba raziskati svoje prognostične značilnosti. Najpogosteje ga poganja na preskusnem vzorcu in oceni nastalo raven napake. Glede na to, se lahko zahteva natančnost, model, ki je sprejet kot končni in vrnjen po dodajanju novih vhodnih lastnosti ali celo sprememb v učnem algoritmu.
  7. Uporabite model. V primeru uspešnega preskušanja usposobljenega modela se pojavi faza njegove uporabe. In to velja, če azure ml postane nepogrešljiv, ki daje vsa potrebna orodja za objavljanje, spremljanje in monetiziranje algoritmov

Izgradnja prognostičnega modela

Na strani, ki se odpre, kliknite Začnite zdaj.

Delati z azure ml potrebujete aktivno naročnino Microsoftovega azure. Če ga že imate, se samo prijavite v portal za upravljanje azure, sicer boste najprej registrirali brezplačen poskusni račun s klikom na povezavo.

Najprej morate prenesti vzorec usposabljanja. Če želite to narediti, sledite povezavi in \u200b\u200bprenesite datoteko uvoza-85.Data v računalnik, ki vsebuje vzorec podatkov avtomobilov.
Če želite prenesti to datoteko v azure ml studiu, kliknite na novo na dnu strani in na odprti plošči zaporedno izberite Dataset in iz lokalne datoteke. V meniju Download, podajte pot do prenesene datoteke, ime in kot tip, izberite Generic CSV datoteko brez glave (.hn.csv).

Ustvarjanje novega eksperimenta

Za ustvarjanje novi eksperimentin izberite Novo -\u003e Eksperiment -\u003e Prazen eksperiment. Posledično bo ustvaril novo delovno področje eksperimenta z orodno vrstico na desni.

Opredelitev vzorca podatkov

Naložene prejšnje podatke se morajo odražati v rešenih podatkovnih baznih podatkov na levi. Izberite in povlecite na kateri koli kraj delovnega prostora, na primer, kjer se pojavi elemente povlecite tukaj, ki označuje.

Upoštevajte, da ima vir podatkov, ki se uporablja za priključitev na druge komponente.

Priprava podatkov

Pri razvoju modelov strojnega učenja je dobra praksa preveriti predhodne rezultate poskusa po vsaki spremembi. Zato z desno tipko miške kliknite točko povezave in izberite Vizualizacija. Posledično se bo pojavilo okno, ki daje splošno idejo o podatkih in njihovi distribuciji.

Kot lahko vidite, je problem v vzorcu - v drugem stolpcu ni vrednosti. To lahko ustvari neželeni učinek v učnem procesu in bistveno poslabša kakovost modela. Ampak na srečo, te vrednote označujejo stroške zavarovanja in so slabo povezani s ceno avtomobila, in zato jih je mogoče izbrisati. Poleg tega ni imen med stolpci, ki močno otežujejo delo z njimi.

Popraviti imena z imeni iz skupine za transformacijo / manipulacijo podatkov, prenesite na delovno površino urejevalnika metapodatkov.

Vzemite izhodni (spodnji) vzorčenje podatkov na vhodu (zgoraj) novega komponenta, da jih povežete. Zdaj kliknite na to, da odprete okno Nastavitve na desni. Urejevalnik metapodatkov vam omogoča, da spremenite informacije Meta ene ali več stolpcev, vključno z vrsto ali naslovom. Čarovnik za izbiranje odprtega stolpca s klikom na izbirnik stolpca. Če želite izbrati vse stolpce, na začetku polja izberite vse stolpce, izbrišite nizo pojasnil s klikom na "-" v desno in potrdite s klikom na kljukico.

V novem polju Ime imena stolpcev na nastavitvah vnesite nova imena stolpcev skozi vejico, ki jo najdete v datoteki Import-85.Names na predhodno usmerjeni povezavi. Vrednost polja mora biti naslednja:

simbolizacija, normalizirane izgube, izdelava, tipa goriva, aspiracija, num-vrat, slog telesa, pogonska kolesa, lokacija za motor, dolžina kolesa, dolžina, širina, višina, masna teža, tip motorja, Num-of-cilindri, velikost motorja, sistem za gorivo, izvrtina, kap, kompresijsko razmerje, konjska moč, peak-rpm, city-mpg, avtocesti-mpg, cena

Da bi videli rezultat komponente, kliknite na teči od spodaj in vizualizirajte izhod z urejevalnikom metapodatkov, opisano pred metodo.

Zdaj izbrišite normalne izgube. Če želite to narediti, povlecite delovni prostor za projektne stolpce iz iste skupine, priključite ga iz urejevalnika metapodatkov in pojdite na njegove nastavitve. Izberite čarovnik za izbiro vrstic in ta čas Izberite vse strune, razen normaliziranih izgub, kar naredite nastavitve, podobne tistim, prikazanim spodaj.

Zaženite poskus in vizualizirajte rezultat, da se prepričate, da drugi stolpec izgine iz vzorca.

Na žalost še vedno obstajajo stolpci, v katerih ni vrednot. Vendar jih ni mnogih, zato je mogoče omejiti na zavrženj del s krajšim delovnim časom. Če želite to narediti, izberite Manjkajoči čistilnik in ga priključite s programskimi stebri. V polju za manjkajoče vrednosti spremenite vrednost na odstranjevanje celotne vrstice. Zaženite, vizualizirajte in se prepričajte, da so črte s praznimi vrednostmi izginile.

Zadnje vprašanje je treba odgovoriti med fazo priprave: Ali vse značilnosti vplivajo na ceno avtomobila? Na tej stopnji lahko omejite naslednje majhno število kazalnikov, katerega seznam je prikazan spodaj. V prihodnje lahko vedno dodate novo in preskusno hipotezo o njihovi zadostnosti, ki primerja natančnost pridobljenih modelov.

narediti, telo-slog, kolo-baza, velikost motorja, konjska moč, peak-rpm, avtocesta-mpg, num-of-cilindri, cena

Dodajte nove projektne stolpce in izberite zgornje stolpce.

Skratka, se prepričajte, da se priprava podatkov uspešno izvede z izvajanjem poskusa in vizualizacijo rezultata.

Vzorec okvare

Zdaj so podatki pripravljeni za uporabo v učnem procesu. Ampak B. strojno učenje Učinek je možen, ki se imenuje "realkacija", je, da si zapomniti podatkovni model brez posplošitve. Takšno vedenje vodi do nezmožnosti ustrezne napovedi na različnih podatkih. Za obdelavo te situacije se vzorec razdeli na usposabljanje in preskus v zvezi s skoraj 3: 1. Slednji od njih ne sodeluje v učnem procesu in se uporablja za ocenjevanje napake navajanja. Če je ta napaka bistveno drugačna v večini napak na učnem vzorcu, to pomeni, da je opisan učinek opazil.

Če želite ustvariti preskusni vzorec, prenesite eksperiment na delovni prostor in se povežite z najnovejšimi stolpci projekta komponente razdelitve podatkov iz podatkov transformacije / vzorca in Split. Nastavite delež vrstic na prvi izhod 0,75 in se prepričajte, da je nastavitev Randomize Split Flag.

Linearno usposabljanje regresije.

Najprej prenesite linearno regresijo, model vlaka, rezultat modela in ovrednotimo model iz orodne vrstice. Model vlaka je univerzalna komponenta, ki omogoča učenje vsakega modela na vsakem vzorcu usposabljanja. Če želite konfigurirati naš poseben primer, priključite prvi (levi) izpis podatkov in linearno regresijsko izhod na ustrezne vhode vlakovnega modela. V nastavitvah vlakovnega modela kot ciljna vrednost (izid stolpec) navedite ceno. Zdaj je model pripravljen za učenje.

Toda poleg samega učenja je pomembno ugotoviti rezultat usposabljanja. Komponenta modela razreda vam omogoča izračun izhoda usposobljenega modela na poljubni vzorec in izračunam rezultat napovedi. Priključite izhod vlakovnega modela, ki vsebuje usposobljeni model, z ustreznim vnosom modela razreda in preskusni vzorec iz drugega izhoda Split podatkov. Ocena Model Izhod Povezava s katerim koli od ocenjevalnih modelov, da bi izračunali številčne lastnosti kakovosti učenja. Posledično je postopek podoben prikazani na sliki.

Zaženite model in vizualizirajte oceno rezultata izvajanja modela.

Koeficient določanja označuje, kako dobro regresijska linija opisuje izvorne podatke. Vrednosti, vzete od 0 do 1, kjer enota ustreza absolutni natančnosti. V našem primeru je koeficient 82%. Ali je to dober rezultat ali ne - neposredno odvisen od nastavitve problema in določene tolerance napake. Za primer napovedovanja cene avtomobila 82% - odličen rezultat. Če želite izboljšati, poskusite dodati druge stolpce v stolpce projekta ali poskusite bistveno drugačen algoritem. Na primer, Poissonova regresija. Slednje je mogoče doseči s preprosto zamenjavo linearne regresijske komponente na balenonu. Toda bolj zanimiv pristop je zbiranje vzporednega učenja iz elementov in povezati rezultat na drugi rezultat ocenjevanja modela, ki bo omogočil udobna oblika Primerjajte rezultate učenja oba modela.

Izvedite model in vizualizirati rezultat. Kot je razvidno iz rezultata, so podatki bistveno bolje opisani z linearnim regresijskim modelom, zato je vse razloge, da ga izberemo kot zadnjo.

Z desno tipko miške kliknite komponento vlaka, ki izpolnjuje linearno regresijo in izberite Shrani kot usposobljeni model. To bo omogočilo uporabo nastalega modela v vseh drugih poskusih, ne da bi potrebovali ponovno učenje.

Objava spletne storitve

Če želite objaviti storitev, izberite komponento vlaka, ki izpolnjuje linearno regresijo in kliknite Nastavi spletno storitev. V meniju, ki se odpre, izberite Predvidevanje spletne storitve in počakajte, da Azure ML bo ustvaril nov eksperiment, optimiziran za potrebe storitev. Odstranite samodejno ustvarjeno komponente spletne storitve in izhodne komponente spletnih storitev - jih bomo pozneje ustvarili po kratkem pripravi.

Trenutno je element modela rezultata ponavlja vse dohodne stolpce na izhodu, predvidena vrednost pa daje oznake rezultatov imena. Treba je določiti.

Če želite to narediti, premaknite dve že znani komponente iz orodne vrstice na delovno površino: Projektni stolpci in urednik metapodatkov. In jih priključite v zaporedje, prikazano na spodnji sliki. V nastavitvah stolpcev projekta izberite samo en stolpec za etikete rezultatov, in z uporabo metapodatkov, ki se preimenujejo v ceno.

Za zaključek, morate dodati vnos in izhod storitev, ki se ustvari. Če želite to narediti, dodajte vhod spletne storitve in izhodni izhodni izhod. Priključite prvi na vnos modela razreda, drugi pa z izhodom urejevalnika metapodatkov. V nastavitvah obeh predmetov spremenite ime na "vhod" in "napoved".

Ponovno zaženite model s klikom na Run, in na koncu validacije, objavite storitev s pritiskom na uvajanje spletne storitve.

Testiranje

Ko kliknete na uvajanje spletne storitve, boste preusmerjeni na stran z informacijami o pravkar ustvarjenem storitvi. Reference na strani API za pomoč vsebujejo dovolj natančen opis Z informacijami o vsebini dohodnih in odhodnih paketov JSON, kot tudi primer kode kode konzole, ki daje pištolo na način uporabe.

Za interaktivno študijo pritisnite Preskus in v oknu, ki se odpre, vnesite vrednosti za vsak vhodni parameter. Na primer, tistih, ki so prikazani spodaj, in kliknete, da pošljete preizkusno poizvedbo.

aUDI SEDAN 99.8 Štiri 109 102 5500 30 13950

Razvoj aplikacij

Skratka, upoštevajte proces razvoja mobilne aplikacije z uporabo azure ml kot back-end storitev. Najprej ustvarite nov projekt aplikacije Universal Windows. Če želite to narediti, v odprtem Visual Studio 2015, izberite Datoteka -\u003e Novo -\u003e Projekt ... V oknu, ki se odpre, pojdite na zavihek Windows v levem meniju in izberite prazno aplikacijo (Universal Windows). V polje Ime vnesite Azuremldemo in kliknite V redu. Če je potrebno, je končni projekt mogoče najti na GitHub.

Po nekaj usposabljanju bo Visual Studio odprl nov osnutek univerzalne aplikacije. Prepričajte se, da je X86 naveden v polju procesorske arhitekture na desni strani odpravljanja denbuga in pravico, da izberete enega od mobilnih virtualnih strojev kot začetno okolje. Na primer, mobilni emulator 10.0.10240.0 720p 5-palčna 1 GB.

Zdaj lahko greste na pisanje same aplikacije. Odprite MainPage.xaml v meniju Explorer. Opis grafičnega vmesnika Markup Markup Jezik je izven tega dela, zato samo zamenjajte odpiranje in zapiranje oznak Na spodnji kodi.