Azure Machine обучение: Разработване на услуги за обучение на машини и тяхното използване в мобилно приложение. Услуги за анализ на данни за манекени и машиностроене

Azure Machine обучение машина Услуга за обучение понастоящем е в предвоални тестове, достъпни за всеки, който има пакетна лазура (или най-малко пробен достъп). Ако се чудите защо винаги съм бил толкова развълнуван от тази технология, погледнете моя, написан преди месец или чета на този пост, в който ще ви разкажа за всичко.

Ако накратко, за да изпълните задачите на анализи с прогноза (предсказуем аналитич), като използвате Azure Machine, която ви изучава достатъчно следните стъпки:

1. Изтеглете или импортирайте онлайн всяко ток или натрупано данни(например демографията на вашия клиент и общите му разходи)
2. Изграждане и валидиране модел (например предскажете разходите въз основа на демографски данни)
3. Създайте уеб услуга, която използва вашите модели, за да изпълняват бързо прогнози Реално време (решете кои предложения да предоставят нов клиент, базиран на неговата демография)

Обслужване на лазур (известен, както и проект Пасау.) Представени от два концептуални компонента: Експерименти и Уеб услугии един инструмент за развитие, наречен Ml студио.. Можете да поканите други хора с Microsoft сметка (Live ID) да работят заедно във вашата работна среда ( работни места.) С ML студио и в същото време дори не трябва да плащат за абонамента на Azure, за да работи с вас.

Експерименти могат да бъдат представени като стрийминг конфигурации ( поток от данни) Какво искате да правите с информацията и вашите модели. Вие, като изследовател на данни за Azure ml, се фокусирайте върху експериментите и може да прекарате цялото си време в студиото ML, е ангажирано само чрез реконструиране, промяна в параметрите, алгоритмите, критериите за валидиране, периодични промени в данните и т.н. ML Studio е уеб приложение и прилича на портал за управление на Azure (по време на написването на статия, средата на 2014 г.). Интерфейсът изглежда чист, приятен и работи добре не само в IE, но и в Firefox и Chrome, макар и с някои резерви, но това е само първата версия на визуализацията.

ML Studio е място, където започвате работата си, решавате какви източници на данни искате да използвате: сте изтеглили набори от данни или данни на живо чрез механизма Четец.от уеб страницата, Odata, SQL Azure, Microsoft Azure, Hive или Blobov Azure. Тогава може да се наложи да произвеждате някои Трансформация на данни, например, групиране, преименуване на високоговорители, сдружение, изключване на дубликати или много полезна работа на диинг (Binning / дискретизация). Освен това можете да използвате други, по-интересни трансформации, например, крайни и безкрайни филтри за отговор ( Ограничени. И. При първия входен отговор), които се използват в обработка на сигнала (обработка на сигнала). Те могат да се прилагат по-широко за данни, свързани с икономиката, които могат да бъдат разгледани под формата на сложни вълни (например, особено временни редове). Това е част от работата определение на сезонносттаи често се свързва с търсещи честоти, подобни на мюзикъла в тези сезонни. В допълнение, ако просто стартирате проекта си и не сте напълно сигурни, кои данни включват, след това филтри за автоматичен избор на функции ( Избор на функции) Може да ви е полезно, представя ви добър избор от индикатори за корелация. На практика, въпреки това, в по-късните стъпки, ще искате да зададете ръчно набор от колони, за да постигнете максимална точност.

Сега ще отидем при факта, че сме чакали толкова дълго: ние ще направим тези машинно обучение - което означава инициализация (определение) на модела, обучение ( Влак.) Някои модели, проверка ( Оценявам.) производителност на модела и неговата валидност и, ако всичко е наред, оценка ( Резултат) Модели (извършване на прогнози в неговата база). Azure ml предлага много алгоритми за Класификациизадачи, включително Multiclass. и Две класови решения, решения джунгли (Разработено от проучване на Microsoft), Логистична регресия, невронни мрежи, както и Два класа среднополучатели, байес, точкова машина, повишени решения и Поддържащи векторни машини (SVM). Клъстеринг Използва вариацията на стандартния подход K-означава подход. Регресия Включва Bayesian линейни, стимулирали решенията, решетните гори,сигурен ЛИНЕЙНА РЕГРЕСИЯ, Регресия на невронната мрежа, ординал и Регресия на Поасон.И това е само във версия 1.

Можете да използвате полезно Статистическифункции в техните експерименти, включително обща елементарна, например, изчисляването на отклоненията. Опитайте се, започнете само с инструкциите на задачата. Описателна статистика Вашите данни и визуализиране ( Визуализирайте.) Резултати (използвайте точките на връзките за задачите). Насладете се на елементи кутии. В получените визуализации фактът, който не беше достатъчен във всички инструменти на Microsoft, дори Excel ...

Един клас пример за това как Azure ml носи външно проучване на вашите експерименти, можете да намерите в раздела Задача Текстови анализи.Задача Наречено признание за признаване ще обработи входния текст (наречен истории, например, пощенски адреси, напечатани ситуации или описания на Tweet) и премахване на посочените термини от тях (име), автоматично ги класифицират като Хора, местаили Организации. Подкрепа за проекта VoWPAL WABBIT, който се поддържа от Yahoo и Microsoft Research. Можете да го използвате, за да получите хеш за субекти при поискване. Очаквам в бъдещето появата на по-голям брой инструменти и възможности в тази област, тъй като е очевидно, че Microsoft има огромен куп знания, записан вътре в Бинг.

Дълбока подкрепа за R езика r

И в допълнение към всичко, можете да използвате вътре при Azure ml. Според моите изчисления днес Azure ml съдържа около 410 предварително инсталирани пакети отгоре R 3.1.0 (за изненада, последна версия). Сред пакетите са ggplot2. (Да!), pRY. и dplyr, кола, набори от данни, hmisc, масаи всички други най-често използвани пакети за анализ на данни (добив на данни). като rpart, nnet, оцеляване, обувкаи т.н.

Ако искате да намерите списък с пакети, включени в Azure ml, просто създайте малък експеримент, например, като например аз показах тук, изпълнявайте малко R код и запазете получения CSV на вашия компютър. Колона 1 ще покаже всички включени пакети.

Какво ще стане, ако любимата ви пакет r (например, ROCR.или nleqslv.) Липсва в списъка? Всъщност документацията може да ви обърка. Той казва, че в "настоящето" обаче няма начин да се създадат собствени пакети, но документацията описва пътя на байпаса, който помага за свързването на пакета с помощта на zip файл. Можете да намерите описание на този подход отдолу за тази връзка, където е показано как да кандидатствате install.packages () Докато използвате връзката към файла, прехвърлен на задачата Execute R скрипт.

Ключът към разбирането на значението на факта, че R е част от Azure ml, по мое мнение, не само, че платформата осигурява достъп до езика на статистиката и анализа de facto (lingua-franca), но и колко бързо е бързо и безболезнено в процеса на обработка на вашите данни. Това е особено забележимо на фона на факта, че самият r не е такъв удобен инструмент за манипулиране. Така че вместо да използвате скъпа Rodbc. (активиран) вътре в своя R-скрипт, можете да разгледате използването на Azure ml за всички тежки задачи за обработка на данни (извинявам се, феновете pRY.) и прехвърляне на данни към R-скрипт под формата на набор от данни на Azure ml Таблица с данникоето става достъпно под формата на естествена рамка за данни (рамка за данни). Данните ще се появят магически във вашия скрипт като обект, наречен. набор от данни.. Можете да добавите няколко източника на данни.

Въпреки че все още не съм завършил моите тестове за изпълнение, но всичко, което може би може да подобри производителността на R относно обработката на големи количества данни, можете да приветствате само горещо. В допълнение, тези възможности изглеждат като очевидно предимство на доставчик на облаци, в сравнение с конвенционалното болно решение. И мога да си представя, че Microsoft използва редица трикове, за да увеличи производителността, когато наборите от данни от лазура са свързани с услугата Azure ml, дори ако имате предвид лимита в 10GB в момента.

Заедно с R или без него можете да имате работен експеримент, който можете да използвате като работна тухла във вашето уеб-ориентирано приложение. Представете си, че току-що сте изградили система от препоръки. По отношение на Azure ml имате експеримент, който използва задачата за оценка (оценяване, прогнози). Определяте кои от входните пристанища трябва да се използват като Публикувайте приносаза вашата уеб услуга и съответно какво трябва да се обмисли Публикувай продукцията. Те ще бъдат представени под формата на малки зелени и сини бучи на веригата предизвикателство. Вие рестартирате експеримента си отново и със Studio ml го публикувайте като Azure ml уеб услуга. Сега можете да консумирате резултатите Azure ml почивка APIпод формата на проста уеб услуга или крайна точка на Odata.. Този API предлага Заявка за реагиране услуга (RRS)за синхронен достъп с ниски закъснения за извършване на прогнози и асинхронно изпълнение Сервиз (BES)за да преквалирате модела, да речем с бъдещите ви свежи данни. Този API предлага автоматично генериран код за проба, който можете просто да копирате и поставите за използване в Python, R или C # приложение, както и на всяко друго място, тъй като всичко това просто се основава на почивка и JSON.

В наличност има хладна малка страница за тестване, която ще ви позволи да въведете необходимите стойности за пресни услуги и да произведете прогноза за тестване.

Услугата има и допълнителни функции Проектиран за употреба на практика, например, предотвратяването на автоматичното актуализиране на Microsoft някой от компонентите (задачи и др.) От вашия експеримент, промяната, която може да се промени или дори да прекъсне работата ви. Правилно решениеMicrosoft е това, което те не обичат да се сблъскват с всички ИТ специалисти, поддържащи уеб системи. Можете да тествате актуализации на услугата за STYJING и да конфигурирате сигурността чрез клавиша за достъп на API.

Цена

Колко струва всичко? Като се има предвид ценообразуването на версията за визуализация, тя изглежда много привлекателна. Има два вида разходи, часови изчисления ( активно изчисление на час) и плащане на повикванията на API за уеб услуги ( per-Web Service API повикване), двата вида разходи са пропорционални. Почасово плащане по-долу, докато използвате ML студио ($ 0.38 / час) и малко по-високо в индустриалната операция чрез ML API услуга ($ 0.75 / час). Разходите за повикване не се разглеждат, докато работите в студиото ML и струва $ 0.18 за 1000 прогнози по време на използването на промишлена операция. Ако нещо е интересен и изключително прост модел на ценообразуване, за разлика от другите, че Microsoft е бил. Изключително интересно е да разбера това, което разработчиците на клиенти смятат, че има страхотна възможност за ефективно препродаване на Azure ml като част от собственото ви уеб приложение, като прекарват само минималните сили за подкрепа, без да е необходимо да се изгради цялата система .

Къде да започнем?

Къде да започнем? Посетете Azure.microsoft.com, абонирайте се и създайте работно пространство Нови / услуги за данни / Машинно обучение.След това отидете на панела Табло. и кликнете върху връзката Влезте в студиото ML.След преглед на задачите, които определят експеримента, ще ви посъветвам да изберете един от многото примери, да създадете копие от него и да го изпълните, за да изпълните. Ако той спечели, следвайте описаните по-горе стъпки, за да го публикувате като първата услуга за прогнозиране.

Разбира се, уверете се, че не пропускате нашите следващи видеоклипове и статии по тази тема: Станете член на уебсайта за получаване на новина с голям набор от информация. Ако искате да започнете бързо, обърнете внимание на нашето обучение за обучение по данни, особено върху модулите за подготовка на данни, като тези понятия, особено случаи, вход.и изходни колони.напълно ще бъде полезен при работа с лазурни мили.

Желая ви да се насладите на ученето на обучението!

Терминът "машинно обучение" най-вероятно ви е срещнал повече от веднъж. Въпреки че често се използва като синоним изкуствен интелектВсъщност машинното обучение е един от неговите елементи. В същото време и двете концепции са родени в Масачузетс технологичен институт В края на 50-те години.

Днес срещате машинно обучение всеки ден, въпреки че, може би, не знаете това. Siri и Google Гласови помощници, разпознаване на лица във Facebook и Windows 10, препоръки в Amazon, технология, които не позволяват да се натрупват колите да се натрупват при препятствия, създадени поради напредъка на машинното обучение.

Към човешкия мозък, системите за обучение на машини са все още много далеч, но те вече имат впечатляващи постижения в актива - например победа над хората в шахмат, десктоп игра отидете и покер.

През последните няколко години развитието на машинното обучение получи остър импулс поради редица технологични пробиви, увеличаване на наличната компютърна мощност и изобилие от данни за обучение.

Софтуер за самоучетеност

И така, какво е машинно обучение? Нека започнем с това, което не е. Това не са обикновени компютърни програми, написани на ръка.

За разлика от традиционния софтуер, който перфектно се справя с прилагането на инструкции, но не могат да импровизират, системата на машинното обучение по същество се програмира, самостоятелно разработва инструкции чрез обобщаване на добре позната информация.

Класически пример - разпознаване на изображения. Показване на системата за обучение на машини достатъчен брой Снимки на кучета с марка "куче", както и котки, дървета и други предмети, маркирани "не едно куче", и в крайна сметка ще започнат да разграничават кучетата. И за това няма да трябва да обяснява как изглежда.

Спамният филтър във вашата пощенска програма е добър пример за машинно обучение в действие. След обработка на стотици милиони проби от нежелани и необходими съобщения, системата се научава да разпределя типични признаци на спамерите. Тя се справя с нея, а не перфектно, а по-скоро ефективно.

Учене с учителя и без

Споменатият тип машинно обучение се нарича обучение с учител. Това означава, че някой въведе алгоритъм с огромно количество данни за изследване, като разглежда резултатите и регулирането на настройките, докато бъде постигната желаната точност на класификацията за данни, която системата все още не е "видяна". Това е същото, като натиснете бутона "Не-спам" в пощенската програма, когато филтърът случайно прихваща съобщението, от което се нуждаете. Колкото по-често го правите, толкова по-точен става филтърът.

Типични учебни задачи с учител - класификация и прогнозиране (или анализ на регресия). Признаване на спам и изображения - класификационни задачи и прогнозиране на фондовите котировки са класически пример за регресия.

Когато тренирате без учител, системата възприемат гигантски обема на данните, отбелязват, как изглеждат "нормални" данни да получат способността да разпознават аномалии и скрити модели. Ученето без учител е полезно, когато определено не знаете какво търсите, - в този случай системата може да ви помогне.

Системите за обучение без учител могат да откриват модели в огромни количества данни много по-бързо от хората. Ето защо банките ги използват, за да идентифицират измамни операции, търговци - да идентифицират клиенти със сходни атрибути и безопасност - да разпознават злонамерената дейност в мрежата.

Примери за учебни задачи без учител - групиране и търсене на правилата на сдружението. Първото се отнася по-специално за сегментиране на клиенти и за търсенето на правилата на сдружението, се основават механизмите за издаване на препоръки.

Речник Терминос

Машинно обучение е само върхът на изкуствения интелект на айсберга. Сред другите термини, тясно свързани с нея, са невронни мрежи, дълбоко обучение и когнитивни изчисления.

Невронна мрежа.Това е компютърна архитектура, имитираща структурата на мозъчните неврони; Всеки изкуствен неврон е свързан с други. Невронните мрежи са изградени от слоеве; Невроните на един слой предават данни на множество неврони по следния начин и т.н., докато се достигне изходният слой. Той е на последния слой, че мрежата дава предполовете си - да кажем какъв е обектът във формата на куче да е подобен на това, което отговорът е придружаващ рейтинга на отговора.

Има различни видове невронни мрежи за решаване различни видове Задачи. Мрежа S. голямо число Слоевете се наричат \u200b\u200bдълбоки. Нераретос са едно от най-важните инструменти за обучение на машини, но не и единственото.

Дълбоко учене.Тя е по същество машинно обучение "на стероиди" - използването на многослойни (дълбоки или дълбоки) мрежи за вземане на решения, основани на неточна или непълна информация. Дълбоката система на Deepstack е дълбока проучвателна система през декември миналата година победи 11 професионални покер играчи чрез преизчисляване на стратегията след всеки Radation Round.

Когнитивни изчисления.Това е термин, изобретен в създателите на IBM на суперкомпютъра Watson. Разликата между когнитивните изчисления и изкуствения интелект в IBM виж, че първото не замества човешкия ум и го допълва: например, помагат на лекарите да поставят по-точни диагнози, финансови консултанти - да издават по-информирани препоръки, адвокати - да се намери подходящо прецеденти и t. P.

Ограничения на машинното обучение

Всяка машина за обучение на машини създава своята собствена схема, представляваща нещо като черна кутия. Няма да можете да разберете как се изпълнява класификацията, но няма значение, най-важното е, че тя работи.

Въпреки това, системата за обучение на машината е само толкова, колкото точно данните за обучение: ако изпратите на входа "боклук", тогава резултатът ще бъде подходящ. С неправилно обучение или твърде малък, размерът на пробата за обучение, алгоритъмът може да доведе до неправилни резултати.

HP удари неприятната ситуация през 2009 г., когато системата за идентификация на лицето за уеб камера на лаптопа на HP Mediasmart се оказа неспособност да разпознае афро-американски лица. И през юни 2015 г. алгоритъм за качество google услуга Снимки, наречени две черни американци "Горили".

Друг пример е за съжаление Twitter Bot Microsoft Tay, с когото през 2016 г. постави експеримент: тогава те се опитаха да разберат дали изкуственият интелект ще "се преструва на" човек, който е научил за реални послания от хора. По-малко от деня на трола в Twitter обърна тай в избраната ксенофоба - тук е типичен пример за развалени данни за обучение.

***

Така че, въпреки целия шум около изкуствения интелект, това няма да бъде преувеличение, за да се каже, че ученето и свързаните с тях технологии наистина променят света около нас, и толкова бързо, че и изглеждат, колите ще придобият пълно сънародност.

- Дан Тайнън. Какво е машинно обучение? Софтуер, получен от данни. Infousord. 9 август 2017 година

Газпром Нефт ще използва изкуствения интелект "Yandex"

Използване на технологията на големи данни, машинно обучение и изкуствен интелект, Газпром Нефт и Yandex план за поддържане на кладенци, извършване на моделиране на технологични процеси на рафиниране на петрола, оптимизиране на други производствени процеси.

Споразумението, сключено от Дружеството, включва провеждането на Jandex експерти Фабрика за данни. Независим преглед на съществуващите технологични решения, съвместно разработване и внедряване на научни и технологични проекти, обмен на научна и техническа информация, знания и обучение на служителите.

Петролната и газовата промишленост е една от най-обещаващите от гледна точка на използването на нови технологии, тъй като тя натрупа големи количества данни и. \\ T прости решения Оптимизацията на производството и бизнеса отдавна се прилага. По този начин са създадени добри възможности за получаване на осезаем ефект от въвеждането на решения, основани на машиностроенето и изкуствения интелект.

Анализ на хокей в лазур

Руската компания Acreberg Sports Analytics представи решението на Aceberg.Hockey, внедрено на платформата Microsoft Azure. Тя ви позволява да управлявате хокейните клубове до по-ефективно увеличаване на шансовете за спечелване и оптимизиране на използването на бюджета на екипа.

В Aceberg.hockey техните собствени алгоритми създадоха специално за хокей на базата на технологии на напреднали анализи, машинно обучение и компютърна визия. Системата е предназначена за мениджъри и треньори на хокейните клубове. За всяка игра решението създава около милионни линии данни, с помощта на три камери, които фиксират всичко, което се случва на полето на всяка десета от секундата: тя е около 500 параметъра за всеки играч. Разработчиците успяха да постигнат висока точност на анализа на данните: Грешка е не повече от 4%. Анализът помага за получаване на информация за оптималната комбинация от играчи, техниката на играта на специфични спортисти, връзки и екипи като цяло.

Сред клиентите на компанията вече имат Ню Йорк Айлъндърс и HC Sochi, както и австрийската академия на хокей Редбол.

"HLYN" оптимизирана услуга за банкомат

Банка "Хлянов" е променила услугата на банкомати, велосипедни машини за учене от облака на Microsoft Azure. В резултат на това банката успя да използва по-рано "замразени" 250 милиона рубли.

Тъй като клиентската мрежа на банката непрекъснато се развива, са необходими нови подходи за съхранение на парични средства и работа с тях. В началото на проекта, средният месечен остатък върху картите Khlyn е около 800 милиона рубли. Една трета от тези пари е запазена в банкомати за премахване на притежателите на карти.

Прилагането на услуги за машинно обучение от облака Microsoft Azure позволи на банката да намали размера на резервираните средства в банкомати до 16-20% от средния месечен остатък на карти: тя се е увеличила до 1,2 милиарда рубли и сумата, която запазена сума е 200- \\ t 230 милиона рубли. Освободените средства на банката могат да изпратят на други работни задачи, по-специално за кредитиране на техните клиенти.

Създаден съвместно с интегратора "Rubikon" алгоритъм, колоездене на машиностроенето, позволи на банката да намали броя на месечните събиране на заминавания с повече от 1,5 пъти. Всяко от тези пътувания струва 3 хиляди рубли и всеки транспортира хиляда рубли, подлежи на Комисия 0.026%.

В близко бъдеще банката "Хлиньов" планира да въведе допълнителни инструменти за прогнозни анализи от облака на Microsoft Azure за продуктивно използване на информацията, натрупана за повече от 25 години работа с клиенти.

MoneyCare използва машинно обучение, за да предвиди одобрението на кредита

Независим кредитен брокер на MoneyCare създаде модел на прогнозиране, базиран на обслужване на облака Microsoft Azure машиностроене. Решението ви позволява да оцените вероятността от положителна банкова отговора на заявка за кредит.

За най-доброто преобразуване на кредитни приложения, компанията реши да намали броя на личните данни на необходимия минимум, както и да създаде модел, който предсказва вероятността за положителна банкова отговора. Дефиницията на минималния набор от данни и изграждането на прототипната компания MoneyCare повери експертите на Колумб.

Чрез избора на платформа за обучение на машиностроенето, специалистите на MoneyCare спряха в облачното обслужване на Azure Machine Learning, което ви позволява бързо да създавате и разгръщате пълнофункционални прогнозни модели като решения за анализ.

На първия етап на проекта е създаден прототип на класификатор в обучението на Azure Machine, чиято задача е избрана повече от 60% от заявленията за кредит с вероятност за одобрение над 80%. В същото време бяха използвани методи като дискриминационен анализ, регресионен анализ, групиране, класификация въз основа на сепаративността, както и алгоритмите за намаляване на размерите.

Вторият етап от проекта беше обучението на служителите за парични средства и съвместния семинар за подобряване на прототипа. Консултации относно създаването на модели, типични задачи за учене на машини и също така определи следните стъпки за подобряване на прототипа.

Правителството на Регион Мурманск ще приложи машинно обучение в документния поток

Министерството на програмирането на SPBSU заедно с DidJital Design Company изследва възможността за прилагане на алгоритми за машинно обучение в електронни системи за управление на документи. Целта на изследването беше правителството на Мурманск. Като база данни са използвани повече от 250 хиляди разселени документи за обслужване.

Възможността за използване на интелигентни алгоритми, които повтарят принципите, бяха проверени невронна мрежа. Основните задачи на такава мрежа са определението за категория документ, автоматично попълване на основните си атрибути, дефиниция въз основа на анализа на текста на приложения файл на най-вероятните изпълнители и създаването на проекти за инструкции за тях.

Беше установено, че използването на интелигентни алгоритми можете да автоматизирате сортирането на документите за съдържанието на приложените файлове и да направите семантично ядро \u200b\u200bза всяка категория, да търсите подобни или идентични документи, да определяте зависимостите на някои атрибути на документа от другите и дори и дори Автоматизира изграждането на вероятностна прогноза за атрибутни стойности. По време на проучването е възможно да се достигне до 95% точност при определянето на категорията на съдържанието на документа. На следващата стъпка, тествана върху тясна група от ключови потребители на правителството на правителството на Мурманск, обработват големи документи.

Машинно обучение е една от най-популярните области на компютърните науки, въпреки че в същото време един от най-избегнатите разработчици. Основната причина за това е, че теоретичната част на машинното обучение изисква дълбоко математическо обучение, което много предпочитат незабавно да забравят в края на университетското обучение. Но е необходимо да се разбере, че в допълнение към теоретичните основи, има и практическа страна, която се оказва много по-лесна за овладяване и ежедневна употреба. Целта на тази работа е да се елиминира разликата между програмистите и специалистите по обработка на данни и да покаже, че използването на машинно обучение в техните приложения може да бъде доста проста задача. Статията очертава цялата последователност от стъпки, необходими за изграждане на модел за прогнозиране на автомобила в зависимост от характеристиките, последвани от използването му в мобилното приложение на Windows 10 Mobile.

Какво представлява Azure ml?

Ако накратко, Azure машинното обучение е:

• облачно решение, което позволява изграждането и използването на сложни модели на машинно обучение по проста и визуална форма;
• екосистеми, предназначени за разпространение и монетизиране на готови алгоритми.

Повече информация за Azure ml можете да намерите по-нататък в тази статия, както и, като кликнете върху връзката

Защо точно azure ml?
Тъй като Azure Machine Learning е един от най-простите инструменти за използване на машинно обучение, което премахва входната бариера за всеки, който решава да го използва за техните нужди. С лазурни мл не е математик.

Логически процес на изграждане на алгоритъм за обучение на машиностроене

1. Определяне на цел.Всички алгоритми за обучение на машини са безполезни без ясно определена цел на експеримента. В това лабораторна работа Целта е да се предскаже цената на автомобила въз основа на характеристиките, предоставени от крайния потребител.
2. Събиране на данни.По време на този етап се формира образец на данни, необходими за по-нататъшно преподаване на модела. В този случай Данните за хранителното обучение на машината ще бъдат използвани от Калифорнийския университет.
   archive.ics.uci.edu/ml/datasets/automobile.
3. Изготвяне на данни. На този етап подготовката на данните се извършва чрез формиране на характеристиките, отстраняване на емисиите и разделяне на пробата върху обучението и теста.
4. Разработване на модел. В процеса на разработване на модел, изборът на един или повече модели данни и съответните алгоритми за обучение, които според разработчика ще трябва да дадат необходимия резултат. Често този процес се комбинира с паралелно проучване на ефективността на няколко модела и анализ на визуалните данни, за да се намерят никакви модели.
5. Модел за обучение. По време на обучението алгоритъмът за обучение създава търсене на скрити модели в извадката за данни, за да се намери метод за прогнозиране. Самият процес на търсене се определя от избрания моделен и алгоритъм за обучение.
6. Оценка на модела. След като моделът е обучен, е необходимо да се изследват неговите прогностични характеристики. Най-често тя се задвижва от тестова извадка и оценява произтичащото ниво на грешка. В зависимост от това, изискванията за точност, моделът може да бъде приет като окончателен и върнат след добавяне на нови входни характеристики или дори промени в алгоритъма за обучение.
7. Използвайте модела. В случай на успешно тестване на обучения модел, настъпва етапа на нейното използване. И случай е така, когато Azure ml става незаменим, давайки всички необходими инструменти за публикуване, мониторинг и монетизиране на алгоритми

Изграждане на прогностичен модел

На страницата, която се отваря, щракнете върху Започнете сега.

За да работите с Azure ml, имате нужда от активен абонамент на Microsoft Azure. Ако вече имате, просто влезте в портала за управление на Azure, в противен случай първо ще регистрирате безплатен пробен акаунт, като кликнете върху връзката.

Първо трябва да изтеглите проба за обучение. За да направите това, следвайте връзката и изтеглете файла Imports-85.Data на компютъра, съдържащ проба от данни за автомобила.
За да изтеглите този файл в Azure ml Studio, щракнете върху новото в долната част на страницата и в отворения панел последователно изберете DataSet и от локален файл. В менюто Изтеглете, задайте пътя към изтегления файл, име и тип, изберете Generic CSV файл без заглавка (.hn.csv).

Създаване на нов експеримент

За да създадете нов експерименти изберете нов -\u003e експеримент -\u003e празен експеримент. В резултат на това ще бъде създадена нова работна площ на експеримента с лентата с инструменти вдясно.

Определяне на извадката за данни

Качени по-ранни данни трябва да бъдат отразени в раздела за запаметени данни вляво. Изберете го и плъзнете до всяко място на работно пространство, например, когато елементите на плъзгане тук се показват.

Обърнете внимание, че източникът на данни има точка на съединение, която се използва за свързване към други компоненти.

Изготвяне на данни

При разработването на модели на машиностроенето, добрата практика е да се проверят предварителните резултати от експеримента след всяка промяна. Следователно кликнете с десния бутон върху точката на свързване и изберете визуализирайте. В резултат на това ще се появи прозорец, който дава обща представа за данните и тяхното разпространение.

Както виждате, в пробата има проблем - няма стойности във втората колона. Това може да създаде нежелан ефект в учебния процес и значително да влоши качеството на модела. Но за щастие, тези ценности характеризират застрахователните разходи и са слабо свързани с цената на колата и следователно могат да бъдат изтрити. Освен това между колоните няма имена, които значително усложняват работата с тях.

За да коригирате имената с имената от групата за трансформация / манипулиране на данни, прехвърлете в работната повърхност на редактора на метаданните.

Вземете извадката на изхода (отдолу) на входа (отгоре) на новия компонент, за да ги свържете. Сега кликнете върху него, за да отворите прозореца Настройки вдясно. Редактор на метаданни ви позволява да промените метаната информация на една или повече колони, включително тип или заглавие. Отворете съветника за избор на колона, като кликнете върху селектора за стартиране на колона. За да изберете всички колони, в началото с полето изберете всички колони, изтрийте низ за изясняване, като щракнете върху "-" вдясно и потвърдете, като кликнете върху кърлеж.

В полето New Colone имена на панела Настройки въведете новите имена на колоните през запетая, които могат да бъдат намерени в файла Import-85.Names на предварително задвижвана връзка. Телената стойност трябва да бъде както следва:

символизират, нормализирани загуби, направят, вид горивен, аспирация, номера на врати, стил на тялото, дискове, двигател, база колела, дължина, ширина, височина, теглото на бордюра, тип двигател, NUM на цилиндри, размер на двигателя, горивна система, отвор, инсулт, компресионно съотношение, конски сили, пик-rpm, град-mpg, магистрала-mpg, цена

За да видите резултата от компонента, кликнете върху изтичането отдолу и визуализирайте изхода на редактора на метадантите, описан преди метода.

Сега изтрийте нормализирани загуби. За да направите това, плъзнете към проектните колони Работно пространство от същата група, свържете го от редактора на метаданни и отидете в неговите настройки. Изберете съветник за избор на ред и този път изберете всички струни, с изключение на нормализирани загуби, като направите настройките, подобни на тези, показани по-долу.

Стартирайте експеримента и визуализирайте резултата, за да сте сигурни, че втората колона изчезва от пробата.

За съжаление, все още има колони, в които няма стойности. Но няма много от тях и затова е възможно да се ограничим до изхвърлянето на част от непълно работно време. За да направите това, изберете липсваща стойност скрубер и го свържете с колони на проекта. В полето за липсващи стойности променете стойността на целия ред. Стартирайте, визуализирайте и се уверете, че линиите с празни стойности са изчезнали.

Последният въпрос остава да се отговори по време на етапа на подготовка: дали всички характеристики засягат цената на колата? На този етап можете да ограничите следващия малък брой индикатори, чийто списък е показан по-долу. В бъдеще винаги можете да добавите нова и тестова хипотеза за тяхната задоволителност, сравнявайки точността на получените модели.

направете, стил на тялото, база за колела, размер на двигателя, конски сили, пик-rpm, магистрала-mpg, num-цилиндри, цена

Добавете нови колони на проекта и изберете горните колони.

В заключение се уверете, че препарата за данни се извършва успешно чрез провеждане на експеримента и визуализиране на резултата.

Проба за повреда

Сега данните са готови за използване в учебния процес. Но Б. машинно обучение Възможно е ефектът, наречен "countcation", е да се запомни на модела за данни без обобщаване. Такова поведение води до невъзможност за адекватна прогноза за всякакви различни данни. За да обработим тази ситуация, извадката се взема за разделяне на обучението и теста по отношение на близо до 3: 1. Последното от тях не участва в учебния процес и се използва за оценка на грешка в прогнозата. Ако тази грешка е значително различна в най-голяма част от грешката в изследваната проба, това означава, че се наблюдава описаният по-горе ефект.

За да създадете тестова проба, прехвърлете експеримента към работното пространство и да се свържете с най-новите колони на проекта компонент на разделените данни от трансформацията на данните / пробата и разделената група. Задайте дела на редовете на първия изход от 0.75 и се уверете, че е зададен рандомизираният разделен флаг.

Линейно обучение за регресия

На първо място, прехвърлете линейна регресия, модел на влакове, оценка на модела и оценка на модела от лентата с инструменти. Моделът на влака е универсален компонент, който позволява да се изучава всеки модел за всяка тренировъчна извадка. За да конфигурирате нашия конкретен случай, свържете първия (ляв) изход за разделяне на данни и линейния регресионен изход към съответните входове на влаков модел. В настройките на влаковия модел като целева стойност (колона за изхода) посочете цената. Сега моделът е готов за учене.

Но освен че се научавате, е важно да се разбере резултатът от обучението. Компонентът на модела на оценката ви позволява да изчислите продукцията на обучения модел на произволна проба и да изчислите резултата от прогнозата. Свържете изхода на влаковия модел, съдържащ обучения модел, със съответния вход за модел на оценка и тестовата проба от втория изход разделени данни. Резултат модел Изход Свързване с някой от предложенията за оценка на модела, за да се изчислят числените характеристики на качеството на ученето. В резултат на това процесът е подобен на представената на фигурата.

Стартирайте модела и визуализирайте резултата от изпълнението на модела.

Коефициентът на определяне показва колко добре регресионната линия описва източника. Стойностите, взети от 0 до 1, когато устройството съответства на абсолютната точност. В нашия случай коефициентът е 82%. Дали това е добър резултат или не - пряко зависи от настройката на проблема и определена толерантност към грешка. За да се предвиди цената на автомобил 82% - отличен резултат. Ако искате да го подобрите, опитайте да добавите други колони в колоните на проекта или да опитате фундаментално различен алгоритъм. Например, регресия на Поасон. Последното може да бъде постигнато чрез просто замяна на линейния регресионен компонент върху басейнон. Но по-интересен подход е да се събере паралелно обучение от елементи и да се свърже резултатът от втората продукция на оценката на модела, която ще позволи удобна форма. Сравнете резултатите от ученето и двата модела.

Изпълнете модела и визуализирайте резултата. Както може да се види от резултата, данните са значително по-добре описани от линейния регресионен модел и затова всички основания да го изберат като последна.

Кликнете с десния бутон върху компонента на влаковия модел, който отговаря на линейна регресия и изберете Запазване като обучен модел. Това ще позволи използването на получения модел във всички други експерименти, без да е необходимо повторно обучение.

Публикуване на уеб услуга

За да публикувате услуга, изберете компонента на влаковия модел, който отговаря на линейната регресия и кликнете върху Настройка на уеб услуга. В менюто се отваря, изберете Предсказваща уеб услуга и изчакайте, докато Azure ml ще създаде нов експеримент, оптимизиран за нуждите на услугата. Премахване на автоматично създадените входни и уеб услуги за уеб услуги - ние ще ги създадем по-късно след кратка подготовка.

В момента елементът на модела на оценката повтаря всички входящи колони на изхода, а прогнозната стойност дава етикетите на знака. Тя трябва да бъде фиксирана.

За да направите това, преместете двете вече познати компоненти от лентата с инструменти до работната повърхност: колони по проекта и редактор на метаданни. И ги свържете в последователността, показана на фигурата по-долу. В настройките на колоните на проекта изберете само една колона за етикетиране на една оценка и използвате редактора на метаданните да го преименувате на цена.

В заключение трябва да добавите входа и изхода на създаването на услугата. За да направите това, добавете към експеримента за въвеждане на уеб услуги и уеб услуги. Свържете първия в входа на модела на резултата, а вторият с изхода на редактора на метаданните. В настройките на двата елемента променете името на "вход" и "прогнозиране", съответно.

Стартирайте отново модела, като кликнете върху RUN, и в края на валидирането публикувате услугата чрез натискане на услугата за разгръщане.

Служба за тестване

След като кликнете върху разгръщането на уеб услуга, ще бъдете пренасочени към страница с информация за просто създадена услуга. Референциите под помощната страница API съдържат достатъчно подробно описание С информация за съдържанието на входящите и изходящите опаковки на JSON, както и пример за кодовия код на конзолата, който дава на пистолета метод за използване.

За интерактивно проучване натиснете тест и в прозореца, който се отваря, въведете стойностите за всеки входен параметър. Например, тези, показани по-долу и щракнете върху Маркиране, за да изпратите заявка за изпитване.

audi Sedan 99.8 Four 109 102 5500 30 13950

Развитие на приложенията

В заключение, помислете за процеса на разработване на мобилно приложение, като използвате Azure ml като услуга за обратно край. Първо създайте нов проект на приложението Universal Windows. За да направите това, в отвореното Visual Studio 2015, изберете Файл -\u003e Нов -\u003e Проект ... В прозореца, който се отваря, отидете в раздела Windows в лявото меню и изберете празно приложение (Universal Windows). В полето Име въведете azuremldemo и щракнете върху OK. Ако е необходимо, завършеният проект може да бъде намерен на Github.

След известно обучение Visual Studio ще отвори нов проект на универсално приложение. Уверете се, че X86 е посочен в полето за архитектура на процесора вдясно от отстраняването на грешки и правото да изберете една от мобилните виртуални машини като начална среда. Например, мобилен емулатор 10.0.10240.0 720p 5 инча 1GB.

Сега можете да отидете на писането на самата заявка. Отворете mainpage.xaml в менюто на Explorer на решението. Описание на езика за маркиране на графичния интерфейс е извън тази работа, така че просто заменете отварянето и затварящите маркери По-долу.

Въпреки всички привидни трудности, този код създава доста проста маркировка, необходима за въвеждане на потребителски данни. Всеки елемент на влизане в един от параметрите на модела се нарича TBXMake, TXBBOSSTYLE и др. Под тях е бутонът за получаване на оценка, който е отговорен за изпращане на съобщение до услугата Azure ml и завършва с TBRESULT елемент, в който ще бъде поставен резултатът от повикването.

Стартирайте приложението, като кликнете върху Debug -\u003e Започнете отстраняване на грешки, за да сте сигурни, че всичко е направено правилно, проектът е съставен и стартиран. Проверете дали променянето на положението на плъзгачите води до подходяща промяна в числената стойност вдясно от тях.

Спрете Debug сесия, като кликнете върху Debug -\u003e спрете отстраняването на грешки.

Определяне на логиката на програмата

Сега е необходимо да определите кода за обработка, натискайки бутона Получаване на оценка. В Solution Explorer, разширете mainpage.xaml и кликнете два пъти с mainpage.xaml.cs, за да отворите файла за кода на този графичен интерфейс.

Първият, който е свързан с няколко необходими библиотеки. За да направите това, щракнете с десния бутон на мишката върху името на проекта и изберете Manage Nuget Packages ... В менюто, което се отваря, направете търсене по webapi.lient и инсталирайте пакета на microsoft.aspnet.webapi.client.

След това добавете следните допълнителни реклами към полето, като използвате следните файлове:

Използване на system.net.http; Използване на system.net.http.headters; използване на newtonsoft.json; Използване на system.Threading.tasks; Обществен запечатан частичен клас Главен списък: страница (const string _apikey \u003d @ " "; Const string _requesturi \u003d @" ключ ";
Клавишът за достъп може да бъде намерен на страницата на таблото на вашата услуга и адреса на заявката в страницата за помощ / отговор, позоваването на което е малко по-долу.

Следващата стъпка ще добави спомагателна функция, която ще поиска услугата Azure ml. В съответствие с документацията, показана на същата страница за подпомагане / отговор, за да получите отговор, трябва да извършим следната последователност от действия: да създадем заявка, изпратете го към услугата HTTP POST заявка и обработка на отговора.
Създайте функция на Callazureml, която приема входната стойност на всички параметри на модела и връща стойността на ценовата поплавък с оценката на цените. Задача на async тук отговаря на внедряването на модела async / curare, значително опростяване на работата с асинхронни повиквания в приложението (може да се намери допълнителна информация).

Частна задача на async. Callazureml (низ, низ тяло, двойно колесно, номера на низ, int двигатели, int конски капау, int peakrpm, int highwaympg) ()
Също така да се опрости работата с JSON, ние ще използваме библиотеката на Нютон. Неговата отличителна черта е, че тя ви позволява да взаимодействате с JSON обекти чрез удобно абстракция под формата на обикновени нива на ниво.net. Поставете следния код в началото на метода.

VAR Заявка за мъжете \u003d New (вход \u003d нов речник (((((("Вход", нов (колонни имена \u003d нов низ ("make", "стил на тялото", "база за колела", "num-cylinders", "размер на двигателя", "конски сили", " PPM "," Highway-MPG "," цена "), стойности \u003d нов низ [,] ((make, bodystyle, междуолучатели.toString (), бройofcylinders, двигатели 8.toString (), конски сили. , peakrpm .toString (), highwaympg.toString (), "0"))))), globalparameters \u003d нов речник () };
Тук структурата на обектната структура на JSON е пресъздадена с помощта на анонимен клас и напълно (включително регистър) повтаря структурата на очакваната заявка. За сравнение, пример за такава заявка от страницата за заявка / отговор е представена по-долу.

{
"Входове": (
"ВХОД": (
"Колони": ["make", "стил на тялото", "база колела", "num-oylinders",
"Размер на двигателя", "конски сили", "пик-rpm", "highway-mpg",
"Цена"]
"Стойности": [
["Стойност", "стойност", "0", "стойност", "0", "0", "0", "0", "0"],
["Стойност", "стойност", "0", "стойност", "0", "0", "0", "0", "0"]
]
}
},
"GlobalParameters": ()
}

Следващата стъпка е да изпълните заявката до самата услуга. За да направите това, добавете следния код в разработения метод.

Опитайте (използвайте VAR Client \u003d New httpclient ()) (client.defaultrequestcehers.Authorization \u003d нов автентификация, _apikey; client.baseaddress \u003d нов uri (_requesturi); var repose \u003d curance.postasjsonasync (", postasjsonasync (", postasjsonasync (", postasjsonasync (", requestjonasync (", foryjonsync (", foryjonsync "; ако (отговор.issuccessstationcode) (// е успял да хвърлят нова неомисленост ()), иначе (// не успя да хвърли нов notimplectedext ();)))) улов (изключение e) (хвърляне;)
Първите случаи се създават от HTTP клиент и задава цялата информация, необходима за успешно свързване с услугата в Azure ml: клавиш за адрес и достъп. След това се извършва пост-заявка за услугата с обекта JSON, създаден по-рано. Успехът на повикването се проверява в кода за състоянието на HTTP.

Заменете кода в областта, отбелязана с успешен коментар по-долу. Той последователно реагира на сървъра под формата на низ, анализира го в динамичен обект, използвайки преобразувателя на Newtonsoft.json с последваща цена на цената. Пример за отговор на сървъра към сравнение може да бъде намерен в раздела "Тест за обслужване".

Var responsecontent \u003d очакват отговор.content.readasstringasync (); Var val \u003d jsonconvert.deserializeobject (Отговорност); Плаващ? Цена \u003d (float) val?. Преследванията? .Values; Ако (цена \u003d\u003d null) хвърляте нов InvalidDataException ("Съобщение за отговор има неизвестен формат" + "или е празен."); Връщане (поплавък) цена;
В случай на погрешно състояние, методът трябва да върне максималната информация. Ето защо, както в миналия случай, съдържанието на заявката се извлича като низ, но този път последователно се превръща в обекта и обратно към низ. Това е необходимо, за да се добави тире, което позволява по-удобно отчитане на съдържанието му. Заменете кода в областта, отбелязана от коментара, не успя да бъде по-долу.

Var responsecontent \u003d очакват отговор.content.readasstringasync (); var recessobject \u003d Jsonconvert.deserializeObject (отговорност); var formattreponsecontent \u003d Jsonconvert.serializeobject (отговор на форматирането, форматирането); Var message \u003d string.format ("код на състоянието на сървъра (0) със съобщение (1)", отговор.statuscode, formattedreponsecontent; Хвърли нов InvalidDataException (съобщение);
Методът на повикване към Azure ml може да се счита за пълен. Както можете да видите, че нейното изпълнение е доста просто, въпреки че изгражда цялостен процес за прилагане на модел на статистически данни, алгоритъм за обучение и метод за оценка на произволна оценка на входния вектор. Доста сложни математически теории се вписват в няколко реда на програмния код.
В заключение трябва да приложите ръководителя на бутона за получаване на оценката. Първо, отидете на mainpage.xaml и добавете бутона GESTESTIM към XML Tag Information за Habelling.

Върнете се в mainpage.xaml.cs и създайте подходящия метод. Той нарича предварително създадения метод за достъп до услугата Azure ml и определя резултата в TBRESULT.

Private Async void getestimate_click (обект подател, маршрутиентаргс е) (опитайте (var price \u003d careaazureml (tbxmake.text, tbxbody.text, slwheelbase.Value, tbxnumberofcylinders.text, (int) slhorsepowers.Value, (int) slhorsepowers.Value, \\ t (int) slpeakrpm.value, (int) slhighwaympg.value); tbresult.text \u003d string.format ("имате късмет!" + "днес е толкова евтина, колкото (0: c). Не пропускайте шанса си ! ", Цена);) улов (изключение ex) (// показва грешка в резултат texblock tBreesult.text \u003d string.format (" oops! Нещо се обърка., N (0) ", Ex.toString ());)))
Всичко, приложението е готово. Изпълнете го и експериментирайте с оценката на цената на автомобила при различни характеристики.

Заключение

Машинно обучение Azure е нов високопродуктивен инструмент за работа с алгоритми за машинно обучение. Възможно е дори единствената среда, която ви позволява лесно да публикувате вашите алгоритми под формата на отделна услуга и по-късно да ги използвате в техните приложения. В тази работа се използва един от най-простите алгоритми за обучение - линеен алгоритъм за регресия. Azure ml има десет повече десетки други, създадени от учени за различни цели. И най-важното е, че няма нужда да бъдем математически за тяхното използване. Достатъчно е с помощта на компоненти за сглобяване на необходимия процес на обработка на обработката на данни, провеждане на няколко експеримента и, ако е успешен, публикувайте всичко под формата на обслужване.
Ето още някои проби от данни, на които можете да експериментирате: Добавяне на тагове

Терминът "машинно обучение" най-вероятно ви е срещнал повече от веднъж. Въпреки че често се използва като синоним на изкуствен интелект, всъщност машинно обучение е един от нейните елементи. В същото време и двете концепции са родени в Масачузетския технологичен институт в края на 50-те години.

Днес срещате машинно обучение всеки ден, въпреки че, може би, не знаете това. Siri и Google Гласови помощници, разпознаване на лица във Facebook и Windows 10, препоръки в Amazon, технология, които не позволяват да се натрупват колите да се натрупват при препятствия, създадени поради напредъка на машинното обучение.

Системите за машинно обучение все още са много далеч от човешкия мозък, но те вече имат впечатляващи постижения в актива - например победа над хората в шахмат, настолен игра и покер.

През последните няколко години развитието на машинното обучение получи остър импулс поради редица технологични пробиви, увеличаване на наличната компютърна мощност и изобилие от данни за обучение.

Софтуер за самоучетеност

И така, какво е машинно обучение? Нека започнем с това, което не е. Това не са обикновени компютърни програми, написани на ръка.

За разлика от традиционния софтуер, който перфектно се справя с прилагането на инструкции, но не могат да импровизират, системата на машинното обучение по същество се програмира, самостоятелно разработва инструкции чрез обобщаване на добре позната информация.

Класически пример - разпознаване на изображения. Покажете системата на машинно обучение. Достатъчният брой на кучета с "куче" марж, както и котки, дървета и други предмети, отбелязани "не едно куче", и в крайна сметка ще започнат да разграничават кучетата. И за това няма да трябва да обяснява как изглежда.

Спамният филтър във вашата пощенска програма е добър пример за машинно обучение в действие. След обработка на стотици милиони проби от нежелани и необходими съобщения, системата се научава да разпределя типични признаци на спамерите. Тя се справя с нея, а не перфектно, а по-скоро ефективно.

Учене с учителя и без

Споменатият тип машинно обучение се нарича обучение с учител. Това означава, че някой въведе алгоритъм с огромно количество данни за изследване, като разглежда резултатите и регулирането на настройките, докато бъде постигната желаната точност на класификацията за данни, която системата все още не е "видяна". Това е същото, като натиснете бутона "Не-спам" в пощенската програма, когато филтърът случайно прихваща съобщението, от което се нуждаете. Колкото по-често го правите, толкова по-точен става филтърът.

Типичните учебни задачи с учител са класифициране и прогнозиране (или регресионен анализ). Признаване на спам и изображения - класификационни задачи и прогнозиране на фондовите котировки са класически пример за регресия.

Когато тренирате без учител, системата възприемат гигантски обема на данните, отбелязват, как изглеждат "нормални" данни да получат способността да разпознават аномалии и скрити модели. Ученето без учител е полезно, когато определено не знаете какво търсите, - в този случай системата може да ви помогне.

Системите за обучение без учител могат да откриват модели в огромни количества данни много по-бързо от хората. Ето защо банките ги използват, за да идентифицират измамни операции, търговци - да идентифицират клиенти със сходни атрибути и безопасност - да разпознават злонамерената дейност в мрежата.

Примери за учебни задачи без учител - групиране и търсене на правилата на сдружението. Първото се отнася по-специално за сегментиране на клиенти и за търсенето на правилата на сдружението, се основават механизмите за издаване на препоръки.

Ограничения на машинното обучение

Всяка система за обучение на машини създава своя собствена схема, представляваща нещо като "черна кутия". Няма да можете да разберете как се изпълнява класификацията, но няма значение, най-важното е, че тя работи.

Въпреки това, системата за обучение на машината е само толкова, колкото точно данните за обучение: ако изпратите на входа "боклук", тогава резултатът ще бъде подходящ. С неправилно обучение или твърде малък, размерът на пробата за обучение, алгоритъмът може да доведе до неправилни резултати.

HP удари неприятната ситуация през 2009 г., когато системата за идентификация на лицето за уеб камера на лаптопа на HP Mediasmart се оказа неспособност да разпознае афро-американски лица. А през юни 2015 г. бедно качествен ареньор на услугата Google снимки, наречен две черни американци от горили.

Друг пример е за съжаление Twitter Bot Microsoft Tay, с когото през 2016 г. постави експеримент: тогава те се опитаха да разберат дали изкуственият интелект ще "се преструва на" човек, който е научил за реални послания от хора. По-малко от деня на трола в Twitter обърна тай в избраната ксенофоба - тук е типичен пример за развалени данни за обучение.

Речник Терминос

Машинно обучение е само върхът на изкуствения интелект на айсберга. Сред другите термини, тясно свързани с него са невронни мрежи, дълбоко обучение и когнитивни изчисления.

Невронна мрежа. Това е компютърна архитектура, имитираща структурата на мозъчните неврони; Всеки изкуствен неврон е свързан с други. Невронните мрежи са изградени от слоеве; Невроните на един слой предават данни на множество неврони по следния начин и т.н., докато се достигне изходният слой. Той е на последния слой, че мрежата дава предполовете си - да кажем какъв е обектът във формата на куче да е подобен на това, което отговорът е придружаващ рейтинга на отговора.

Има различни видове невронни мрежи за решаване на различни видове задачи. Мрежи с голям брой слоеве се наричат \u200b\u200bдълбоки. Нераретос са едно от най-важните инструменти за обучение на машини, но не и единственото.

Дълбоко учене. Това е по същество машинно обучение "на стероиди" - използването на многослойни (дълбоки) мрежи за вземане на решения, основани на неточна или непълна информация. Дълбоката проучвателна система на Deepstack през декември миналата година победи 11 професионални покер играчи чрез преизчисляване на стратегията след всеки Randa кръг.

Когнитивни изчисления. Това е терминът, изобретен в създателите на IBM Суперкомпютър Уотсън. Разликата между когнитивните изчислителни и изкуствени интелигентност в IBM виж, че първото не замества човешкия ум и го допълва, например, помага на лекарите да поставят по-точни диагнози, финансови консултанти - да издават по-информирани препоръки, адвокати - да се намери подходящо прецеденти и t. P.

Така че, въпреки целия шум около изкуствения интелект, това няма да бъде преувеличение, за да се каже, че ученето и свързаните с тях технологии наистина променят света около нас, и толкова бързо, че и изглеждат, колите ще придобият пълно сънародност.

- Дан Тайнън. Какво е машинно обучение? Софтуер, получен от данни. Infousord. 9 август 2017 година

В Москва създайте невронна мрежа, разпознавайки свидетелството на метри за вода от снимки

Москва претърпява експеримент за създаване на електронна услуга въз основа на невронни мрежи. Министерството на информационните технологии на столицата работи на алгоритъма, който ще опрости прехвърлянето на водомериращи устройства. Разработчиците възнамеряват да преподават услугата автоматично да определят снимката, която показва брояча.

Да се \u200b\u200bобучи бързо и точно признаване на четенията до невращат, се планира до края на тази година. За да направите това, той трябва да обработва няколко хиляди снимки на топли и студени броячи, които ще изпратят самите граждани, които се съгласиха да участват в експеримента.

След завършване на преподаването, невронната мрежа ще може да разпознае номерата на каквито и да е снимки, които могат да разграничат човешкото око. Ако процентът на грешките остане висок, системата ще бъде показана допълнителни снимки.

Въз основа на тази невронна мрежа може да се появи услуга, която няма да позволи на ръчно измервателни данни. Системата автоматично ще разпознае свидетелските показания и ще ги предаде на един информационен и сетълмент център за формиране на платежни документи.

MoneyCare използва машинно обучение, за да предвиди одобрението на кредита

Независим кредитен брокер на MoneyCare създаде модел на прогнозиране, базиран на обслужване на облака Microsoft Azure машиностроене. Решението ви позволява да оцените вероятността от положителна банкова отговора на заявка за кредит.

За най-доброто преобразуване на кредитни приложения, компанията реши да намали броя на личните данни на необходимия минимум, както и да създаде модел, който предсказва вероятността за положителна банкова отговора. Дефиницията на минималния набор от данни и изграждането на прототипната компания MoneyCare повери експертите на Колумб.

Чрез избора на платформа за обучение на машиностроенето, специалистите на MoneyCare спряха в облачното обслужване на Azure Machine Learning, което ви позволява бързо да създавате и разгръщате пълнофункционални прогнозни модели като решения за анализ.

На първия етап на проекта е създаден прототип на класификатор в обучението на Azure Machine, чиято задача е избрана повече от 60% от заявленията за кредит с вероятност за одобрение над 80%. В същото време бяха използвани методи като дискриминационен анализ, регресионен анализ, групиране, класификация въз основа на сепаративността, както и алгоритмите за намаляване на размерите.

Вторият етап от проекта беше обучението на служителите за парични средства и съвместния семинар за подобряване на прототипа. Консултации относно създаването на модели, типични задачи за учене на машини и също така определи следните стъпки за подобряване на прототипа.

Правителството на Регион Мурманск ще приложи машинно обучение в документния поток

Министерството на програмирането на SPBSU заедно с DidJital Design Company изследва възможността за прилагане на алгоритми за машинно обучение в електронни системи за управление на документи. Целта на изследването беше правителството на Мурманск. Като база данни са използвани повече от 250 хиляди разселени документи за обслужване.

Възможността за използване на интелектуални алгоритми в EDS, повтаряйки принципите на невронната мрежа. Основните задачи на такава мрежа са определението за категория документ, автоматично попълване на основните си атрибути, дефиниция въз основа на анализа на текста на приложения файл на най-вероятните изпълнители и създаването на проекти за инструкции за тях.

Беше установено, че използването на интелигентни алгоритми можете да автоматизирате сортирането на документите за съдържанието на приложените файлове и да направите семантично ядро \u200b\u200bза всяка категория, да търсите подобни или идентични документи, да определяте зависимостите на някои атрибути на документа от другите и дори и дори Автоматизира изграждането на вероятностна прогноза за атрибутни стойности. По време на проучването е възможно да се достигне до 95% точност при определянето на категорията на съдържанието на документа. На следващата стъпка, тествана върху тясна група от ключови потребители на правителството на правителството на Мурманск, обработват големи документи.

"HLYN" оптимизирана услуга за банкомат

Банка "Хлянов" е променила услугата на банкомати, велосипедни машини за учене от облака на Microsoft Azure. В резултат на това банката успя да използва по-рано "замразени" 250 милиона рубли.

Тъй като клиентската мрежа на банката непрекъснато се развива, са необходими нови подходи за съхранение на парични средства и работа с тях. В началото на проекта, средният месечен остатък върху картите Khlyn е около 800 милиона рубли. Една трета от тези пари е запазена в банкомати за премахване на притежателите на карти.

Прилагането на услуги за машинно обучение от облака Microsoft Azure позволи на банката да намали размера на резервираните средства в банкомати до 16-20% от средния месечен остатък на карти: тя се е увеличила до 1,2 милиарда рубли и сумата, която запазена сума е 200- \\ t 230 милиона рубли. Освободените средства на банката могат да изпратят на други работни задачи, по-специално за кредитиране на техните клиенти.

Създаден съвместно с интегратора "Rubikon" алгоритъм, колоездене на машиностроенето, позволи на банката да намали броя на месечните събиране на заминавания с повече от 1,5 пъти. Всяко от тези пътувания струва 3 хиляди рубли и всеки транспортира хиляда рубли, подлежи на Комисия 0.026%.

В близко бъдеще банката "Хлиньов" планира да въведе допълнителни инструменти за прогнозни анализи от облака на Microsoft Azure за продуктивно използване на информацията, натрупана за повече от 25 години работа с клиенти.

Газпром Нефт ще използва изкуствения интелект "Yandex"

Газпром Нефт и Яндакс завършиха споразумение за сътрудничество при изпълнението на обещаващи проекти в петролната и газовата сфера. Използване на технологията на големиДанни, машиниученето и изкуственото разузнаване, компаниите планират да шофират добре, да моделират технологичните процеси на рафиниране на петролаи оптимизиране на други производствени процеси.

Споразумението включва независимия разглеждане на съществуващите технологични решения, съвместното развитие и прилагане на научни изследвания и технологични проекти, както и обмен на научна и техническа информация, знания и обучение на служителите, както и независимо изследване на фабриката за данни от Yandex .

Петролната и газовата промишленост е една от най-обещаващите от гледна точка на използването на нови технологии, тъй като натрупаните големи количества данни и прости решения за оптимизиране на производството и бизнеса отдавна се прилагат. По този начин са създадени добри възможности за получаване на осезаем ефект от въвеждането на решения, основани на машиностроенето и изкуствения интелект.

Михаил Йебов - стандартна специфична за блок-услуга и анализ на речта Anryze

"Преброихме, ако сравним банката днес и Сбербанк преди пет години, тогава приблизително 50% от тези решения, които бяха приети от хората днес, се приемат от машини. И след пет години вярваме, че можем да вземем около 80% от всички решения автоматично с помощта на изкуствен интелект. "

Днес невронните мрежи ви позволяват да анализирате финансовите транзакции, да събирате и използвате информация за клиента, да образувате уникални пакети от предложения и услуги за конкретен потребител, да вземат съзнателни решения за издаване на заеми и дори да се занимавате с измама.

Основни понятия

Терминът "машинно обучение" включва всички опити да научат автомобила да се подобри независимо - например, учене за примери или обучение с армировка. Машинно обучение е процес, свързан с въвеждането и изхода на данните, включващи използването на определен математически модел - алгоритъм.

Изкуствена невронна мрежа или "невронна мрежа", - частна служба на машинно обучение, компютърна програма, работеща по принципа на човешкия мозък: провежда входящи данни чрез системата "неврони", по-прости програми, които взаимодействат помежду си, след което Той издава резултата от изчисленията въз основа на това взаимодействие. Всяко самоучетено за невронни мрежи и може да използва опит, придобит по време на работа.

Невролените мрежи и алгоритмите за машинно обучение позволяват да се увеличи стойността на данните: изкуственото разузнаване не само може да ги спаси, но и да анализира и систематизира, да се идентифицират закономерности недостъпни при анализиране на голям редица информация. Благодарение на последната характеристика на невронната мрежа, те могат да симулират и прогнозират събития въз основа на предишен опит.

Промяна на парадигмата на предоставянето на банкови услуги в Русия и в света

В усилията си да се открояват сред конкурентите и да завладеят вниманието на целевата аудитория, банковите компании се прехвърлят от пасивно взаимодействие с клиента до проактивни. Банките създават нови услуги, насърчават нови услуги и пакети от услуги, разчитат на принципа на клиентския фокус - предлагат на всеки точно това, което той се интересува, намирането на индивидуални кредити. Разработването на решения, основани на използването на невронната мрежа, е в няколко посоки. Показват се интелигентни асистенти, които ви позволяват бързо да получите необходимата информация или да вземете решение, - например телеграма-бот "Райфайзен" ще помогне да се намери най-близкия клон и ще разберете дали работи в събота. Подобрени решения, свързани с точкуването, - интелектуална оценка на кредитната история на клиента. Онлайн услугата Scorista оценява надеждността на кредитополучателите на МФО. Кредитният инструмент за активиране на PUPUTNIK MFI включва интеграция с продукти от доставчици на кредитни истории OKB, Equifax, Russian Standard, FSSP услуга.

Стартирането разработва интелигентни договори - изградени върху технологията на блоковите агенти, чието поведение е автоматизирано и определено от математическия модел. Интелигентните договори, описващи договора за всяка сложност, се изпълняват автоматично на всеки етап, като извършват специфичен набор от условия. В този случай е невъзможно да се промени или изтрие историята на сделката. Британската банка Barclays въвежда такава технология за регистриране на прехвърлянето на собственост и автоматично прехвърляне на плащания към други кредитни и финансови институции.

Невронните мрежи ви позволяват ефективно да обработвате данни за клиенти и услуги. Много съвременни стартиращи системи са американската електронна система, IPrevent и Icommlli системи - се основават на използването на знанието на вашия клиентски подход (KYC). Същността на подхода е в подробен анализ на поведението на клиента. Събирането на данни за поведение помага да се направи пълна картина на клиента и да предостави по-персонализирана услуга. И вероятният човек ви позволява да откривате отклонения от стандартен модел и да разпознавате неразрешени действия с профила.

Именно тази идея е, че разработчиците на молбата на смисъл от Алфа Банк взеха основата. Услугата е финансов асистент, който ще напомня на плащанията по кредита или за комунални услуги ще викст как да намали разходите и ще даде съвети - например, какво е по-добро за поръчка или къде да купуват цветя.

Изкуствен интелект за увеличаване на индекса за лоялност на клиентите

Можете да оцените не само клиентите, но и самите служители на банките - за да могат постоянно да подобряват качеството на предоставяните услуги. И тук, невронните мрежи отново идват в спасителното спасяване: Amazon Connect централизирани услуги, Google Cloud Speech API или Anryze платформа, използваща разпределени изчисления, базирани на блокана, ви позволяват да дешифрирате телефонните преговори в текст и да обработите получената информация. Записите за телефонни разговори ви позволяват да контролирате дейността на служителите, да прецизирате скриптовете за продажби, да откривате грешки и да увеличите лоялността на клиентите, като дефинирате и решавате основните проблеми на комуникацията. Текстовият формат предоставя повече функции за анализ на информация: например търсене на ключови думи.

Скинг: Нералетие за оценка на рисковете при кредитиране

Sking (английски резултат - "сметка") е система и метод за оценка на рисковете за кредит, както и управление на риска въз основа на прогнозния напредък на конкретен кредитополучател по кредит. Използването на системи за точкуване, основано на технологии за машинно обучение, ви позволява да автоматизирате процеса на издаване на заеми. Към днешна дата, решенията за оценяване се използват от Банката на Москва, Банката UniAstrum, MDM Bank, Rosgosstrah и Home Credit. Binbank провежда проекти, за да включи в анализа на тези телекомуникационни компании и информация от социалните мрежи, за да взема решения по кредита въз основа на максималния брой информация за всеки клиент.

Нералетие за автоматизацията на рутинните процеси и оптимизиране на сложни задачи

Модерните алгоритми за обучение на машини са в състояние да автоматизират някои рутинни етапи на процеса на AML (против изпиране на пари): създаване и подготовка на доклади, изпращащи известия, избор на сметки и транзакции в зависимост от определени объркващи параметри. Подобна система - SAS AML - миналата година внедрих Банката Tinkoff: поради автоматизация Човешките ресурси успяха да преразпределят човешките ресурси от необходимия контрол върху прякото изследване на престъпните схеми и увеличаване на индекса на подозрителни операции с 95%.

Дълбоко обучение: борба с измамите с невронни тестове

Всяка година в света се измива от 800 милиарда до 2 трилиона долара. Само в Съединените щати за борба с прането на пари се изразходват около 7 милиарда долара годишно. С ръчно се бият ръчно, проверка на всяка транзакция, но с появата на технологиите за машинно обучение, ситуацията се промени: Сега е възможно да се реши проблемът с невронната мрежа.

Невронните мрежи ви позволяват да събирате и анализирате огромни масиви за данни - дати и точното време на транзакцията, географско положение, информация за клиента и поведението на клиента. Дълбокото обучение Технологии се използват в PayPal Online Payment System: За да осигурите клиенти, компанията е разработила широкомащабна система за събиране и анализ на поведенчески модели.

Индийската HDFC банка със SAS Institute въведе система, която открива измамни дейности. Американското стартиране Merlon Intelligence разработи платформа за идентифициране на подозрителни транзакции, използвайки Algorithms на NLP (обработката на естествения език) и накрая получи финансиране за повече от 7 милиона долара от фонд за колективен фонд за данни.

Какво следва?

Симбиоза на "големите данни" и машинно обучение предлага фундаментално нов подход към проблемите на въпросите на сегментирането на клиентите, издаването на заеми и изготвянето на прогнози, както и решение на широк спектър от аналитични задачи. Дълбоката интеграция на финансовите технологии и изкуствения интелект в бъдеще ще създаде така наречения "интелигентен пазар": оптимизиране на процесите на предоставяне на услуги, намаляване на бизнес разходите, опростяване на взаимодействието чрез използване на интелигентни договори.

Използването на способностите на невронната мрежа на обучението, обществото ще се премести в по-проста и прозрачна икономика, ще може да увеличи нивото на сигурност и доверие между всичките му участници. Ако банките искат да бъдат запазени като институт, важно е за тях да се възползват от всички предимства на новите технологии и да останат полезни за клиентите.