Сервисы анализа данных и машинного обучения. Применение машинного обучения в ит аутсорсинге. Анализируют данные с сенсоров
Машинное обучение – одна из самых популярных областей Computer Science, хотя в то же время одна их самый избегаемых среди разработчиков. Основная причина этого в том, что теоретическая часть машинного обучения требует глубокой математической подготовки, которую многие предпочитают сразу же забыть по окончании университетского обучения. Но необходимо понимать, что помимо теоретических основ, существует также и практическая сторона, которая оказывается значительно проще для освоения и ежедневного использования. Цель этой работы – ликвидировать разрыв между программистами и специалистами по обработке данных и показать, что использование машинного обучения в своих приложениях может быть достаточно простой задачей. В статье излагается вся последовательность шагов, необходимая для построения модели предсказания цены автомобиля в зависимости от набора его характеристик с последующим ее использованием в мобильном приложении на Windows 10 Mobile.
Что такое Azure ML?
Если кратко, то Azure Machine Learning – это:
- облачное решение, позволяющее построение и использование сложных моделей машинного обучения в простой и наглядной форме;
- экосистема, предназначенные для распространения и монетизации готовых алгоритмов.
Почему именно Azure ML?
Потому, что Azure Machine Learning – один из простейших инструментов для использования машинного обучения, убирающий входной барьер для всех, кто решает использовать его для своих нужд. С Azure ML больше не надо быть математиком.
Логический процесс построения алгоритма машинного обучения
- Определение цели. Все алгоритмы машинного обучения бесполезны без явно-определенной цели проведения эксперимента. В данной лабораторной работе цель – это предсказание цены автомобиля на основе набора характеристик, предоставленных конечным пользователем.
- Сбор данных.
Во время этого этапа формируется выборка данных, необходимая для дальнейшего обучения модели. В данном случае будут использоваться данные репозитария машинного обучения университета Калифорнии.
archive.ics.uci.edu/ml/datasets/Automobile - Подготовка данных. На этом этапе производится подготовка данных путем формирования характеристик, удаления выбросов и разделения выборки на обучающую и тестовую.
- Разработка модели. В процессе разработки модели производиться выбор одного или нескольких моделей данных и соответствующих алгоритмов обучения, которые по мнению разработчика должны будут дать требуемый результат. Часто этот процесс совмещен с параллельным исследованием эффективности нескольких моделей и визуальным анализом данных с целью отыскания каких-либо закономерностей.
- Обучение модели. Во время обучения алгоритм обучения производит поиск скрытых закономерностей в выборке данных с целью отыскания способа предсказания. Сам процесс поиска определяется выбранной моделью и алгоритмом обучения.
- Оценка модели. После того как модель обучена необходимо исследовать ее прогностические характеристики. Чаще всего для этого ее прогоняют на тестовой выборке и оценивают получившийся уровень ошибки. В зависимости от этого и требований к точности модель может быть как принята в качестве итоговой, так и произведено повторное обучение после добавления новых входных характеристик или даже изменения алгоритма обучения.
- Использование модели. В случае успешного тестирования обученной модели наступает стадия ее использования. И это тот случай, когда Azure ML становится незаменим, давая все необходимые инструменты для публикации, мониторинга и монетизации алгоритмов
Построение прогностической модели
На открывшейся странице нажмите Get Started now.
Для работы с Azure ML вам необходима активная подписка Microsoft Azure. Если она у вас уже есть, то просто войдите в Azure Management Portal, иначе – предварительно зарегистрируйте бесплатную пробную учетную запись, перейдя по ссылке .
В первую очередь необходимо загрузить обучающую выборку. Для этого перейдите по ссылке и загрузите на свой компьютер файл imports-85.data, содержащий выборку данных по автомобилям.
Для загрузки этого файла в Azure ML Studio нажмите на New в нижней части страницы и в открывшейся панели последовательно выберите Dataset и From Local File. В меню загрузки укажите путь к загруженному файлу, название и в качестве типа выберите Generic CSV File with no header (.hn.csv).
Создание нового эксперимента
Для того чтобы создать новый эксперимента выберите New -> Experiment -> Blank Experiment. В результате будет создана новая рабочая область эксперимента с панелью инструментов справа.
Определение выборки данных
Загруженные ранее данные должны быть отражены в разделе Saved Datasets слева. Выберите его и перетащите в любое место рабочего пространства, например, туда, куда указывает стрелка Drag Items Here.
Обратите внимание, что источник данных имеет точку соединения в форме кружка, которая используется для подключение его к другим компонентам.
Подготовка данных
При разработке моделей машинного обучения хорошей практикой является проверка предварительных результатов эксперимента после каждого изменения. Поэтому нажмите правой кнопкой на точку соединения и выберите Visualize. В результате появится окно, дающее общее представление о данных и их распределении.
Как можно заметить, в выборке имеется проблема – отсутствуют значения во втором столбце. Это может создать нежелательный эффект в процессе обучения и значительно ухудшить качество модели. Но, к счастью, эти значения характеризует страховые издержки и слабо связаны с ценой автомобиля, а потому их можно удалить. Помимо всего прочего у столбцов отсутствуют имена, что значительно усложняет работу с ними.
Для исправления проблемы с именами из группы Data Transformation/Manipulation перенесите на рабочую поверхность Metadata Editor.
Перетяните выход (снизу) выборки данных на вход (сверху) нового компонента, чтобы соединить их. Теперь кликните на него, чтобы открыть окно настроек справа. Metadata Editor позволяет изменить метаинформацию одного или нескольких столбцов, включая тип или название. Откройте мастер выбора столбцов нажатием на Launch column selector. Чтобы выбрать все столбцы, в поле Begin With выберите All columns, удалите строку уточнения выбора нажатием на знак “-“ справа и подтвердите нажатием на галочку.
В поле New column names панели настроек введите новые имена столбцов через запятую, которые можно найти в файле import-85.names по ранее приводившейся ссылке. Значение поля должно быть следующим:
symboling,normalized-losses,make,fuel-type,aspiration,num-of-doors,body-style,drive-wheels,engine-location,wheel-base,length,width,height,curb-weight,engine-type,num-of-cylinders,engine-size,fuel-system,bore,stroke,compression-ratio,horsepower,peak-rpm,city-mpg,highway-mpg,price
Для того, чтобы увидеть результат работы компонента, нажмите на Run снизу и визуализируйте выход Metadata Editor описанным ранее способом.
Теперь удалим normalized-losses. Для этого перетащите в рабочую область Project Columns из той же группы, соедините его с Metadata Editor и перейдите к его настройкам. Снова выберите мастер выбора строк и в этот раз выберите все строки за исключением normalized-losses, сделав настройки, аналогичные приведенным на рисунке ниже.
Запустите эксперимент и визуализируйте результат, чтобы убедиться, что второй столбец пропал из выборки.
К сожалению, есть еще столбцы, в которых отсутствуют значения. Но их не много, а потому можно ограничиться лишь отбрасыванием неполных строк. Для этого выберите Missing Value Scrubber и соедините его с Project Columns. В поле For missing values измените значение на Remove entire row. Запустите, визуализируйте и убедитесь, что строки с пустыми значениями пропали.
Остался последний вопрос, который необходимо ответить на этапе подготовки: все ли характеристики влияют на цену автомобиля? На данном этапе можно ограничиться следующим небольшим числом показателей, список которых приведен ниже. В дальнейшем вы всегда сможете добавить новые и проверить гипотезу об их достаточности, сравнив точность полученных моделей.
make,body-style,wheel-base,engine-size,horsepower,peak-rpm,highway-mpg,num-of-cylinders,price
Добавьте новый Project Columns и выберите приведенные выше столбцы.
В заключение убедитесь, что подготовка данных выполняется успешно, запустив эксперимент и визуализировав результат.
Разбивка выборки
Теперь данные готовы к использованию в процессе обучения. Но в машинном обучении возможен эффект, получивший название «переобучение», – заучивание моделью данных без обобщения. Такое поведение ведет к невозможности адекватного предсказания на сколько-нибудь отличающихся данных. Для обработки этой ситуации выборку принято разделить на обучающую и тестовую в отношении близком к 3:1. Последняя из них никак не участвует в процессе обучения и по окончании используется для оценки ошибки предсказания. Если эта ошибка значительно отличается в большую сторону от ошибки на обучающей выборке, значит, наблюдается описанный выше эффект.
Для создания тестовой выборки перенесите на рабочую область эксперимента и соедините с последним Project Columns компонент Split Data из группы Data Transformation/Sample and Split. Установите долю строк на первом выходе равной 0.75 и убедитесь, что установлен флаг Randomize Split.
Обучение модели линейной регрессии
Первым делом перенесите из панели инструментов компоненты Linear Regression, Train Model, Score Model и Evaluate Model. Train Model – универсальный компонент, позволяющий обучение любой модели на любой обучающей выборке. Для настройки нашего конкретного случая подсоедините первый (левый) выход Split Data и выход Linear Regression к соответствующим входам Train Model. В настройках Train Model в качестве целевого значения (outcome column) укажите price. Теперь модель готова к обучению.
Но, помимо самого обучения, важно узнать результат обучения. Компонент Score Model позволяет вычислить выход обученной модели на произвольной выборке и рассчитать результат предсказания. Соедините выход Train Model, содержащий обученную модель, с соответствующим входом Score Model, а в качестве выборки данных на другой вход подайте тестовую выборку со второго выхода Split Data. Выход Score Model соедините с любым из входов Evaluate Model для того, чтобы рассчитать численные характеристики качества обучения. В результате должна получиться процесс, аналогичный представленному на рисунке.
Запустите модель и визуализируйте результат выполнения Evaluate Model.
Коэффициент детерминации указывает, как хорошо линия регрессии описывает исходные данные. Принимаемые ей значения варьируются от 0 до 1, где единице соответствует абсолютная точность. В нашем случае коэффициент равен 82%. Хороший ли это результат или нет – напрямую зависит от постановки задачи и определенной толерантности к ошибке. Для случая предсказания цены автомобиля 82% - отличный результат. Если вы хотите его улучшить попробуйте добавить другие столбцы в Project Columns или попробовать принципиально другой алгоритм. Например, Poisson Regression. Последнее может быть достигнуто путем простой замены компонента линейной регрессии на пуасонову. Но более интересный подход – это собрать из элементов параллельное обучение и подключить результат ко второму выходу Evaluate Model, что позволит в удобной форме сравнить результаты обучения обоих моделей.
Выполните модель и визуализируйте результат. Как видно из результата, данные значительно лучше описываются моделью линейной регрессии, а потому есть все основания выбрать именно ее в качестве итоговой.
Кликните правой кнопкой по мыши по компоненту Train Model, отвечающему линейной регрессии и выберите Save as Trained Model. Это позволит использовать полученную модель в любых других экспериментах без необходимости повторного обучения.
Публикация веб-сервиса
Для публикации сервиса выберите компонент Train Model, отвечающий линейной регрессии и нажмите в Set Up Web Service. В открывшемся меню выберите Predictive Web Service и дождитесь пока Azure ML создаст новый эксперимент, оптимизированный для нужд сервиса. Удалите автоматически созданные компоненты Web Service Input и Web Service Output – мы создадим их позднее после небольшой подготовки.
На данный момент элемент Score Model повторяет на выходе все входящие столбцы, а предсказанному значению дает название Score Labels. Это необходимо исправить.
Для этого перенесите из панели инструментов на рабочую поверхность два уже знакомых компонента: Project Columns и Metadata Editor. И соедините их в последовательности изображенной на рисунке ниже. В настройках Project Columns выберите только один столбец Score Labels, и используя Metadata Editor переименуйте его в price.
В заключение необходимо добавить вход и выход создаваемого сервиса. Для этого добавьте в эксперимент Web Service Input и Web Service Output. Соедините первый со входом Score Model, а второй с выходом Metadata Editor. В настройках обоих элементов измените название на «input» и «prediction», соответственно.
Запустите модель еще раз, нажав на Run, и по окончании валидации опубликуйте сервис нажатием Deploy Web Service.
Тестирование сервиса
После нажатия на Deploy Web Service вы будете перенаправлены на страницу с информацией о только что созданном сервисе. Ссылки под API HELP PAGE содержат достаточно подробное описание с информацией о содержимом входящего и исходящего JSON пакетов, а также пример кода консольного приложения, дающего преставление о способе использования.
Для интерактивного исследования нажмите на Test и в открывшемся окне введите значения для каждого входного параметра. Например, те, что указаны ниже, и нажмите галочку, чтобы отправить тестовый запрос.
audi sedan 99.8 four 109 102 5500 30 13950
Разработка приложения
В заключение рассмотрим процесс разработки мобильного приложения, использующего Azure ML в роли back-end сервиса. Сначала создайте новый проект универсального приложения Windows. Для этого в открытом Visual Studio 2015 выберите File -> New -> Project… В открывшемся окне перейдите на вкладку Windows в меню слева и выберите Blank App (Universal Windows). В поле названия введите AzureMLDemo и нажмите OK. В случае необходимости готовый проект может быть найден на GitHub .
После некоторой подготовки Visual Studio откроет новый проект универсального приложения. Убедитесь, что в поле процессорной архитектуры справа от Debug указано x86, и правее выберите одну из мобильных виртуальных машин в качестве среды запуска. Например, Mobile Emulator 10.0.10240.0 720p 5 inch 1GB.
Теперь можно перейти к написанию самого приложения. В меню Solution Explorer двойным кликом откройте MainPage.xaml. Описание языка разметки XAML графического интерфейса выходит за границы этой работы, поэтому просто замените открывающийся и закрывающийся теги
Несмотря на всю кажущуюся сложность этот код создает достаточно простую разметку, необходимую для ввода пользовательских данных. Каждый элемент ввода одного из параметров модели имеет название вроде tbxMake, txbBodyStyle и т.п. Под ними находится кнопка Get Estimate, отвечающая за отправку сообщения к сервису Azure ML, а завершается все элементом tbResult, в который и будет помещаться результат вызова.
Запустите приложение нажатием на Debug -> Start Debugging, чтобы убедиться, что все было сделано правильно, проект компилируется и запускается. Проверьте, что изменение положения слайдеров приводит к соответствующему изменению численного значения справа от них.
Остановите сессию отладки нажатием на Debug -> Stop Debugging.
Определение программной логики
Теперь необходимо определить код обработки нажатия на кнопку Get Estimate. В Solution Explorer разверните MainPage.xaml и кликните дважды по MainPage.xaml.cs, чтобы открыть Code-behind файл этого графического интерфейса.
Первым делом следует подключить несколько требуемых библиотек. Для этого кликните правой кнопкой мыши по имени проекта и выберите Manage Nuget Packages… В открывшемся меню сделайте поиск по WebApi.Сlient и установите пакет с названием Microsoft.AspNet.WebApi.Client.
После этого добавьте в начало файла следующие дополнительные объявления using:
Using System.Net.Http;
using System.Net.Http.Headers;
using Newtonsoft.Json;
using System.Threading.Tasks;
public sealed partial class MainPage: Page
{
const string _apiKey = @"
Ключ доступа можно найти на Dashboard странице вашего сервиса, а адрес запроса на странице помощи REQUEST/RESPONSE, ссылка на которую приведена немного ниже.
Следующим шагом добавим вспомогательную функцию, которая будет осуществлять запрос к сервису Azure ML. В соответствии с документацией, приведенной на той же странице помощи REQUEST/RESPONSE для получения ответа мы должны выполнить следующую последовательность действий: сформировать запрос, отправить его в сторону сервиса POST-запросом протокола HTTP и обработать ответ.
Создайте функцию CallAzureML, принимающую на вход значения всех параметров модели и возвращающую значение типа float c оценкой цены. Async Task здесь отвечает реализации паттерна async/await, значительно упрощающего работу с асинхронными вызовами в приложении (дополнительная информация может быть найдена ).
Private async Task
Также для упрощения работы с JSON мы будем использовать библиотеку Newtonsoft.Json. Отличительной ее особенностью является то, что она позволяет взаимодействовать с JSON-объектами через удобную абстракцию в виде обычных объектов уровня.NET. Поместите в начало метода следующий код.
Var requestBody = new
{
Inputs = new Dictionary
Здесь структура JSON-объекта запроса воссоздается с помощью анонимного класса и полностью (с учетом регистра) повторяет структуру ожидаемого запроса. Для сравнения пример такого запроса со страницы REQUEST/RESPONSE представлен ниже.
{
"Inputs": {
"input": {
"ColumnNames": [ "make", "body-style", “wheel-base", "num-of-cylinders",
"engine-size", "horsepower", "peak-rpm", "highway-mpg",
"price" ],
"Values": [
[ "value", "value", "0", "value", "0", "0", "0", "0", "0" ],
[ "value", "value", "0", "value", "0", "0", "0", "0", "0" ]
]
}
},
"GlobalParameters": {}
}
Следующим шагом является выполнение запроса к самому сервису. Для этого добавьте следующий код в разрабатываемый метод.
Try
{
using (var client = new HttpClient())
{
client.DefaultRequestHeaders.Authorization =
new AuthenticationHeaderValue("bearer", _apiKey);
client.BaseAddress = new Uri(_requestUri);
var response = await client.PostAsJsonAsync("", requestBody);
if (response.IsSuccessStatusCode)
{
// succeeded
throw new NotImplementedException();
}
else
{
// failed
throw new NotImplementedException();
}
}
}
catch (Exception e)
{
throw;
}
Первым делам создается HTTP-клиент и устанавливается вся информация необходимая для успешного подключения к сервису в Azure ML: адрес и ключ доступа. Далее осуществляется POST-запрос в сторону сервиса с JSON-объектом, созданным ранее. Успешность вызова проверяется по коду состояния HTTP.
Замените код в области отмеченной комментарием succeeded на представленный ниже. В нем последовательно происходит получение ответа сервера в виде строки, ее разбор в динамический объект с помощью конвертера Newtonsoft.Json с последующим извлечением информации о цене. Пример ответа сервера для сравнения может быть найден в разделе «Тестирование сервиса».
Var responseContent = await response.Content.ReadAsStringAsync();
var val = JsonConvert.DeserializeObject
В случае ошибочного состояния метод должен вернуть максимум информации. Поэтому как и в прошлом случае в виде строки извлекается содержимое запроса, но в этот раз оно последовательно преобразуется в объект и обратно в строку. Это необходимо для того, чтобы добавить отступы, позволяющее более удобное чтения его содержимого. Замените код в области, отмеченной комментарием failed на приведенный ниже.
Var responseContent = await response.Content.ReadAsStringAsync();
var responseObject = JsonConvert.DeserializeObject(responseContent);
var formattedResponseContent =
JsonConvert.SerializeObject(responseObject, Formatting.Indented);
var message = String.Format("Server returned status code {0} with message {1}",
response.StatusCode, formattedResponseContent);
throw new InvalidDataException(message);
Метод вызова к Azure ML можно считать завершенным. Как можно заметить его реализация достаточно проста, хотя за ней и строит целый процесс по реализации статистической модели данных, алгоритма обучения и способа оценки произвольного оценки входного вектора. Достаточно сложные математические теории умещаются в пару строк программного кода.
В заключение необходимо реализовать обработчик события нажатия кнопки Get estimate. Первым делом перейдите в MainPage.xaml и добавьте в XML-тег кнопки GetEstimate информацию об обработчике событий.
Вернитесь в MainPage.xaml.cs и создайте соответствующий метод. Он вызывает созданный ранее метод для обращения к сервису Azure ML и устанавливает результат в tbResult.
Private async void GetEstimate_Click(object sender, RoutedEventArgs e)
{
try
{
var price = await CallAzureML(tbxMake.Text, tbxBodyStyle.Text,
slWheelBase.Value, tbxNumberOfCylinders.Text,
(int)slEngineSize.Value, (int)slHorsepowers.Value,
(int)slPeakRPM.Value, (int)slHighwayMPG.Value);
tbResult.Text = String.Format("You are lucky!\n" +
"Today it is as cheap as {0:c}. Don"t miss your chance!", price);
}
catch (Exception ex)
{
// Shows error in result TextBlock
tbResult.Text = String.Format("Oops! Something went wrong.\n" +
"This can be helpful:\n{0}", ex.ToString());
}
}
Все, приложение готово. Запустите его и поэкспериментируйте с оценкой стоимости автомобиля при различных наборах характеристик.
Заключение
Azure Machine Learning – это новый высокопродуктивный инструмент для работы с алгоритмами машинного обучения. Возможно, это даже единственная среда, которая позволяет так легко опубликовать свои алгоритмы в виде отдельного сервиса и в последствии использовать их в своих приложениях. В этой работе использовался один из простейших алгоритмов обучения – алгоритм линейной регрессии. В Azure ML доступны еще десятки других, созданных учеными для самых разных целей. И самое важное, что для их использования совсем нет необходимости быть математиком. Достаточно с помощью компонентов собрать необходимый процесс обработки данных, провести несколько экспериментов и в случае успеха опубликовать все в виде сервиса.
Вот еще несколько выборок данных, на которых можно поэкспериментировать:
Добавить метки
Михаил Ежов — сооснователь блокчейн-сервиса по распознаванию и анализу речи Anryze
«Мы посчитали, если сравнить банк сегодня и Сбербанк пять лет назад, то примерно 50% тех решений, которые принимались людьми, сегодня принимаются машинами. И через пять лет, мы считаем, мы сможем принимать примерно 80% всех решений автоматически с помощью искусственного интеллекта».
Сегодня нейросети позволяют анализировать финансовые транзакции, собирать и использовать информацию о клиентах, формировать уникальные пакеты предложений и услуг для конкретного пользователя, принимать осознанные решения о выдаче кредитов и даже бороться с мошенничеством.
Основные понятия
Термин «машинное обучение» включает в себя любые попытки научить машину улучшаться самостоятельно — например, обучение на примерах или обучение с подкреплением. Машинное обучение — процесс, связанный с вводом и выводом данных, предполагающий использование некой математической модели — алгоритма.
Искусственная нейронная сеть , или «нейросеть», — частный случай машинного обучения, компьютерная программа, работающая по принципу человеческого мозга: она проводит входящие данные через систему «нейронов», более простых программ, взаимодействующих между собой, после чего выдает результат вычислений на основе этого взаимодействия. Любая нейросеть самообучаема и может использовать накопленный в ходе работы опыт.
Нейросети и алгоритмы машинного обучения позволяют повысить ценность данных: искусственный интеллект может их не только сохранять, но анализировать и систематизировать, выявлять закономерности, недоступные при самостоятельном анализе большого массива информации. Благодаря последней особенности нейросети умеют моделировать и предсказывать события, основываясь на предыдущем опыте.
Смена парадигмы предоставления банковских услуг в России и в мире
Стремясь выделиться среди конкурентов и завоевать внимание целевой аудитории, банковские компании переходят от пассивного взаимодействия с клиентом к проактивному. Банки создают новые сервисы, продвигают новые услуги и пакеты услуг, опираются на принцип клиентоориентированности — предлагают каждому именно то, в чем он заинтересован, подбирают индивидуальные предложения по кредитам. Развитие решений, основанных на использовании нейросетей, идет в нескольких направлениях. Появляются умные помощники, которые позволяют быстро получить нужную информацию или принять решение, — например, Telegram-бот банка «Райффайзен» поможет найти ближайшее отделение и узнать, работает ли оно по субботам. Совершенствуются решения, связанные со скорингом, — интеллектуальной оценкой кредитной истории клиента. Онлайн-сервис Scorista оценивает благонадежность заемщиков МФО. Инструмент для автоматизации деятельности МФО Credit Sputnik включает в себя интеграцию с продуктами поставщиков кредитных историй ОКБ, Equifax, «Русский Стандарт», сервисом ФССП.
Стартапы разрабатывают системы смарт-контрактов — построенные на технологии блокчейна агенты, поведение которых автоматизировано и определено математической моделью. Смарт-контракты, описывая договор любой сложности, автоматически исполняются на каждом этапе, выполняя определенный набор условий. При этом изменить или стереть историю сделки невозможно. Британский банк Barclays внедряет такую технологию, чтобы регистрировать переход права собственности и автоматически перечислять платежи в другие кредитно-финансовые учреждения.
Нейросети позволяют эффективно обрабатывать данные о клиентах и пользователях услуг. Многие современные стартапы — американская система Brighterion, системы iPrevent и iComply — основаны на применении подхода Know Your Customer (KYC). Суть подхода — в подробном анализе поведения клиента. Сбор данных о поведении помогает составить полное представление о клиенте и обеспечить более персонализированный сервис. А еще подобное позволяет выявлять отклонения от стандартного паттерна и распознавать несанкционированные действия с аккаунтом.
Именно эту идею взяли за основу разработчики приложения Sense от «Альфа-Банка». Сервис — финансовый помощник, который напомнит о платежах по кредиту или за коммунальные услуги, подскажет, как сократить расходы, и даст совет — например, какое такси лучше заказать или где купить цветы.
Искусственный интеллект для повышения индекса лояльности клиентов
Оценивать можно не только клиентов, но и самих сотрудников банка — чтобы иметь возможность постоянно совершенствовать качество предоставляемых услуг. И тут на помощь снова приходят нейросети: централизованные сервисы Amazon Connect, Google Cloud Speech API или платформа Anryze, использующая распределенные вычисления на базе блокчейна, позволяют расшифровывать телефонные переговоры в текст и обрабатывать полученную информацию. Записи телефонных разговоров позволяют контролировать деятельность сотрудников, дорабатывать скрипты продаж, выявлять ошибки и повышать лояльность клиентов за счет определения и решения основных проблем коммуникации. Текстовый формат обеспечивает больше возможностей для анализа информации: например, поиск по ключевым словам.
Скоринг: нейросети для оценки рисков в кредитовании
Скоринг (англ. score — «счет») — это система и метод оценки рисков по кредитам, а также управление рисками на основе прогноза вероятности просрочки конкретным заемщиком платежа по кредиту. Использование систем скоринга на базе технологий машинного обучения позволяет автоматизировать процесс выдачи кредитов. На сегодняшний день скоринговые решения используют «Банк Москвы», «Юниаструм Банк», банк МДМ, «Росгосстрах» и «Хоум Кредит». «Бинбанк» ведет проекты по включению в анализ данных телекоммуникационных компаний и информации из социальных сетей, чтобы принимать решения по кредиту на основании максимального количества информации о каждом клиенте.
Нейросети для автоматизации рутинных процессов и оптимизации сложных задач
Современные алгоритмы машинного обучения способны автоматизировать некоторые рутинные этапы процесса AML (Anti Money Laundering): создание и подготовку отчетов, рассылку уведомлений, отбор счетов и транзакций по определенным вызывающим подозрение параметрам. Подобную систему — SAS AML — в прошлом году внедрил «Тинькофф-банк» : за счет автоматизации удалось перераспределить человеческие ресурсы с необходимого контроля на непосредственное расследование криминальных схем и повысить индекс выявления подозрительных операций на 95%.
Глубокое обучение: противодействие мошенничеству на базе нейросетей
Ежегодно в мире отмывают от 800 млрд до 2 трлн долларов . Только в США на борьбу с отмыванием денег тратится около 7 млрд долларов в год. С отмыванием боролись вручную, проверяя каждую транзакцию, однако с появлением технологий машинного обучения ситуация изменилась: теперь решить проблему можно с помощью нейросетей.
Нейросети позволяют собирать и анализировать огромные массивы данных — даты и точное время проведения транзакций, географическое положение, информацию о клиенте и поведении клиента. Технологии глубокого обучения используются в системе онлайн-платежей PayPal: чтобы обезопасить клиентов, компания разработала масштабную систему сбора и анализа поведенческих паттернов.
Индийский банк HDFC с помощью SAS Institute внедрил систему, выявляющую мошеннические операции. Американский стартап Merlon Intelligence разработал платформу для выявления подозрительных транзакций с использованием алгоритмов NLP (Natural Language Processing) и в итоге получил финансирование на сумму более 7 млн долларов от венчурного фонда Data Collective.
Что дальше?
Симбиоз «больших данных» и машинного обучения предлагает принципиально новый подход к проблемам сегментации клиентов, выдачи кредитов и составления прогнозов, а также решение широкого спектра аналитических задач. Глубокая интеграция финансовых технологий и искусственного интеллекта в перспективе позволит создать так называемый «умный рынок»: оптимизировать процессы предоставления услуг, сократить издержки на ведение бизнеса, упростить взаимодействие за счет использования смарт-контрактов.
Используя возможности обучаемых нейросетей, общество перейдет к более простой и прозрачной экономике, сможет повысить уровень безопасности и доверия между всеми ее участниками. Если банки хотят сохраниться как институт, им важно воспользоваться всеми преимуществами новых технологий и остаться полезными для клиентов.
Термин «машинное обучение», скорее всего, встречался вам не раз. Хотя его нередко используют как синоним искусственного интеллекта, на самом деле машинное обучение – это один из его элементов. При этом оба понятия родились в Массачусетском технологическом институте в конце 1950-х годов.
Сегодня вы сталкиваетесь с машинным обучением каждый день, хотя, возможно, и не знаете этого. Голосовые помощники Siri и Google, распознавание лиц в Facebook и Windows 10, рекомендации в Amazon, технологии, не позволяющие автомобилям-роботам натыкаться на препятствия, созданы благодаря прогрессу машинного обучения.
До человеческого мозга системам машинного обучения еще очень далеко, но они уже имеют в активе впечатляющие достижения – например, победу над людьми в шахматах, настольной игре го и покере.
В последние несколько лет развитие машинного обучения получило резкий толчок благодаря ряду технологических прорывов, росту доступной вычислительной мощности и изобилию учебных данных.
Самообучающееся программное обеспечение
Так что же такое машинное обучение? Начнем с того, чем оно не является. Это не обычные компьютерные программы, написанные вручную.
В отличие от традиционного ПО, которое прекрасно справляется с выполнением инструкций, но не способно к импровизации, системы машинного обучения по сути программируют сами себя, самостоятельно разрабатывая инструкции путем обобщения известных сведений.
Классический пример – распознавание образов. Покажите системе машинного обучения достаточное количество снимков собак с пометкой «собака», а также кошек, деревьев и других объектов, помеченных «не собака», и она со временем начнет хорошо отличать собак. И для этого ей не нужно будет объяснять, как именно те выглядят.
Спам-фильтр в вашей почтовой программе – хороший пример машинного обучения в действии. После обработки сотен миллионов образцов нежелательных и нужных сообщений система обучается выделять типичные признаки спамерских писем. Она справляется с этим не идеально, но довольно эффективно.
Обучение с учителем и без
Упомянутый вид машинного обучения называется обучением с учителем. Это значит, что кто-то познакомил алгоритм с огромным объемом учебных данных, просматривая результаты и корректируя настройки до тех пор, пока не была достигнута нужная точность классификации данных, которые система еще не «видела». Это то же самое, что нажимать кнопку «не спам» в почтовой программе, когда фильтр случайно перехватывает нужное вам сообщение. Чем чаще вы это делаете, тем точнее становится фильтр.
Типичные задачи обучения с учителем – классификация и прогнозирование (или регрессионный анализ). Распознавание спама и образов – задачи классификации, а прогнозирование котировок акций – классический пример регрессии.
При обучении без учителя система просматривает гигантские объемы данных, запоминая, как выглядят «нормальные» данные, чтобы получить возможность распознавать аномалии и скрытые закономерности. Обучение без учителя полезно, когда вы точно не знаете, что именно ищете, – в этом случае систему можно заставить вам помочь.
Системы обучения без учителя могут обнаруживать закономерности в огромных объемах данных гораздо быстрее, чем люди. Именно поэтому банки используют их для выявления мошеннических операций, маркетологи – для идентификации клиентов со схожими атрибутами, а ПО безопасности – для распознавания вредоносной активности в сети.
Примеры задач обучения без учителя – кластеризация и поиск правил ассоциации. Первая применяется, в частности, для сегментации клиентов, а на поиске правил ассоциации основаны механизмы выдачи рекомендаций.
Словарь терминов
Машинное обучение – лишь верхушка айсберга искусственного интеллекта. Среди других терминов, тесно связанных с ним, – нейронные сети, глубинное обучение и когнитивные вычисления.
Нейронная сеть. Это компьютерная архитектура, имитирующая структуру нейронов головного мозга; каждый искусственный нейрон соединяется с другими. Нейронные сети выстроены слоями; нейроны на одном слое передают данные множеству нейронов на следующем и т. д., пока не будет достигнут выходной слой. Именно на последнем слое сеть выдает свои догадки – скажем, на что похож тот объект в форме собаки, – сопровождая ответ рейтингом уверенности.
Существуют разные типы нейронных сетей для решения разных видов задач. Сети с большим числом слоев называются глубинными. Нейросети – один из самых важных инструментов машинного обучения, но не единственный.
Глубинное обучение. Это, по сути, машинное обучение «на стероидах» – использование многослойных (глубинных или глубоких) сетей для принятия решений на основе неточной или неполной информации. Система глубокого обучения DeepStack в декабре прошлого года обыграла 11 профессиональных игроков в покер путем перерасчета стратегии после каждого раунда ставок.
Когнитивные вычисления. Это термин, придуманный в IBM создателями суперкомпьютера Watson. Разницу между когнитивными вычислениями и искусственным интеллектом в IBM видят в том, что первые не заменяют человеческий разум, а дополняют его: например, помогают врачам ставить более точные диагнозы, финансовым консультантам – выдавать более обоснованные рекомендации, юристам – быстрее находить подходящие прецеденты и т. п.
Ограничения машинного обучения
Каждая система машинного обучения создает собственную схему связей, представляя собой нечто вроде черного ящика. Вы не сможете путем инженерного анализа выяснить, как именно выполняется классификация, но это и не имеет значения, главное, чтобы работало.
Однако система машинного обучения хороша лишь настолько, насколько точны учебные данные: если подать ей на вход «мусор», то и результат будет соответствующим. При неправильном обучении или слишком малом размере обучающей выборки алгоритм может выдавать неверные результаты.
HP попала в неприятную ситуацию в 2009 году, когда система идентификации лиц для веб-камеры на ноутбуке HP MediaSmart оказалась неспособной распознавать лица афроамериканцев. А в июне 2015 года некачественный алгоритм сервиса Google Photos назвал двух черных американцев «гориллами».
Еще один пример – печально знаменитый Twitter-бот Microsoft Tay, с которым в 2016 году поставили эксперимент: тогда попытались выяснить, сможет ли искусственный интеллект «притвориться» человеком, обучившись на реальных сообщениях от людей. Меньше чем за день тролли в Twitter превратили Tay в отъявленного ксенофоба – вот вам типичный пример испорченных учебных данных.
***
Итак, несмотря на весь шум вокруг искусственного интеллекта, не будет преувеличением сказать, что машинное обучение и связанные технологии действительно меняют мир вокруг нас, причем настолько быстро, что, того и гляди, машины обретут полное самосознание.
− Dan Tynan. What is machine learning? Software derived from data. InfoWorld. August 9, 2017
«Газпром нефть» будет пользоваться искусственным интеллектом «Яндекса»
Используя технологии Больших Данных, машинного обучения и искусственного интеллекта, «Газпром нефть» и «Яндекс» планируют вести бурение скважин, осуществлять моделирование технологических процессов нефтепереработки, оптимизировать другие производственные процессы.
Заключенное компаниями соглашение предполагает проведение специалистами Yandex Data Factory независимой экспертизы существующих технологических решений, совместную разработку и реализацию научно-исследовательских и технологических проектов, обмен научно-технической информацией, знаниями и обучение сотрудников.
Нефтегазовая отрасль – одна из наиболее перспективных с точки зрения использования новых технологий, поскольку в ней накоплены большие объемы данных, а простые решения по оптимизации производства и бизнеса давно применены. Тем самым созданы хорошие возможности для получения ощутимого эффекта от внедрения решений на основе машинного обучения и искусственного интеллекта.
Хоккейная аналитика в Azure
Российская компания Iceberg Sports Analytics представила решение iceberg.hockey, реализованное на платформе Microsoft Azure. Оно позволяет сделать управление хоккейными клубами более эффективным, повысить шансы на победу и оптимизировать использование бюджета команды.
В iceberg.hockey используются собственные алгоритмы, созданные специально для хоккея на основе технологий продвинутой аналитики, машинного обучения и компьютерного зрения. Система предназначена для менеджеров и тренеров хоккейных клубов. По каждой игре решение создает порядка миллиона строк данных, с помощью трех видеокамер фиксируя все, что происходит на поле каждую десятую долю секунды: это порядка 500 параметров по каждому игроку. Разработчикам удалось добиться высокой точности анализа данных: погрешность составляет не более 4%. Анализ помогает получать информацию об оптимальном сочетании игроков, технике игры конкретных спортсменов, звеньев и команды в целом.
Среди клиентов компании уже есть New York Islanders и ХК «Сочи», а также австрийская хоккейная академия RedBull.
«Хлынов» оптимизировал обслуживание банкоматов
Банк «Хлынов» изменил обслуживание банкоматов, задействуя сервисы машинного обучения из облака Microsoft Azure. В результате банк получил возможность использовать ранее «замороженные» 250 млн руб.
Поскольку клиентская сеть банка постоянно развивается, требуются новые подходы к хранению денежных средств клиентов и работе с ними. На старте проекта среднемесячный остаток на картах «Хлынов» составлял порядка 800 млн руб. Треть этих денег резервировалась в банкоматах для снятия держателями карт.
Применение сервисов машинного обучения из облака Microsoft Azure позволило банку снизить объем резервируемых денежных средств в банкоматах до 16-20% от среднемесячного остатка на картах: он возрос до 1,2 млрд руб., а резервируемая сумма составила 200-230 млн руб. Освободившиеся средства банк смог направить на другие операционные задачи, в частности на кредитование своих клиентов.
Созданный совместно с интегратором «Рубикон» алгоритм, задействующий методы машинного обучения, позволил банку сократить число ежемесячных инкассаторских выездов более чем в 1,5 раза. Каждый из таких выездов обходится в 3 тыс. руб., а каждая перевозимая тысяча рублей облагается комиссией 0,026%.
В ближайшем будущем банк «Хлынов» планирует внедрить дополнительные инструменты прогнозной аналитики из облака Microsoft Azure для продуктивного использования информации, накопленной за более чем 25 лет работы с клиентами.
MoneyСare использует машинное обучение для прогнозирования одобрения кредитов
Независимый кредитный брокер MoneyCare создал модель прогнозирования на основе облачного сервиса Microsoft Azure Machine Learning. Решение позволяет оценить вероятность положительного ответа банка на запрос кредита.
Для лучшей конверсии кредитных заявок компания решила сократить количество анкетных данных до минимально необходимых, а также создать модель, прогнозирующую вероятность положительного ответа банка. Определение минимального набора данных и построение прототипа компания MoneyCare доверила экспертам Columbus.
Выбирая платформу машинного обучения, специалисты MoneyCare остановились на облачном сервисе Azure Machine Learning, который позволяет оперативно создавать и развертывать полнофункциональные прогнозные модели в качестве решений аналитики.
На первом этапе проекта был создан прототип классификатора в Azure Machine Learning, задача которого – отбор более 60% заявок на кредит с вероятностью одобрения свыше 80%. При этом были использованы такие методы, как дискриминантный анализ, регрессионный анализ, кластеризация, классификация на основе разделимости, а также алгоритмы сокращения размерности.
Вторым этапом проекта стали обучение сотрудников MoneyCare принципам работы и совместный воркшоп по совершенствованию прототипа. Проводилось консультирование по настройке моделей, типовым задачам машинного обучения, а также определялись следующие шаги по улучшению прототипа.
.jpg)
Правительство Мурманской области применит машинное обучение в документообороте
Кафедра технологии программирования СПбГУ совместно с компанией «Диджитал Дизайн» исследовала возможность применения в системах электронного документооборота алгоритмов машинного обучения. Объектом исследования стала СЭД Правительства Мурманской области. В качестве базы данных были использованы более 250 тыс. обезличенных документов служебной переписки.
Проверялась возможность использования в СЭД интеллектуальных алгоритмов, повторяющих принципы нейронной сети. Основные задачи такой сети – определение категории документа, автоматическое заполнение его основных атрибутов, определение на основании анализа текста прикрепленного файла наиболее вероятных исполнителей и создание для них проектов текстов поручений.
Было определено, что, используя интеллектуальные алгоритмы, можно автоматизировать сортировку документов по содержимому прикрепленных файлов и составить семантическое ядро для каждой категории, искать схожие или идентичные документы, определять зависимости одних атрибутов документа от других и даже автоматизировать построение вероятностной модели предсказания значений атрибутов. В ходе исследования удалось достигнуть 95-процентной точности при определении категории документа по содержанию текста. На следующем этапе будет проведено тестирование на узкой группе ключевых пользователей СЭД Правительства Мурманской области, обрабатывающих большие объемы документов.
Сегодня интерес к специалистам по анализу данных достиг того, что только самый скромный человек не назовет себя Data Scientist, если хотя бы пару раз занимался обучением логистической регрессии или ансамблей деревьев. Анализ данных и машинное обучение в частности – это не просто красивые слова. Это настоящая магия, которая может преображать окружающий мир, и в Яндексе действительно можно проникнуться ей, познакомиться с людьми, которые в этом сильны, узнать и научиться делать много нового.
Если вы уже понимаете, что за обучением моделей классификации, регрессии, кластеризации, ранжирования стоит измеримая польза для применяющих эти модели сервисов и их конечных пользователей, что модель не просто «предсказывает таргет», а оптимизирует какую-то метрику, которую важно согласовать с целями бизнеса, то вам наверняка будет интересно у нас. Если вам еще не приходилось участвовать в выстраивании связи машинного обучения и потребностей бизнеса, но очень хотелось бы - эта вакансия также стоит вашего внимания.
В Яндекс.Такси создается группа, которой предстоит внедрять методы машинного обучения в самый крупный сервис такси в России. Нам нужны аналитики, которые:
- влюблены в анализ данных и знают основные принципы и методы машинного обучения (могут отличить переобучение от недообучения, логрегрессию от SVM, бустинг от бэггинга, precision от accuracy);
- понимают, зачем нужна аналитику математическая статистика;
- хотят, чтобы их работа влияла на миллионы поездок, совершаемых еженедельно нашими пользователями.
Обязательные требования:
- знание математической статистики и теории вероятностей;
- знание наиболее популярных методов supervised learning (линейные модели, ансамбли деревьев, kNN, наивный байесовский классификатор) и понимание, в каких случаях уместно их применять и как диагностировать их работу;
- знание часто используемых в машинном обучении метрик качества, понимание различий между ними, способность интерпретировать различные значения метрик;
- хорошая техническая подготовка: уверенное использование Python и знакомство с библиотеками для работы с данными – numpy, scipy, matplotlib, pandas, sklearn, опыт использования xgboost и vowpal wabbit;
- знание английского языка на уровне чтения технической литературы.
Приветствуются:
- высшее математическое или техническое образование;
- опыт решения задач в области анализа данных и машинного обучения;
- опыт применения прикладной математической статистики, например, оценки доверительных интервалов целевых показателей, статистической значимости результатов А/В-тестирования;
- понимание, как можно оценить потенциальный экономический эффект от внедрения модели на основе машинного обучения и как связать с этим эффектом метрики качества;
- понимание, как оценивать качество моделей в офлайне (на исторических данных) и в онлайне (в продакшене);
- знакомство с Linux;
- знакомство с Map Reduce;
- знание классических алгоритмов и структур данных;
- знание SQL;
- способность читать код на C++;
- опыт работы в аналогичной должности.
Термин «машинное обучение», скорее всего, встречался вам не раз. Хотя его нередко используют как синоним искусственного интеллекта, на самом деле машинное обучение - это один из его элементов. При этом оба понятия родились в Массачусетском технологическом институте в конце 1950-х годов.
Сегодня вы сталкиваетесь с машинным обучением каждый день, хотя, возможно, и не знаете этого. Голосовые помощники Siri и Google, распознавание лиц в Facebook и Windows 10, рекомендации в Amazon, технологии, не позволяющие автомобилям-роботам натыкаться на препятствия, созданы благодаря прогрессу машинного обучения.
До человеческого мозга системам машинного обучения еще очень далеко, но они уже имеют в активе впечатляющие достижения - например, победу над людьми в шахматах, настольной игре го и покере.
В последние несколько лет развитие машинного обучения получило резкий толчок благодаря ряду технологических прорывов, росту доступной вычислительной мощности и изобилию учебных данных.
Самообучающееся программное обеспечение
Так что же такое машинное обучение? Начнем с того, чем оно не является. Это не обычные компьютерные программы, написанные вручную.
В отличие от традиционного ПО, которое прекрасно справляется с выполнением инструкций, но не способно к импровизации, системы машинного обучения по сути программируют сами себя, самостоятельно разрабатывая инструкции путем обобщения известных сведений.
Классический пример - распознавание образов. Покажите системе машинного обучения достаточное количество снимков собак с пометкой «собака», а также кошек, деревьев и других объектов, помеченных «не собака», и она со временем начнет хорошо отличать собак. И для этого ей не нужно будет объяснять, как именно те выглядят.
Спам-фильтр в вашей почтовой программе - хороший пример машинного обучения в действии. После обработки сотен миллионов образцов нежелательных и нужных сообщений система обучается выделять типичные признаки спамерских писем. Она справляется с этим не идеально, но довольно эффективно.
Обучение с учителем и без
Упомянутый вид машинного обучения называется обучением с учителем. Это значит, что кто-то познакомил алгоритм с огромным объемом учебных данных, просматривая результаты и корректируя настройки до тех пор, пока не была достигнута нужная точность классификации данных, которые система еще не «видела». Это то же самое, что нажимать кнопку «не спам» в почтовой программе, когда фильтр случайно перехватывает нужное вам сообщение. Чем чаще вы это делаете, тем точнее становится фильтр.
Типичные задачи обучения с учителем - классификация и прогнозирование (или регрессионный анализ). Распознавание спама и образов - задачи классификации, а прогнозирование котировок акций - классический пример регрессии.
При обучении без учителя система просматривает гигантские объемы данных, запоминая, как выглядят «нормальные» данные, чтобы получить возможность распознавать аномалии и скрытые закономерности. Обучение без учителя полезно, когда вы точно не знаете, что именно ищете, - в этом случае систему можно заставить вам помочь.
Системы обучения без учителя могут обнаруживать закономерности в огромных объемах данных гораздо быстрее, чем люди. Именно поэтому банки используют их для выявления мошеннических операций, маркетологи - для идентификации клиентов со схожими атрибутами, а ПО безопасности - для распознавания вредоносной активности в сети.
Примеры задач обучения без учителя - кластеризация и поиск правил ассоциации. Первая применяется, в частности, для сегментации клиентов, а на поиске правил ассоциации основаны механизмы выдачи рекомендаций.
Ограничения машинного обучения
Каждая система машинного обучения создает собственную схему связей, представляя собой нечто вроде «черного ящика». Вы не сможете путем инженерного анализа выяснить, как именно выполняется классификация, но это и не имеет значения, главное, чтобы работало.
Однако система машинного обучения хороша лишь настолько, насколько точны учебные данные: если подать ей на вход «мусор», то и результат будет соответствующим. При неправильном обучении или слишком малом размере обучающей выборки алгоритм может выдавать неверные результаты.
HP попала в неприятную ситуацию в 2009 году, когда система идентификации лиц для веб-камеры на ноутбуке HP MediaSmart оказалась неспособной распознавать лица афроамериканцев. А в июне 2015 года некачественный алгоритм сервиса Google Photos назвал двух черных американцев «гориллами».
Еще один пример - печально знаменитый Twitter-бот Microsoft Tay, с которым в 2016 году поставили эксперимент: тогда попытались выяснить, сможет ли искусственный интеллект «притвориться» человеком, обучившись на реальных сообщениях от людей. Меньше чем за день тролли в Twitter превратили Tay в отъявленного ксенофоба - вот вам типичный пример испорченных учебных данных.
Словарь терминов
Машинное обучение - лишь верхушка айсберга искусственного интеллекта. Среди других терминов, тесно связанных с ним, - нейронные сети, глубокое обучение и когнитивные вычисления.
Нейронная сеть. Это компьютерная архитектура, имитирующая структуру нейронов головного мозга; каждый искусственный нейрон соединяется с другими. Нейронные сети выстроены слоями; нейроны на одном слое передают данные множеству нейронов на следующем и т. д., пока не будет достигнут выходной слой. Именно на последнем слое сеть выдает свои догадки - скажем, на что похож тот объект в форме собаки, - сопровождая ответ рейтингом уверенности.
Существуют разные типы нейронных сетей для решения разных видов задач. Сети с большим числом слоев называются глубокими. Нейросети - один из самых важных инструментов машинного обучения, но не единственный.
Глубокое обучение. Это, по сути, машинное обучение «на стероидах» - использование многослойных (глубоких) сетей для принятия решений на основе неточной или неполной информации. Система глубокого обучения DeepStack в декабре прошлого года обыграла 11 профессиональных игроков в покер путем перерасчета стратегии после каждого раунда ставок.
Когнитивные вычисления. Это термин, придуманный в IBM создателями суперкомпьютера Watson. Разницу между когнитивными вычислениями и искусственным интеллектом в IBM видят в том, что первые не заменяют человеческий разум, а дополняют его, например, помогают врачам ставить более точные диагнозы, финансовым консультантам - выдавать более обоснованные рекомендации, юристам - быстрее находить подходящие прецеденты и т. п.
Итак, несмотря на весь шум вокруг искусственного интеллекта, не будет преувеличением сказать, что машинное обучение и связанные технологии действительно меняют мир вокруг нас, причем настолько быстро, что, того и гляди, машины обретут полное самосознание.
- Dan Tynan. What is machine learning? Software derived from data. InfoWorld. August 9, 2017
В Москве создают нейросеть, распознающую показания счетчиков на воду по фотографиям
В Москве проходит эксперимент по созданию электронного сервиса на основе нейронных сетей. Департамент информационных технологий столицы работает над алгоритмом, который упростит передачу показаний приборов учета воды. Разработчики намерены научить сервис автоматически определять по фотографии, что показывает счетчик.
Обучить быстрому и точному распознаванию показаний нейросеть планируют до конца текущего года. Для этого она должна обработать несколько тысяч фотографий счетчиков горячей и холодной воды, которые пришлют сами горожане, согласившиеся принять участие в эксперименте.
После завершения обучения нейросеть будет уметь распознавать цифры на любых снимках, которые способен различить человеческий глаз. Если процент ошибок останется высоким, системе покажут дополнительные фотографии.
На базе этой нейросети может появиться сервис, который позволит не вводить данные счетчиков вручную. Система будет автоматически распознавать показания и передавать их в Единый информационно-расчетный центр для формирования платежных документов.
MoneyСare использует машинное обучение для прогнозирования одобрения кредитов
Независимый кредитный брокер MoneyCare создал модель прогнозирования на основе облачного сервиса Microsoft Azure Machine Learning. Решение позволяет оценить вероятность положительного ответа банка на запрос кредита.
.jpg)
Для лучшей конверсии кредитных заявок компания решила сократить количество анкетных данных до минимально необходимых, а также создать модель, прогнозирующую вероятность положительного ответа банка. Определение минимального набора данных и построение прототипа компания MoneyCare доверила экспертам Columbus.
Выбирая платформу машинного обучения, специалисты MoneyCare остановились на облачном сервисе Azure Machine Learning, который позволяет оперативно создавать и развертывать полнофункциональные прогнозные модели в качестве решений аналитики.
На первом этапе проекта был создан прототип классификатора в Azure Machine Learning, задача которого - отбор более 60% заявок на кредит с вероятностью одобрения свыше 80%. При этом были использованы такие методы, как дискриминантный анализ, регрессионный анализ, кластеризация, классификация на основе разделимости, а также алгоритмы сокращения размерности.
Вторым этапом проекта стали обучение сотрудников MoneyCare принципам работы и совместный воркшоп по совершенствованию прототипа. Проводилось консультирование по настройке моделей, типовым задачам машинного обучения, а также определялись следующие шаги по улучшению прототипа.
Правительство Мурманской области применит машинное обучение в документообороте
Кафедра технологии программирования СПбГУ совместно с компанией «Диджитал Дизайн» исследовала возможность применения в системах электронного документооборота алгоритмов машинного обучения. Объектом исследования стала СЭД Правительства Мурманской области. В качестве базы данных были использованы более 250 тыс. обезличенных документов служебной переписки.
Проверялась возможность использования в СЭД интеллектуальных алгоритмов, повторяющих принципы нейронной сети. Основные задачи такой сети - определение категории документа, автоматическое заполнение его основных атрибутов, определение на основании анализа текста прикрепленного файла наиболее вероятных исполнителей и создание для них проектов текстов поручений.
Было определено, что, используя интеллектуальные алгоритмы, можно автоматизировать сортировку документов по содержимому прикрепленных файлов и составить семантическое ядро для каждой категории, искать схожие или идентичные документы, определять зависимости одних атрибутов документа от других и даже автоматизировать построение вероятностной модели предсказания значений атрибутов. В ходе исследования удалось достигнуть 95-процентной точности при определении категории документа по содержанию текста. На следующем этапе будет проведено тестирование на узкой группе ключевых пользователей СЭД Правительства Мурманской области, обрабатывающих большие объемы документов.
«Хлынов» оптимизировал обслуживание банкоматов
Банк «Хлынов» изменил обслуживание банкоматов, задействуя сервисы машинного обучения из облака Microsoft Azure. В результате банк получил возможность использовать ранее «замороженные» 250 млн руб.
Поскольку клиентская сеть банка постоянно развивается, требуются новые подходы к хранению денежных средств клиентов и работе с ними. На старте проекта среднемесячный остаток на картах «Хлынов» составлял порядка 800 млн руб. Треть этих денег резервировалась в банкоматах для снятия держателями карт.
Применение сервисов машинного обучения из облака Microsoft Azure позволило банку снизить объем резервируемых денежных средств в банкоматах до 16-20% от среднемесячного остатка на картах: он возрос до 1,2 млрд руб., а резервируемая сумма составила 200-230 млн руб. Освободившиеся средства банк смог направить на другие операционные задачи, в частности на кредитование своих клиентов.
Созданный совместно с интегратором «Рубикон» алгоритм, задействующий методы машинного обучения, позволил банку сократить число ежемесячных инкассаторских выездов более чем в 1,5 раза. Каждый из таких выездов обходится в 3 тыс. руб., а каждая перевозимая тысяча рублей облагается комиссией 0,026%.
В ближайшем будущем банк «Хлынов» планирует внедрить дополнительные инструменты прогнозной аналитики из облака Microsoft Azure для продуктивного использования информации, накопленной за более чем 25 лет работы с клиентами.
«Газпром нефть» будет пользоваться искусственным интеллектом «Яндекса»
«Газпром нефть» и «Яндекс» заключили соглашение о сотрудничестве при реализации перспективных проектов в нефтегазовой сфере. Используя технологии Больших Данных, машинн ого обучения и искусственного интеллекта, компании планируют вести бурение скважин, осуществлять моделирование технологических процессов нефтепереработк и, оптимизировать другие производственные процессы.
.jpg)
Соглашение предполагает проведение специалистами Yandex Data Factory независимой экспертизы существующих технологических решений, совместную разработку и реализацию научно-исследовательских и технологических проектов, а также обмен научно-технической информацией, знаниями и обучение сотрудников.
Нефтегазовая отрасль - одна из наиболее перспективных с точки зрения использования новых технологий, поскольку в ней накоплены большие объемы данных, а простые решения по оптимизации производства и бизнеса давно применены. Тем самым созданы хорошие возможности для получения ощутимого эффекта от внедрения решений на основе машинного обучения и искусственного интеллекта.