Как Big Data делают мир лучше
«Данные — как сырая нефть. Они ценны, но в нерафинированном состоянии бесполезны» — М. Палмер
Большие данные становятся новой нефтью. «Главное — понять, как монетизировать накопленные данные и использовать их либо для внутренних нужд, либо на продажу обезличенной статистики вовне, что также востребовано на рынке», — говорит Роман Баранов, руководитель направления бизнес-аналитики компании КРОК.
Поговорим о том, кому в первую очередь интересны большие данные, какую пользу они уже приносят и на кого учиться, чтобы влиться в этот тренд.
См. также: «Три заблуждения о big data»
Трудно найти сферу, где big data не пригодятся
В первую очередь big data интересны отраслям с высокой конкуренцией, а также бизнесам национального и глобального масштаба. В дальнейшем их станет использовать любой бизнес, который сможет выделить на это ресурсы.
«Малый бизнес сможет пользоваться услугами компаний-агрегаторов, которые будут появляться в дальнейшем, предлагая в доступном формате самую разную аналитику: изменение характера спроса и предпочтений пользователей, геоинформационных показателей (покрытие населенных пунктов объектами сферы услуг, соотнесенное с плотностью населения, их интересами и покупательной способностью) и многое другое», — говорит Валерий Студенников, руководитель направления анализа данных REG.RU.
Какие возможности дают big data
Ритейл
Подходы к продажам и маркетингу в ритейле становятся все более персонализированными и ориентированными на пользователя.
«Бренды стараются рекомендовать только те вещи, которые действительно прямо сейчас интересуют человека. Например, ритейлер The North Face запустил в начале 2016 года собственного онлайн помощника — бота на базе технологий Искусственного интеллекта IBM Watson Analytics. Помощник рекомендует клиенту подходящий товар не по характеристикам вещи, а по контексту его использования («куртка для похода в Гималаи в мае»). Учитывается множество факторов: не только средняя температура и погода в Гималаях в это время года, но и рост, вес, физическая активность клиента. То есть работа с данными ориентирована на создание точного целевого предложения для конкретного пользователя, которое к тому же способно вызывать эмоциональный отклик», — объясняет Алексей Матвеев, директор по развитию ИТ-компании Navicon.
Помимо этого большие данные могут использоваться для оптимизации логистики: прогнозирования out-of-stock, складской логистики, формирования продуктовой матрицы для того или иного магазина.
Здравоохранение
По данным компании IBM к 2020 году объем медицинской информации будет удваиваться каждые 73 дня. Врач уже не может обладать всеми современными знаниями в своей специальности, не говоря уже о смежных. Технологии на базе больших данных способны решить эту проблему.
«Фактически мы получаем «эксперта», который всегда рядом и имеет онлайн доступ к самым современным знаниям и исследованиям в различных областях медицины. Системы на базе больших данных комплексно оценивают состояние здоровья пациента и предлагают индивидуальный план лечения заболевания для конкретного пациента. При этом, эти решения основаны только на принципах доказательной медицины», — объясняет Александр Ледовский, директор сети клиник «Рэмси Диагностика».
«Применение подобных технологий, приведет к существенному повышению качества лечебного процесса и повысит уровень экономической эффективности отрасли в целом. А главное, принесет огромную пользу пациентам и их семьям», — продолжает Алексей.
Транспорт
«Пользователи Uber наверняка сталкивались с сообщением: «Введены повышенные тарифы». Многие сервисы такси пользуются данными о степени загруженности дорог и количестве свободных машин. Так сервис может координировать действия своих водителей и ежеминутно изменять тарифы, подстраиваясь под нужды пассажиров или освобождая машины в период повышенного спроса», — объясняет Петр Травкин, консультант-эксперт по аналитическим системам в Hitachi Data Systems. Кстати, подобные механики применения больших данных в будущем позволят оптимально координировать беспилотные автомобили.
Кроме того big data помогают совершенствовать дорожную инфраструктуру. «Анализ большого массива трэков автотранспорта интересен с точки зрения выявления «проблемных» участков автодорог в отношении качества организации дорожного движения и ситуации с автомобильными пробками. Полученная информация может использоваться для принятия решений городскими службами, в том числе для повышения качества проводимых мероприятий по оптимизации дорожной сети», — говорит Иван Попенко, технический директор «Геоцентр-Консалтинг».
Финансы
Инвестировать становится проще и доступнее. Например, благодаря такой услуге, как робо-адвайзинг. Это алгоритмическая технология, которая делает целевые предложения клиенту в сфере инвестиций после профилирования и оценки рисков инвестиций. «Преимущество подхода в низкой стоимости услуги (работа алгоритма намного дешевле, чем работа живого аналитика-консультанта) и в низком пороге входа на рынок для клиента инвесткомпании (через систему робо-адвайзинга клиент может начать свою работу на инвестрынке хоть с 50 долларов — система сама распределит эту микросумму, приобретая инвестиционные активы частями). Это означает доступ гораздо более широкого круга людей к инструментам инвестирования, чем это было возможно ранее», — говорит Алексей Матвеев.
Кроме того, благодаря совершенствованию кредитного скоринга с использованием big data, растет скорость расчета кредитоспособности и модели рисков, исходя из транзакционной активности пользователя. Проще говоря, решения по кредитам будет приниматься моментально.
Спорт
Технологии основанные на big data позволяют оптимизировать состав команды, определить рыночную стоимость игроков и узнать их потенциал. Можно прогнозировать состояние игроков на основе данных о тренировках, питании, возрасте, здоровье и т.д.
Умные города
Большие данные помогают в реализации концепции «умного» города, которую успешно развивают в Копенгагене, Лондоне, Сан-Франциско и Ванкувере. Технологии позволяют собирать и анализировать данные о потреблении тепловой и электрической энергии в жилых домах, данные о загруженности парковок, популярных местах остановки такси и так далее. Анализ этой информации делает жизнь горожан комфортнее. Например, данные могут подсказать им, как сэкономить на электричестве, быстро найти общественный транспорт, парковку или такси.
Переводы
«Текстовые big data сказались на распространении машинного перевода. Дело в том, что исторически большинство систем машинного перевода (имеются в виду коммерчески успешные системы, такие как PROMT, Systran, PowerTranslator) были основаны «на правилах» и требовали большой лингвистической проработки и нескольких лет разработки каждой языковой пары. По мере накопления больших текстовых данных в свободном доступе появились возможности для развития статистических технологий перевода, основанных преимущественно на математических методах. В качестве лингвистических ресурсов в них используются корпуса параллельных текстов, а не двуязычные словари. Все это позволяет создавать новые системы машинного перевода существенно быстрее и дешевле, а, следовательно, сделать машинный перевод доступным миллионам пользователей», — говорит Юлия Епифанцева, директор по развитию бизнеса компании PROMT.
Совершенствуются методы «расшифровки» устной речи. Синхронные переводы на любой язык с помощью технологий — не такая уж и фантастика.
Онлайн-образование
«С помощью анализа данных, мы можем создавать гораздо более эффективные методики тем самым повышая эффективность обучения. Персонализировать эти методики, достигая большей вовлеченности студентов», — объясняет Анна Гайван, PR-директор Skyeng.
Телевизионная отрасль
«В Netflix большой штат специалистов по big data, в дата центрах компании хранится и анализируется огромное количество материалов. По результатам всех полученных и обработанных данных был снят сериал «Карточный домик», где были применены метрики для того, чтобы заинтересовать пользователя. Данные big data помогли выяснить, сколько зрителю необходимо времени, чтобы оценить сериал, какой длины диалоги цепляют зрителя, сколько должен длиться эпизод, чтобы зритель не потерял к нему интерес и т.п.», — объясняет Василий Пименов, директор по развитию компании «Телеком-Биржа».
Искусственный интеллект
«Можно предположить, что, если приблизить скорость анализа данных к реальному времени, они сыграют колоссальную роль в развитии искусственного интеллекта и так называемых «эволюционных алгоритмов». Предтечей эволюционных алгоритмов (так называют перевод эволюционной теории Дарвина на язык ИТ) является машинное обучение (Machine Learning). Согласно последнему отчету Gartner, именно машинное обучение сейчас возглавляет «цикл зрелости технологий» — иными словами, наука, бизнес и общество возлагают большие надежды на методы обучения компьютеров без их непосредственного программирования.
Так вот, имея возможность быстро анализировать данные, мы можем предоставить компьютеру рекомендательные алгоритмы на базе технологий машинного обучения и тем самым сделать работу алгоритмов автоматизированной, позволить компьютеру принимать решения без участия человека. В плане операционной аналитики это означает, что руководитель, имея перед собой задачу, может в онлайн-режиме запросить у системы рекомендации или всю необходимую информацию в удобной для восприятия форме», — считает Петр Травкин.
И это только мизерная часть возможностей, которые открывают большие данные.
На кого учиться, чтобы попасть в тренд
«Сегодня «в тренде» большинство профессий вокруг data science. В ближайшие годы, в связи с бумом технологий обработки неструктурированных данных, особенно будут востребованы специалисты в computer vision (компьютерном зрении) — области, связанной с анализом изображений и видео. По мнению Агентства стратегических инициатив, не меньшей популярностью будут пользоваться профессии в развивающихся технологических областях: проектировщик нейроинтерфейсов, разработчик моделей big data, кибертехник умных сред. А также те, которые связаны с регулированием цифровой деятельности: сетевой юрист, киберследователь и консультант по безопасности личного профиля.
Чем умнее становятся машины, тем меньше необходимость в тех ролях, которые, по сути, автоматизируются: математиков, аналитиков. Так, в мае этого года Facebook уже анонсировал создание сервиса Auto ML, который не только может подготовить данные для тестирования нейросетями без участия человека, но и способен самостоятельно разрабатывать алгоритмы ИИ. Конечно, снижение популярности этих профессий произойдет не в ближайшие годы: новые предметные области открываются сегодня каждый день (примером может послужить бум микрокредитования или сервисов знакомств) — и еще долго разработчики будут нужны в тех отраслях, которые медленнее других приспосабливаются к технологическим изменениям», — говорит Алексей Матвеев.
Освоить востребованную профессию в Data Science можно всего за полтора года на курсах GeekBrains. После учёбы вы сможете работать по специальностям Data Scientist, Data Analyst, Machine Learning, Engineer Computer Vision-специалист или NLP-специалист.
Освоить востребованную профессию в Аналитике больших данных можно всего за полтора года на курсах GeekBrains.