Генри Форд внедрил на заводе конвейер и пересадил американцев на свои машины. Стив Джобс, впервые увидев графический интерфейс и компьютерную мышь, понял как важно использовать их в компьютерах Apple. Это были инновации, которые изменили развитие индустрии. Сегодня такое секретное оружие — Большие данные.
С чего начинаются данные
Компании собирают Большие данные из соцсетей, интернета вещей, рекламных кабинетов, платежных операций, метеоданных и внутренних документов. Раньше такой объем информации было сложно хранить. Теперь это стало возможно.
Различных данных много и их число постоянно увеличивается. Эта непрекращающаяся обработка новой информации — важная суть Big Data.
Big Data не подразумевают конкретный размер данных. То, что 10 лет назад считалось большим объемом, сегодня можно обработать на персональном компьютере. Скорее, это про исследования методов хранения и обработки информации.
Сложность обработки Больших данных не только в количестве. Big Data — это разнородная информация: базы данных, текст, email, видео, аудио, платежные документы. Правильно структурировать и обрабатывать такие данные сложно, но под силу современным технологиям. Для этого наука о Больших данных использует алгоритмы статистики, теории вероятностей и дискретного анализа и тд. На практике знания о Больших данных используют совместно с технологиями машинного обучения для создания мощных бизнес-инструментов.
Зачем нужны большие данные
Информация — это новая нефть. Умение добывать и обрабатывать данные изменит ваш бизнес.
Грамотная обработка Больших данных помогает создавать инструменты, которые снижают затраты, ускоряют внутренние процессы, корректируют предложения и маркетинговую активность. Данные помогают при разработке новых продуктов, вычислении рисков, мошенников и предсказания поломок.
Предсказание поломок
Когда человек болеет, он идет к врачу. Маленький ребенок еще не умеет ходить и разговаривать, поэтому он начинает плакать, посылая сигнал родителям. На первый взгляд бездушные машины, тоже посылают сигналы. Когда машин тысячи, а сигналов миллионы, традиционные средства хранения и аналитики не справляются. В этом случае нужны методы обработки больших данных.
Для сбора данных на все ключевые узлы и детали устанавливают датчики, которые собирают информацию о температуре, частоте хода, колебаниях и т.д. Правильный анализ помогает предотвращать поломки, усовершенствовать конструкцию и увеличивать эффективность механизмов. Такую методику можно использовать в автопарке, самолетах, парке аттракционов и других системах.
Производитель лифтов ThyssenKrupp AG собирает данные о скорости кабины, работе дверей, нагревании мотора и т.д. На их основе система рассчитывает вероятность каждой из 400 возможных поломок. В результате компания экономит на содержании и ремонте, а также укрепляет имидж производителя надежных и безопасных лифтов. Использование Big Data увеличило время их бесперебойной работы на 50 %.
Обнаружение мошенников
Компаниям приходится не только привлекать клиентов, но и отсеивать тех, кто планирует что-то незаконное. Большие данные помогают выбрать надежного победителя тендера или нанять сотрудника, но больше поиск мошенников актуален для финансовой сферы.
Похожие системы используют крупные банки и микрокредитные организации. Так Сбербанк определяет надежность заемщика, анализируя огромный массив данных из кредитной истории, социальных характеристик и операций пользователя. Данные об окружении клиента банк берет из социальных сетей и денежных переводов. Вернет ли человек долг, помогают определять и такие неожиданные данные, как количество сим-карт, регионы звонков и размеры пополнения баланса.
Продажи
Представьте, вы приходите в магазин, а консультант уже протягивает нужный костюм вашего размера. Красота? В интернете это уже возможно. Американский магазин велосипедов BikeBerry.com изучил маршруты пользователей на сайте, данные личных кабинетов, истории покупок и поведение в интернете. Так он научился показывать в первую очередь интересные товары и предлагать скидку только, тем кто без нее не купит. Это увеличило в 2 раза число повторных клиентов и общие продажи на продажи на 133 %.
Точность рекомендаций важна не только для магазинов, но и для сервисов с книгами, музыкой и фильмами. Завоевать клиентов помогает богатая библиотека и точность рекомендации. Если с первым все понятно, то со вторым без Big Data не обойтись.
Когда клиент новый, мы еще не знаем о его предпочтениях, а что-то советовать нужно. Для точных рекомендаций новичкам сервис электронных книг Bookmate использовал данные соцсетей, поисковых запросов и историю кликов в интернете. В результате конверсия в постоянных клиентов после пробного периода выросла в 1,4 раза.
Постепенно технология приходит и в оффлайн. С помощью камеры на входе торговые центры определяют настроение покупателя, в какой раз он приходит, что уже смотрел и что покупал. Получив всю информацию, консультант может поздороваться с клиентом по имени и спросить, как носятся кроссовки, какие он купил год назад. Контакт установлен, дальше продавать гораздо легче.
Экономия
Первый шаг к личной экономии — учет расходов. С бизнесом все также, но сложнее. Необходимо разобраться в большом количестве записей и найти влияющие на них факторы. С этим опять помогают большие данные.
Австралийские клиники St. Vincent’s в 2014 году снизили расходы на отопление и вентиляцию зданий. Для этого они проанализировали данные метеорологических служб и информации о расходах на электричество, о посещении частей зданий, о температуре комнат.
Логистическая компания UPS экономит 6 миллионов литров топлива в год. Для этого их система строит маршруты с учетом данных о всех грузах, требующих отправки, и ее сроках.
Внутренняя организация
Часто данные компаний хранятся в разных форматах. Это CRM-системы, рекламные кабинеты, текстовые файлы, таблицы и аналоговые носители. Их сложно использовать и невозможно систематизировать.
Методы обработки Больших данных упрощают документооборот за счет автоматизации шаблонных документов.
Алгоритмы на основе Big Data контролируют остатки товаров и закупки. Это защищает от остановок производства и недовольства клиентов.
Владельцы бизнеса получают мощные инструменты бизнес-аналитики. Они умеют выделять факторы влияющие на прибыль. Это могут быть убыточные товары, которые следует исключить или некорректные цены на то, что приносит основную прибыль. Каждое небольшое изменение может серьезно увеличить прибыль.
Как мы работаем
Мы изучаем задачу и смотрим на организацию сбора данных в компании. Чтобы их можно было анализировать, мы разрабатываем ПО и интегрируем его в имеющиеся системы.
Такая программа собирает и обрабатывает большой непрерывный поток данных. Для ее создания мы используем стек программ Hadoop. Такое решение надежно и обеспечивает необходимые функции.
Чтобы данные приносили пользу их нужно анализировать. Для этого мы создаем алгоритмы машинного обучения, которые используют науку о данных и выделяют из общего массива сразу несколько гипотез.
Чтобы с результатами было удобно работать их важно грамотно визуализировать. Мы для этого используем аналитическую платформу, совместимую со стеком используемых программ.
Если вы не увидели своей задачи в примерах, это не значит, что Большие данные не помогут ее решить. Посмотрите наше портфолио или просто спросите, как мы можем помочь.