Big data

Барьеры российского рынка Big Data.

Одна из главных проблем рынка Big Data в России — трудности с поиском квалифицированных специалистов.

По мнению Ивана Вахмянина из Visiology, дефицит таких кадров наблюдается не только потому, что они должны обладать довольно сложным набором навыков и компетенций, но и потому что сегодня мало кто понимает, как их готовить, оценивать и правильно организовывать их работу.

Константин Черноусов, заместитель генерального директора Vesolv, рассказывает, что сейчас постепенно входит в обиход такая профессия как Data Scientist. Она довольно редкая, но спрос на нее уже колоссальный: на одно резюме такого специалиста приходится порядка 50 запросов на работу.

В России таких специалистов, которые расскажут руководству о возможностях анализа с использованием Big Data, посчитают бюджет и реализуют проект, мало, и увеличить их количество быстро не получится, поскольку отсутствуют не просто курсы, а даже материалы на русском языке, — отмечает Черноусов.

• Анимация и видео
• Оперативный и интеллектуальный анализ данных
• Стандарты текстовой информации в ИС (текстовые редакторы)
• Технологии больших данных (Big Data)
• Реорганизация общества и его ликвидация: краткая характеристика и этапы процедур (Понятие и виды ликвидации)
• Отличительные особенности англо-американской модели корпоративного управления: ее преимущества и недостатки (Англо-американская модель корпоративного управления)
• Коммерческие риски в торговом деле, влияние на них государственного регулирования
• Техники продвижения банковских платёжных карт.
• Language and Literacy.
• KPI в контексте BPM
• Системы оперативного анализа данных OLAP
• Средства аутентификации по отпечаткам пальцев (Биометрические системы аутентификации.)

Сложности применения big data

Несмотря на плюсы и большие перспективы big data, в работе с ними есть сложности: 

Большие данные требуют инфраструктуру для хранения. Часто под хранение данных выделяют отдельный центр обработки данных (ЦОД). 
Чтобы создать аналитическую модель (например, некоторые виды нейронных сетей), нужно очень много времени для обучения. Так, чтобы обучить современную сеть создавать изображения на основе текстового описания, используют массив данных размером 270 терабайт

Обучение такой сети может занять около недели.
Знание технологий обработки больших данных очень важно, но так же важно понимать предметную область. Иногда понять, «что нужно?», сложнее, чем «как это сделать?».

Вебинары

20−21 декабря 18:00 мск
Изучаем лучшие профессии для фриланса в 2023

21–22 декабря 16:00 мск
Как стать аналитиком и сделать карьеру в крупной IT-компании

Аналитика Big Data в мире.

Сейчас аналитика больших данных используется в более чем 50 % компаний по всему миру. При том, что в 2015 году этот показатель составлял всего лишь 17 %. Big Data активнее всего используется компаниями, которые работают в сфере телекоммуникаций и финансовых услуг. Затем идут компании, которые специализируются на технологиях в здравоохранении. Минимальное использование аналитики Big Data в образовательных компаниях: в большинстве случаев представители этой сферы заявляли о намерении использовать технологии в ближайшем будущем.
В США аналитика Big Data используется наиболее активно: более 55 % компаний из самых разных сфер работают с этой технологией. В Европе и Азии востребованность аналитики больших данных ненамного ниже — около 53 %.

Плюсы и минусы профессии

Плюсы

1. Профессия новая и стремительно набирает популярность.
2. Большое количество клиентов заинтересовано в услугах Big Data Analyst.
3. Специалисты по большим данным получают высокую заработную плату.
4. Возможность получить работу мечты в крупной российской компании, например, «Яндекс» или Mail.ru Group, или деловое предложение от зарубежных корпораций, холдингов: аналитика Big Data – это дорогое удовольствие, позволить его себе могут только гиганты бизнеса или госструктуры.
5. Возможен профессиональный рост и смена профиля деятельности.

Минусы

1. Работа малоподвижная и однообразная.
2. Часто ненормированый рабочий день.
3. Постоянное психологическое напряжение.
4. Нет вакансий в небольших городах, но этот недостаток компенсируется возможностью работать удаленно. 

Примеры использования big data

Big data используют практически во всех областях жизни. Вот примеры по разным сферам. 

Бизнес. Все крупные компании работают с большими данными. В Америке больше 55% компаний из разных сфер работают с технологиями. В Азии и Европе — 53% компаний. Бизнес, который не использует big data, упускает выгоду. Производитель спецтехники Caterpillar признался, что его дистрибьюторы ежегодно упускали 9–18 миллиардов долларов прибыли, потому что не работали с big data.  

Банковская сфера. Fintech — одно из самых быстроразвивающихся направлений. Благодаря большим данным банки могут оказывать совершенно новые услуги, которые раньше были недоступны: выявлять мошеннические схемы, автоматически анализировать кредитоспособность и вести бухгалтерию. 

Маркетинг. Маркетинг всегда был и есть драйвером big data: решения в нём принимают на основе данных. Их используют, например, чтобы анализировать посетителей сайта, определить предпочтения клиента, понять, успешна ли реклама.  

Медицина. Современные методы анализа данных, в том числе компьютерное зрение, открывают дорогу одному из самых перспективных направлений на текущий момент. Анализ показателей жизнедеятельности человека может изменить нашу жизнь, как когда-то социальные сети.

Автомобилестроение. Автопилоты, роботы-доставщики, автоматизированное производство машин — это то, что уже существует сегодня. Без больших данных это было бы невозможно.

Ретейл. Наряду с fintech и маркетингом исторически ретейловое направление имеет очень много транзакционных данных. Их можно использовать, чтобы улучшать пользовательский опыт в магазинах и онлайн. Например, раскладывать товар на полках на основе истории продаж и карты перемещения людей по магазину.

Наем сотрудников. Автоматическое чтение резюме, выявление талантов среди десятков тысяч других резюме, чат-боты для базового скрининга сотрудника — это небольшая часть применения big data в найме.

Госструктуры. Могут использовать большие данные, чтобы управлять городами. С помощью big data можно создавать «умные» города с интеллектуальной системой поддержки жизни горожанина на протяжении его жизнедеятельности. 

Медиа. Большие данные напрямую влияют на величину выручки в этом секторе. Знания о том, какие заголовки чаще интересуют определенную когорту пользователей, какой тип новостей или развлечений интересен, анализ пользовательского поведения — это возможность больше зарабатывать. Например, онлайн-стриминговые сервисы типа нетфликса используют большие данные даже для создания сериалов, а не только для продвижения в сети.

Логистика. Big data помогают находить оптимальный путь на длинные дистанции, оптимизировать движение морского транспорта. Есть компании, которые используют дополненную реальность в складском учете. 

Big Data как средство снижения издержек

Довольно сложно оценивать экономическую эффективность банковской деятельности, не обладая информацией о всех взаимосвязанных факторах, способных оказать прямое и потенциальное воздействие как в плюс, так и в минус на бизнес-результат. Так или иначе, технологии и инструменты Big Data – это средства, внедрение которых в любой организации должно повлечь снижение издержек при выполнении тех операций, которые ранее считались затратными по времени. Наличие в финансовой организации конвейерной обработки заявок, отлаженных скоринговых карт, типовых опробованных сценариев проверки и динамически изменяющихся алгоритмов принятия решения по стандартным запросам при возрастающих объемах поступающих документов нацелено на высвобождение человеческих ресурсов из процесса, который до внедрения Big Data требовал постоянного участия оператора и был сопряжен с большим количеством технических ошибок.

Опубликовано: Каталог «СКУД. Антитерроризм»-2017Посещений: 7697

Автор

В рубрику «Системы контроля и управления доступом (СКУД)» | К списку рубрик  |  К списку авторов  |  К списку публикаций

Что мешает дальнейшему развитию

Технические проблемы, связанные с использованием решений Big Data, в течение последних лет удалось полностью устранить. Задачи, для решения которых недостаточно текущего набора технологий, встречаются крайне редко. Тем не менее, есть несколько факторов, замедляющих развитие big data.

Часто бизнес-процессы в компании недостаточно отлажены для применения новых технологий. Разные отделы компаний создают аналитические хранилища для своих нужд, данные в этих хранилищах оказываются рассогласованными и в результате, когда появляется необходимость решать более масштабные аналитические задачи, интеграция данных из разных источников оказывается сильно затруднена — требуется переход на общий стек технологий и кропотливая совместная работа аналитиков. Таких ситуаций можно избежать, если изначально ответственно подходить к хранению данных — стремиться к централизации, так называемой «единой версии правды».

Психологической преградой к внедрению Big Data до сих пор является мнимая дороговизна таких решений. При словах большие данные в голове возникает картинка дата-центра со стройными рядами серверов астрономической стоимости. На самом деле, сейчас существует большое количество платформ, предоставляющих виртуальные вычислительные ресурсы. Самые масштабные из них — такие как Amazon Web Services и Microsoft Azure — берут на себя практически все управление кластерами клиентов.

С точки зрения разработки ПО для Big Data ситуация также очень изменилась за последние три года. Многие open source проекты перешли из стадии тестирования в стабильные релизные версии, технологии виртуализации и контейнеризации позволяют разворачивать приложения любой сложности на кластерах любых конфигураций. На рынке появляется все больше специалистов, готовых работать с этими технологиями.

Аналитика Big Data в России.

По мнению аналитиков IDC, Россия является крупнейшим региональным рынком решений по аналитике Big Data. Рост объемов рынка таких решений в Центральной и Восточной Европе достаточно активный, каждый год этот показатель увеличивается на 11%. К 2022 году он достигнет в количественном отношении $5,4 млрд.
Во многом такое бурное развитие рынка обуславливается ростом этой сферы в России. В 2018 году выручка от продажи соответствующих решений в РФ составила 40% от совокупного объема инвестиций в технологии обработки Big Data всего региона.
В РФ больше всего на обработку Big Data тратят компании со стороны банковского и государственного секторов, телекоммуникационной индустрии и промышленности.

Кто использует большие данные

Наибольший прогресс отрасли наблюдается в США и Европе. Вот крупнейшие иностранные компании и ведомства, которые используют Big Data:

• HSBC повышает безопасность клиентов пластиковых карт. Компания утверждает, что в 10 раз улучшила распознавание мошеннических операций и в 3 раза – защиту от мошенничества в целом.

• Суперкомпьютер Watson, разработанный IBM, анализирует финансовые транзакции в режиме реального времени. Это позволяет сократить частоту ложных срабатываний системы безопасности на 50% и выявить на 15% больше мошеннических действий.

• Procter&Gamble проводит с использованием Big Data маркетинговые исследования, более точно прогнозируя желания клиентов и спрос новых продуктов.

• Министерство труда Германии добивается целевого расхода средств, анализируя большие данные при обработке заявок на пособия. Это помогает направить деньги тем, кто действительно в них нуждается (оказалось, что 20% пособий выплачивались нецелесообразно). Министерство утверждает, что инструменты Big Data сокращают затраты на €10 млрд.

Среди российских компаний стоит отметить следующие:

• Яндекс. Это корпорация, которая управляет одним из самых популярных поисковиков и делает цифровые продукты едва ли не для каждой сферы жизни. Для Яндекс Big Data – не инновация, а обязанность, продиктованная собственными нуждами. В компании работают алгоритмы таргетинга рекламы, прогноза пробок, оптимизации поисковой выдачи, музыкальных рекомендаций, фильтрации спама.

• Мегафон

Телекоммуникационный гигант обратил внимание на большие данные примерно пять лет назад. Работа над геоаналитикой привела к созданию готовых решений анализа пассажироперевозок

В этой области у Мегафон есть сотрудничество с РЖД.

• Билайн. Этот мобильный оператор анализирует массивы информации для борьбы со спамом и мошенничеством, оптимизации линейки продуктов, прогнозирования проблем у клиентов. Известно, что корпорация сотрудничает с банками – оператор помогает анонимно оценивать кредитоспособность абонентов.

• Сбербанк. В крупнейшем банке России супермассивы анализируются для оптимизации затрат, грамотного управления рисками, борьбы с мошенничеством, а также расчёта премий и бонусов для сотрудников. Похожие задачи с помощью Big Data решают конкуренты: Альфа-банк, ВТБ24, Тинькофф-банк, Газпромбанк.

И за границей, и в России организации в основном пользуются сторонними разработками, а не создают инструменты для Big Data сами. В этой сфере популярны технологии Oracle, Teradata, SAS, Impala, Apache, Zettaset, IBM, Vowpal.

Читайте: Что такое интернет вещей, как он работает и чем полезен

Возврат инвестиций

Подсчитать средний срок окупаемости проекта Big Data практически невозможно, так как это в значительно мере зависит от размера компании и направления, в котором она работает.

Опыт компании “Прогноз”, предлагающей аналитические инструменты не только на российском, но и на глобальном рынке, показывает, что возможности больших данных формируют два вида бизнес-преимуществ:

1. Качественные улучшения, которые иногда трудно точно измерить, — например, снижение трудозатрат, повышение прозрачности, повышение точности и скорости подготовки отчетов.
2. Количественные изменения, показывающие конкретный рост эффективности и экономию затрат в измеримых показателях, которые, в свою очередь, определяют окупаемость внедренного решения.

Самый ощутимый эффект — когда технологии помогают сэкономить либо приносят дополнительный доход, резюмируют в Teradata: «Недавно Forrester провел исследование по результатам внедрения платформы Teradata Aster Discovery у одного из американских онлайн-ретейлеров. ROI составил 106% со сроком окупаемости 13,9 месяца, а суммарная выгода за три года составила $6,1 млн».

Дмитрий Кузякин, вице-президент и директор департамента CRM ВТБ24, говоря о дивидендах, приносимых технологиями Big Data отметил: «Для ВТБ24 это стабильные +15% к бизнесу банка».

Так как средний срок окупаемости проектов Big Data подсчитать довольно сложно, Федор Прохоров, директор департамента информационных технологий банка “Сетелем”, считает целесообразным начинать с небольших краткосрочных пилотных проектов с четкими критериями успеха, которые помогут продемонстрировать эффект от Big Data руководству, чтобы в дальнейшем получить финансирование на более крупные и долгосрочные проекты.

Второй магазин

Задача розничной сети — получить как можно больше прибыли с каждого района в городе. Это значит — открыть столько магазинов, сколько это физически возможно и прибыльно.

Допустим, мы уже открыли много магазинов в каждом районе города. Наша задача — спуститься с уровня города на уровень жилого квартала. Кажется, что если один магазин уже стоит во дворе, то на соседней улице нет смысла открывать такой же — достаточно перейти через дорогу. Но это не всегда так.

Через некоторое время после открытия первого магазина мы снова начинаем смотреть на пешеходные потоки — как они изменились. Иногда мы предполагаем, что люди будут переходит через дорогу, чтобы зайти в наш магазин, но на деле это часто не так. Обычно бывает, что магазин притягивает одну часть пешеходов, а другая ходит сама по себе. Можно ли эту часть переманить?

На этом этапе наша задача — найти место на другой стороне улицы, где больше всего проходит тех людей, кто не заходит в наш первый магазин. Снова собираем много данных, анализируем их и находим нужное место.

Иногда может так получиться, что с одного перекрёстка видно сразу несколько таких одинаковых магазинов. Это значит, что в этом районе есть несколько независимых основных пешеходных маршрутов. И те, кто ходит в «Пятёрочку» за углом, обычно не ходят в «Пятёрочку» у светофора — это дольше и совсем не по пути.

Что может Big Data?

Бесконечно растущий поток сенсорной информации, фотографий, текстовых сообщений, аудио- и видеоданных лежит в основе Big Data, которые мы можем использовать так, как невозможно было даже представить себе несколько лет назад.

Прямо сейчас основанные на Big Data проекты помогают:

— Лечить болезни и предотвращать рак
. Основанная на использовании Big Data медицина анализирует огромное количество медицинских записей и снимков, что делает возможным очень раннюю диагностику и способствует созданию новых методов лечения.

— Бороться с голодом
. Сельское хозяйство переживает настоящую революцию Big Data, которая позволяет использовать ресурсы так, чтобы максимально увеличить урожайность при минимальном вмешательстве в экосистему и оптимизировать использование машин и оборудования.

— Открывать далекие планеты
. НАСА, к примеру, анализирует огромное количество данных и выстраивает с их помощью модели будущих миссий в далекие миры.

— Предсказывать чрезвычайные ситуации
различной природы и минимизировать возможный ущерб. Данные многочисленных сенсоров могут предсказать, где и когда произойдет следующее землетрясение или возможное поведение людей в чрезвычайной ситуации, что повышает шансы на выживание.

— Предотвращать преступления
за счет использования технологий, которые позволяют более эффективно распределять ресурсы и направлять их туда, где они наиболее необходимы.

И самое близкое большинству из нас: Big Data делает жизнь обычного человека проще и удобнее — это и онлайн-шопинг, и планирование поездок, и навигация в условиях мегаполиса.

Выбрать лучшее время для покупки авиабилетов и решить, какой фильм или сериал посмотреть, стало гораздо легче именно благодаря работе Big Data.

Важные личные качества

Big Data Analyst работает с огромными массивами информации, что накладывает отпечаток на его характер. Чтобы справляться с обязанностями, аналитику больших данных надо:

быть дисциплинированным, усидчивым, терпеливым и методичным;
уметь долго концентрировать внимание;
быть способным работать в режиме многозадачности;
обладать развитым техническим и аналитическим мышлением;
уметь работать в команде.

Кроме того, аналитик больших данных должен быть достаточно прагматичным, уверенным в своих силах, ведь от его умения делать выводы на основании полученной информации во многом зависит успех бизнеса и принятие стратегически важных решений. 

Что мешает внедрять новые технологии?

В настоящее время мы видим, что еще не все предприятия индустриальной сферы готовы тратить средства на внедрение аналитики с использованием больших данных и извлекать ее преимущества. В рамках недавнего анкетирования, проведенного американским журналом Control Engineering, более четверти опрошенных компаний заявили, что в течение ближайших нескольких лет они не планируют инвестировать в большие данные или «Интернет вещей».

В ходе проведенных исследований (рис. 2) некоторые респонденты отметили, что у них недостаточно знаний для обоснования затрат, связанных с технологией, рассматриваемой в рамках настоящей статьи. Другие ссылались на нехватку ресурсов и времени. Более половины респондентов сообщили, что у них уже есть экономически эффективные и достаточно надежные системы для обеспечения безопасности и роста доходов, а их компании успешно развиваются и без использования больших данных. В то время как сторонники рекламируют большие данные и видят их преимущество в огромном объеме информации, который может улучшить работу предприятий, скептики подчеркивают, что Big Data способствуют расширению зон для кибератак и при отсутствии достаточных защитных слоев негативно влияют на обеспечение кибербезопасности.

Рис. 2. Согласно исследованиям Control Engineering, проведенным в рамках программы оценки влияния промышленного «Интернета вещей» и интеграции информационных технологий, их имплементация может изменить рабочий процесс. Более подробная информация доступна в публикациях, посвященных проблемам Industry 4.0, мобильных вычислений, удаленного доступа к информации, робототехнике, виртуализации и беспроводным сетям, на сайте www.controleng.com/ce-research

Одно из решений проблемы, связанной с повышением отдачи от больших данных, заключается в развертывании мощных визуализаций, охватывающих все доступные данные. Это позволит обеспечить мультиструктурное и итеративное обнаружение нарушений и раскрывает информацию без необходимости направления каких-либо запросов.

Big data в бизнесе

Для оптимизации расходов внедрил Big data и «Магнитогорский металлургический комбинат», который является крупным мировым производителем стали. В конце прошлого года они внедрили сервис под названием «Снайпер», который оптимизирует расход ферросплавов и других материалов при производстве. Сервис обрабатывает данные и выдаёт рекомендации для того, чтобы сэкономить деньги на производстве стали. 

Большие данные и будущее — одна из самых острых тем для обсуждения, ведь в основе коммерческой деятельности лежит информация. Идея заключается в том, чтобы «скормить» компьютеру большой объем данных и заставить его отыскивать типовые алгоритмы, которые не способен увидеть человек, или принимать решения на основе процента вероятности в том масштабе, с которым прекрасно справляется человек, но который до сих пор не был доступен для машин, или, возможно, однажды — в таком масштабе, с которым человек не справится никогда.

Откуда берутся данные и в чем их преимущества?

К ключевым источникам больших данных относят:

• информацию из Интернета: социальных сетей, блогов, СМИ, форумов, сайтов;
• показания различных устройств: IoT-датчиков, аудио- и видеорегистраторов, умных гаджетов, смартфонов, сотовой связи и т. д.;
• корпоративные сведения: архивы, внутренние сведения предприятий и организаций и др.

Благодаря аналитике больших данных (Big Data Analytics), можно быстро и качественно интерпретировать разную информацию, находить закономерности и составлять прогнозы. Например, с помощью Big Data определяют, в какой части города существует потребность в определенных товарах или услугах, какая продукция заинтересует потенциальных покупателей, предсказывают всплески заболеваний и даже места, где вероятнее всего произойдут преступления. Чем больше сведений удастся изучить, тем точнее будет конечный результат.

Например, метеорологи берут данные о погоде за последние 100 лет и анализируют их. В результате они выявляют закономерности, в какой период года/месяца наступает потепление, похолодание или начинается сезон осадков. На основе этих сведений они могут спрогнозировать погоду на ближайший период.

Большие данные или Big Data

Big data — что это такое? В буквальном переводе эта фраза означает большие данные. В традиционном толковании большие данные — это набор огромных объемов информации, настолько сложной и неорганизованной, что она не поддается обработке традиционными инструментами управления базами данных. Big Data просто не вписываются в традиционную структуру из-за своей величины.

Под этим термином также понимают не саму информацию или отдельную технологию, а комбинацию современных и проверенных инструментов работы с гигантскими потоками данных, что помогает получать практическую информацию.

Если суммировать, то биг дата можно определить, как возможность управлять колоссальным объемом разрозненных данных с нужной скоростью и в нужные временные рамки, чтобы обеспечить их обработку и анализ больших данных в реальном времени.

Особенности профессии

Анализ больших данных позволяет создавать новые продукты, искать точки роста для бизнеса или, если, например, речь о применении в медицине, – выявлять причины развития заболеваний. Big Data Analyst ежедневно обрабатывает колоссальное количество данных, стремясь извлечь из них информацию, которая играет важную роль для бизнеса (спрос, предложение, конкуренция, ценовая политика на рынке и т. д.). Кроме этого, аналитик больших данных может разрабатывать модели машинного обучения.

В целом Big Data Analyst выполняет следующие задачи:

• собирает необходимые данные и готовит их к анализу;
• проводит дескриптивный анализ, интерпретирует и визуализирует данные;
• создает гипотезы, которые помогут принять решения.

Во время работы аналитик больших данных выявляет логические связи, на базе которых создаются новые стратегии.

Главный инженер «Сбера» по разработке в Data Analytics

Big Data Analyst может выполнять часть обязанностей Data Scientist и Business Intelligence, но все зависит от требований работодателя.

Хотите устроиться на работу сразу после получения профессии? Skillbox гарантирует это! При покупке курса с трудоустройством, Skillbox поможет с поиском работы по новой специальности. Если у вас не получится найти работу, Skillbox вернёт деньги за курс. Акция действует до конца 2022 года! Сейчас самое время, пока идет новогодняя распродажа со скидками до 60%!

Главный инженер «Сбера» по разработке в Data Analytics

Определение Big Data, или больших данных

К большим данным относят информацию, чей объем может быть свыше сотни терабайтов и петабайтов. Причем такая информация регулярно обновляется. В качестве примеров можно привести данные, поступающие из контакт-центров, медиа социальных сетей, данные о торгах фондовых бирж и т. п. Также в понятие «большие данные» иногда включают способы и методики их обработки.

Если же говорить о терминологии, то «Big Data» подразумевает не только данные как таковые, но и принципы обработки больших данных, возможность дальнейшего их использования, порядок обнаружения конкретного информационного блока в больших массивах. Вопросы, связанные с такими процессами, не теряют своей актуальности. Их решение носит важный характер для тех систем, которые многие годы генерировали и копили различную информацию.

Определение Big Data, или больших данных

Существуют критерии информации, определенные в 2001 году Meta Group, которые позволяют оценить, соответствуют ли данные понятию Big Data или нет:

• Volume (объем) — примерно 1 Петабайт и выше.
• Velocity (скорость) — генерация, поступление и обработка данных с высокой скоростью.
• Variety (разнообразие)— разнородность данных, различные форматы и возможное отсутствие структурированности.

Только до25 декабря

Пройди опрос иполучи обновленный курс от Geekbrains

Дарим курс по digital-профессиям
и быстрому вхождения в IT-сферу

Чтобы получить подарок, заполните информацию в открывшемся окне

Перейти

Скачать файл

Зачастую к этим параметрам добавляют еще два фактора:

Следует отметить, что такие формулировки весьма условны, т. к. четкого и единого определения не существует. Есть даже мнение о необходимости отказа от термина «Big Data», т. к. происходит подмена понятий и Big Data часто путают с другими продуктами.

Для чего необходимы большие данные

Главная цель работы с большими данными – обуздать их (проанализировать) и направить. Человечество научилось производить и извлекать огромные массивы информации, а с их управлением ещё есть проблемы.

Прямо сейчас большие данные помогают в решении таких задач:

• повышение производительности труда;
• точная реклама и оптимизация продаж;
• прогнозирование ситуаций на внутренних и глобальных рынках;
• совершенствование товаров и услуг;
• улучшение логистики;
• качественное таргетирование клиентов в любой сфере бизнеса.

Большие данные делают услуги удобнее и выгоднее как для продавцов, так и для покупателей. Предприятия могут узнать, какая продукция популярнее, как сформировать ценовую политику, когда лучшее время для продаж, как оптимизировать ресурсы на производстве, чтобы сделать его эффективнее. За счёт этого клиенты получают точное предложение «без воды».

Результат применения Big Data в бизнесе

В результате за неделю мы получили от 40 до 100 полностью автоматизированных рекламных кампаний для каждого бренда.

На основе технологий машинного обучения, в том числе нейронных сетей, построенная рекомендательная система сама формирует целевые сегменты аудитории, тем самым минимизируя влияние человека.

Есть определённые триггеры, которые мы выяснили в ходе сбора данных, по которым можно оценивать некоторые параметры. Например, мы увидели группу людей, которые просматривают почту по утрам, до рабочего дня, а потом возвращаются вечером домой и покупают увиденный товар. Мы понимаем, что имеет смысл продублировать им товарное предложение вечером через дополнительный канал. Однако за счёт возможностей машинного обучения выводы формируются автоматически — машина определяет это самостоятельно и подсказывает, что, когда и где предложить пользователю для максимальной вероятности отклика.

Что такое big data?

Отличия аналитика данных от Data ScientistОтличия аналитика данных от data scientist. Что они должны знать и уметь.

Большие данные — это огромный объем структурированной и неструктурированной информации. Также к big data относятся технологии, которые используют, чтобы собирать, обрабатывать данные и использовать их в работе.

К большим данным можно отнести поток сообщений из социальных сетей, датчики трафика, спутниковые снимки, стриминговые аудио- и видеопотоки, банковские транзакции, содержимое веб-страниц и мобильных приложений, телеметрию с автомобилей и мобильных устройств, данные финансового рынка. 

Технологические компании практически никогда не удаляют собранную информацию, так как завтра она может стоить в разы больше, чем вчера. И даже сегодня она уже приносит миллиардные прибыли многим компаниям. Первые версии системы хранения больших данных Hadoop даже не имели команды «Удалить данные»: такой функции не предполагали. 

Как пример — Facebook*. Компания использует информацию о поведении пользователей, чтобы рекомендовать новости, продукты внутри соцсети. Знания об аудитории повышают интерес пользователей и мотивируют посещать соцсеть как можно чаще. Как следствие — растет прибыль Facebook.

А гугл выдает результаты поиска не только на основе ключевых слов в поисковом запросе. Он также учитывает историю предыдущих запросов и интересы пользователя. 

За последние годы производительность вычислительных систем сильно выросла. Это видно на графике роста количества транзисторов за последние 50 лет. 

Транзистор — это полупроводниковый элемент. Из транзисторов собирают основные логические элементы, а на их основе создают различные комбинационные схемы и непосредственно процессоры. Чем больше транзисторов в процессоре — тем выше его производительность. 

Закон Мура: количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые два года 

Закон Мура: количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые два года График:

Благодаря высокой производительности появилась возможность обрабатывать данные с такой же большой скоростью, с которой они поступают. 

Как работает дата-центр «Яндекса» в Финляндии

Видео: «Яндекс» на ютубе 

Суть анализа больших данных

Термин «Big Data» стал широко известен не так давно – согласно «Google Trends», уровень его употребления резко возрос в 2011 году. Сегодня понятие у всех на слуху, больше всего его любят и используют в любой, даже неподходящей ситуации маркетологи.

Big Data определяют как данные:

• объем которых превышает 100Гб/500Гб/1ТБ;
• которые не могут быть обработаны в «Excel».
• не поддающиеся обработке на одном компьютере.

Суть анализа больших данных

Однако у термина есть официальное толкование, на которое и стоит опираться при работе с анализом больших данных. Это серия подходов, инструментов и методов работы со структурированной и неструктурированной информацией, которая отличается огромным объемом и значительным многообразием.

Цель такой деятельности состоит в получении результатов, которые могут восприниматься человеком и эффективны при постоянном приросте, распределении по многочисленным узлам вычислительной сети. Стоит пояснить, что речь идет об узлах, появившихся в конце 2000-х годов и выступающих в роли альтернативы традиционным системам управления базами данных и решениям класса «Business Intelligence».

Поэтому за интересующим нас термином скрываются не сведения в определенном объеме, а подходы, дающие возможность распределенно обрабатывать информацию. Они могут применяться к значительным и малым массивам данных, то есть как к содержанию всего, выложенного в Сеть, так и к одному тексту.

К системам анализа больших данных приходится прибегать при работе, например, со следующими источниками информации:

• логи поведения людей в Сети;
• GPS-сигналы транспортных средств, входящих в парк компаний, занимающихся доставкой;
• информация с датчиков Большого адронного коллайдера;
• оцифрованная литература, хранящаяся в РГБ;
• сведения о транзакциях клиентов определенного финансового учреждения;
• данные о покупках, совершенных людьми у крупного ритейлера.

Только до25 декабря

Пройди опрос иполучи обновленный курс от Geekbrains

Дарим курс по digital-профессиям
и быстрому вхождения в IT-сферу

Чтобы получить подарок, заполните информацию в открывшемся окне

Перейти

Скачать файл

В современном мире источников информации становится все больше, поэтому возрастает потребность в соответствующих технологиях обработки.

Просто о больших данных

Каждый раз, когда кто-то открывает приложение на смартфоне, посещает сайт, регистрируется в Сети на каком-то ресурсе или даже вводит запрос в поисковую систему, собирается какой-то массив данных.

Пользователи обычно больше сосредоточены на результатах того, что они делают в Интернете. Их не особенно волнует то, что происходит «за кулисами». Например, человек открывает браузер и набирает в поиске «большие данные», а затем переходит по этой ссылке, чтобы прочитать наш глоссарий. Один только этот запрос способствует созданию определенного количества больших данных. Если представить, сколько людей проводят время в Интернете, посещая разные сайты, загружая изображения и так далее, становится понятно, о каких огромных объемах информации может идти речь.