Ibs выполнила миграцию данных для «сибур холдинг»

Машинное обучение в производственной безопасности и маркетинге

Видеоаналитика помогает СИБУРу не только в предиктивных ремонтах оборудования. Алгоритмы Machine Learning, в режиме онлайн обрабатывающие записи с камер видеонаблюдения, позволяют обеспечить безопасность труда на производстве, например, идентифицировав человека в запретной зоне. Также видеонаблюдение используется для автоматического анализа корректности действий сотрудника при типовых операциях. С учетом вышеописанных особенностей нефтехимического производства стоит отметить, что большинство интеллектуальных операций выполняется не «на местах», а на удаленных серверах. Это намного эффективнее и дешевле, т.к. взрывозащищенные видеокамеры с машинным зрениям стоят весьма дорого.

Поэтому ИТ-специалисты СИБУРа размещают сервера для анализа видеопотока максимально близко к видеокамерам, но во взрывозащищённой зоне. Сама же интеграционная шина, которая обеспечивает связь с системой видеонаблюдения, озером данных (Data Lake), IoT-платформой и прочими сервисами, разворачивается на нескольких виртуальных машинах в кластере производства для обеспечения высокой доступности системы .

Наконец, поскольку СИБУР не только производит, но и продает свою продукцию, для предприятия актуальны задачи ценообразования и прогнозирования спроса. В частности, в компании разработаны модели машинного обучения для предсказания рыночных цен на отдельные виды продукции. Также есть и другие маркетинговые кейсы.

Примечательно, что все рассмотренные кейсы планируется объединить в одну платформу цифровизации. В частности, модели машинного обучения уже разрабатываются с использованием единого ML-фреймворка, ставшего производственным стандартом де факто. Это гарантирует единство интерфейсов и автоматизированный мониторинг их работы. Также ML-фреймворк позволяет унифицировано сохранять каждый цифровой продукт в контейнер и автоматически развертывать API .

А сама единая система обработки и хранения данных всего СИБУРа основана на интеграции проприетарных и открытых технологий Big Data. Например, Apache NiFi и AirFlow нужны для потоковых и пакетных данных, Flume для первичного приема данных и их декодирования, Kafka для буферизации, Flink и Spark Streaming для потоковой обработки. Для извлечения информации из SAP подойдет отдельный ETL-инструмент — SAP Data Services, а в качестве средств хранения – Cloudera Hadoop, включая HDFS, HBase, Hive и Impala, а также аналитическая СУБД Vertica. Для полнотекстового поиска потребуется Elasticsearch, а также прочие компоненты ELK-стека для мониторинга и визуализации. Конечные бизнес-пользователи будут взаимодействовать с BI-приложениями SAP, Tableau и пр. Эта комплексная Big Data система еще не полностью реализована, одна в рамках цифровизации предприятия, ее разработка идет полным ходом .

Верхнеуровневая архитектура комплексной Big Data системы в СИБУРе

Завтра мы продолжим разговор про цифровую трансформацию и разберем новости Указа Президента «О национальных целях развития Российской Федерации на период до 2030 года», который вышел 21 июля 2020 года. А какие технологии Industry 4.0 нужны для цифровизации вашего бизнеса и как их внедрить, вы узнаете на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

Аналитика больших данных для руководителей

Смотреть расписание
Записаться на курс

Источники

1. https://www.sibur.ru/about/overview/
2. https://habr.com/ru/company/sibur_official/blog/442910/
3. https://habr.com/ru/company/sibur_official/blog/448192/
4. https://habr.com/ru/company/sibur_official/blog/509218/
5. https://habr.com/ru/company/sibur_official/blog/436632/

Архитектура

В первую очередь мы постарались прикинуть, с какими именно данными предстоит работать — какие тут есть системы, какие датчики. Поняли, что будут как потоковые данные (это то, что генерируют сами предприятия со всего своего оборудования, это IIoT и прочее) и классические системы, разные CRM, ERP и подобное.

Поняли, что данных в текущих системах будет не прямо чтобы совсем много по объему, но с внедрением цифровых инструментов и IIoT их станет очень много. А еще будут очень разнородные данные из классических учетных систем. Поэтому придумали архитектуру вот такого плана.

Далее подробнее по блокам.

За свое почти 15-летнее существование «Премия HR-бренд» отметила огромное число HR-проектов, доказавших свою эффективность в управлении культурой, структурой, различными HR-процессами и IT-инструментами компаний

«Мы отмечаем, что число заявок увеличивается с каждым годом, а это значит, что активно развивается не только сфера HR, но и весь рынок труда, а корпоративные отношения и коммуникации между сотрудниками и работодателями выходят на новый, еще более качественный уровень», – сказал Михаил Жуков, генеральный директор HeadHunter – организатора Премии.

По итогам голосования жюри обладателями Премии HR-бренд в 2018 году стали:

Номинация «Мир»

1. DataArt
2. ООО «Исследовательский центр Самсунг» (Samsung R&D Institute Rus)
3. «Леруа Мерлен»

Номинация «Федерация»

1. ООО «СИБУР»
2. Розничная сеть «МТС»
3. Mail.Ru Group

Номинация «Столица»

1. «Хлеб Насущный»
2. ЗАО БКК «Коломенский»
3. «Норникель»

Номинация «Регион»

1. АО «Владхлеб»
2. AP Trade
3. МТС

Номинация «Северная столица»

1. Не выявлен
2. Группа компаний «ЦРТ»
3. ООО «Ниссан Мэнуфэкчуринг РУС»

Номинация «Малый бизнес» — АО «НПО «Стример»

Ежегодная номинация «Большое сердце» — МТС и Страховая компания «Согласие»

Специальная номинация «Цифровая трансформация» — Rambler Group

Специальная номинация «Равные возможности» — Бургер Кинг

Специальная номинация «HR по другим правилам» — Heineken Russia (ООО «Объединенные пивоварни Хейнекен»)

Специальная номинация «Аналитика в HR» — ООО «Леви Штраусс Москва»

Специальная номинация «Рабочий фокус» — ПАО «Аэрофлот – российские авиалинии»

Генеральный партнёр Премии — KFC (Yum! Brands)

Партнёры Премии: Данкин Донатс, ЛокоТех, РБК, РООИ Перспектива, РТ Лабс, Сбербанк, ЭКОПСИ Консалтинг, Perfetti Van Melle, SAP, Tele 2, X5 Retail Group

О Премии HR-бренд 2018

Премия HR-бренд учреждена компанией HeadHunter в 2006 году и призвана определить лучшие HR-проекты российских компаний в области управления персоналом.  Номинанты Премии HR-бренд получают признание и известность, а участники — возможность обмена опытом и знакомства с лучшими HR-практиками. Победители премии из числа ведущих федеральных и региональных работодателей определяются независимым жюри, состоящим из признанных экспертов и профессионалов отрасли.  Премия HR-бренд проводится ежегодно.

О HeadHunter

HeadHunter – крупнейшая онлайн-рекрутинг платформа в России, клиентами которой являются порядка 200 тыс. компаний. Обширная база кандидатов HeadHunter содержит более 30 млн резюме, а среднее дневное количество вакансий превышает 450 тыс. По данным SimilarWeb, HeadHunter занимает третье место в мире по популярности среди порталов по поиску работы и сотрудников.

Инфраструктура «СИБУРа» для сбора данных

В «СИБУРе» уже построена система сбора, обработки и хранения данных, при этом ее развитием нужно заниматься постоянно. Под «системой» я подразумеваю платформу, которая отчасти является классическим хранилищем данных, отчасти представляет собой задел на будущее, своего рода Data-Hub.

Не все наши производственные участки генерируют данные. Предположим, мы хотим построить с помощью Data Science модель для определенного участка, а для этого нужно «врезать» в производство хроматограф (устройство для анализа сложных газовых веществ, разделяющее их на монокомпоненты). Значит, придется ждать планового ремонта, иначе установка хроматографа становится нерентабельной, а следующий останов по плану может быть только через два года. Кроме того, есть участки с оборудованием, с которого в принципе нельзя снимать данные, а его полная замена обойдется дорого. Так что проще оставлять такое оборудование, чтобы оно дорабатывало свой жизненный цикл, а после плановой замены уже начинать собирать данные.

На рынке не всегда есть готовые решения под конкретные задачи производства. Например, мы не смогли найти взрывозащищенные датчики и маяки, работающие при -55 °C. Наши коллеги сами разработали это оборудование.

Классический пример использования продвинутой аналитики, о котором мы любим рассказывать, — повышение эффективности экструдера. Это аппарат, который нарезает полипропилен на гранулы. Иногда он забивается, и, чтобы его почистить, приходится останавливать оборудование. В 2017 г. у нас было 19 таких остановов. После анализа данных мы создали аналитическую модель, предупреждающую оператора о том, что через час экструдер может забиться. Как результат, в 2018 г. не было ни одной внеплановой остановки.

Грейдинговая система на практике, пример расчета

После введения грейдерной системы оплаты меняется порядок расчета зарплаты работников. Новый принцип расчета сводится к выполнению следующего алгоритма:

1. Составление общей анкеты факторов для всех сотрудников организации.
2. Выделение для каждой конкретной должности минимальных и максимальных значений оплаты труда.
3. Расчет с учетом выявленных факторов минимального и максимального количества баллов.
4. Разделение интервала баллов на несколько отрезков, достижение которых будет соответствовать определенному грейду.
5. Установление размера оплаты. Для самого низкого грейда минимальный набор факторов будет гарантировать получение среднерыночной оплаты труда по должности, для каждого последующего уровня зарплата повышается на определенный процент или сумму.

Рассмотрим это на примере определения зарплат уборщика и начальника отдела организации.

Упрощенная общая таблица такова:

Сотрудникам, с учетом выделенных критериев оценки, можно присвоить баллы в пределах установленного диапазона:

В организации введена система 3 грейдов, при этом для уборщика установлены следующие интервалы:

• 1-3 балла — 1 грейд;
• 4-10 баллов — 2 грейд;
• 11-16 баллов — 3 грейд.

Для начальника отдела интервалы таковы:

• 1-11 баллов — 1 грейд;
• 12-20 баллов — 2 грейд;
• 21-30 баллов — 3 грейд.

Если среднерыночная зарплата для уборщика и начальника отдела составляет 10 000 и 25 000 рублей соответственно и за каждый последующий грейд установлена надбавка в 10%, то зарплата рассматриваемых в примере сотрудников будет такой:

• для уборщика — 10 000, 11 000 и 12 000 рублей для 1-го, 2-го и 3-го грейдов соответственно;
• для начальника отдела (соответственно) — 25 000, 27 500 или 30 000 рублей.

Таким образом, система грейдов — это порядок оплаты труда исходя из уровня, присваиваемого работнику с учетом его деловых качеств. Грейдерная система подходит для крупных организаций, поскольку требует масштабных подготовительных работ по сбору и анализу информации обо всех существующих в организации должностях и действующих работниках. Завершается работа изданием локального акта, к разработке которого привлекается профсоюзный орган.

Система грейдов взяла свое начало в США в XX веке. Ее разработали для государственных структур. Целью создания подобной системы было формирование оплаты труда для государственных работников равного профессионального уровня, реализующих разные задачи.

Дорогие читатели! Статья рассказывает о типовых способах решения юридических вопросов, но каждый случай индивидуален. Если вы хотите узнать, как решить именно Вашу проблему
— обращайтесь к консультанту:

ЗАЯВКИ И ЗВОНКИ ПРИНИМАЮТСЯ КРУГЛОСУТОЧНО и БЕЗ ВЫХОДНЫХ ДНЕЙ
.

Это быстро и БЕСПЛАТНО
!

Универсальная схема берет во внимание множество показателей, которые влияют на материальное возмещение по какой-либо должности. В России данную систему впервые использовали в 1984 году в фирме DHL

У них функционировала 4-разрядная система компенсации труда. Затем ее установили в фирме «Вимм-Билль-Данн», IBS и «Рольф». Аналог системы грейдов функционировал в Советском Союзе. Речь идет о Тарифной квалификационной сетке. Однако ее применяли только к отдельным категориям должностей. Кроме того, она анализировала работников формально

В России данную систему впервые использовали в 1984 году в фирме DHL. У них функционировала 4-разрядная система компенсации труда. Затем ее установили в фирме «Вимм-Билль-Данн», IBS и «Рольф». Аналог системы грейдов функционировал в Советском Союзе. Речь идет о Тарифной квалификационной сетке. Однако ее применяли только к отдельным категориям должностей. Кроме того, она анализировала работников формально.

Законно ли установление грейдов в свете ст. 3 ТК РФ?

Согласно ст. 3 ТК РФ, нельзя ограничивать работника в правах или предоставлять ему преимущества, основанные на происхождении, языке, половой принадлежности или иных качествах сотрудника, за исключением деловых. В п. 10 постановления Пленума Верховного суда «О применении судами Российской Федерации Трудового кодекса Российской Федерации» от 17.03.2004 № 2 разъясняется, что под деловыми качествами работника понимается его способность выполнять трудовую функцию с учетом определенных качеств:

1. Личностных:

• опыта работы;
• состояния здоровья;
• образования и т. д.

Профессионально-квалификационных:

• профессии;
• квалификации;
• специальности и т. д.

Не всегда система грейдов кажется работникам справедливой, т. к. они при этом могут получать разную зарплату при схожих и даже одинаковых условиях труда. Такое положение нередко трактуется недовольными сотрудниками как дискриминация. В качестве правового обоснования при этом трудящиеся ссылаются на ст. 22 ТК РФ, в силу которой за равноценный труд наниматель обязан платить одинаково.

Судебный иск с подобным основанием был рассмотрен Исакогорским районным судом г. Архангельска, который в решении от 28.05.2012 № 2-169/2012 указал, что установление должностного оклада — это право нанимателя. При этом работник оставил без внимания ст. 132 ТК РФ, согласно которой зарплата обуславливается не только сложностью работы и затраченным трудом, но и квалификацией работника, поэтому работодатель вправе определять размер зарплаты в индивидуальном порядке. Поскольку разный размер оклада был обусловлен разным стажем и, соответственно, разными деловыми качествами истца и его коллеги, дискриминации в данном случае суд не усмотрел.

Таким образом, установление грейдерной системы не является дискриминацией, если грейды устанавливаются на основе деловых качеств работников.

С чем пришлось столкнуться при разработке VR-тренажеров

Промышленнику и айтишнику не всегда бывает просто найти общий язык. Главным уроком при реализации проекта я считаю недостаточную решительность на первом этапе. Следовало сразу настоять на создании кросс-функциональных команд для каждого тренажера, в которые вошли бы методолог, специалист от производства и тестировщик.

Представители подрядчика некоторое время сопротивлялись этой идее, в результате чего менеджер проекта стал «бутылочным горлышком», замедляющим многие процессы. Как только кросс-функциональные команды сформировались, процесс создания VR-тренажеров пошел быстрее.

Однако появились другие проблемы. Оказалось, что не существует готовых сценариев работы специалистов, которые бы легли в основу тренажеров

А IT-специалисты не всегда обращали внимание на мелочи, важные для понимания процесса и обучения новичков. Например, в симуляторе работы сварщика не учли тот факт, что в начале нужно задвинуть противоискровую шторку — проблему обнаружил специалист только во время проверки

Но работа над алгоритмами принесла и неожиданные плюсы. Работники предприятий получили возможность подробно разобрать свой рабочий процесс и затем обновить регламенты.

Ошибайся быстро

– Готова ли компания ошибаться, внедряя различные диджитал-инструменты?

– А вот это очень правильный вопрос. И еще важный вопрос: какова может быть цена ошибки?

– Вероятно, поэтому важно иметь какое-то подразделение в компании, где цифровые инициативы оценят, прежде чем запустить их в тираж?

– Вы о центре цифровых компетенций? Да, но нужно еще правильно понимать, что он собой должен представлять и для чего вообще нужен. Речь не должна идти о централизации всех ресурсов под одной «крышей». Это неправильно. Центр компетенций должен быть экспертным подразделением, которое изучает и исследует цифровые инструменты, чтобы определить возможности их применения в бизнесе, и взаимодействует с бизнес-направлениями компании для поиска задач, которые могут решаться с помощью цифровых инструментов. Это дорога с двусторонним движением, перекрестная экспертиза.

Кстати, уже давно стало понятно, что внедрение цифровых решений, как правило, более эффективно осуществляется продуктовыми или функциональными командами, а не с помощью классического централизованного управления. Но для цифровых решений нужно использовать этапы прототипирования и пилотирования

Если важно попробовать, как это будет работать, – нужен прототип. И если прототип не показал свою действенность, то нужно отказываться от дальнейшего развития темы

Здесь должен использоваться принцип Fail Fast («ошибайся быстро»). Понравился прототип – входим в этап его пилотирования в конкретном бизнес-направлении. Успешно отпилотировали? Тогда в тираж для всей компании.

Конечно, работа продуктовых команд требует большого количества выделенных ресурсов. Это недешевый способ. Но он позволяет концентрироваться на задаче, чтобы довести ее до логического завершения быстро. А сейчас скорость – важнейшее преимущество для повышения конкурентоспособности. Но у этого способа есть и подводные камни. При высокой скорости внедрения цифровых решений, затрагивающих ИТ-системы, мы начинаем воздействовать на функционирование ИТ-ландшафта всей компании.

≈500

ИТ-систем действуют в Объединенной металлургической компании в настоящее время.

От дирекции по информационным технологиям требуется обеспечить их надежную эксплуатацию с минимально допустимым количеством инцидентов. От этого зависит надежность работы производственных и непроизводственных процессов. Особенно это относится к критическим процессам и ИТ-системам. Поэтому нужно обеспечить тесное взаимодействие между специалистами по цифровой трансформации и ИТ-специалистами. Нужно соблюдать баланс интересов. Переносить в промышленную эксплуатацию быстро разработанное решение без достаточного объема его тестирования часто чревато проблемами. «Быстро» в нашем случае – не синоним «качественно». Знаете, есть такое выражение: «Никто не помнит, что быстро, все помнят, что плохо». Вот именно об этом я говорю.

– Наверное, страшно так быстро развивать цифровизацию, если учитывать задачи классического ИТ? А если учесть киберугрозы, то страшно вдвойне или даже втройне?

– «Цифра» не только создает возможности, но и формирует дополнительные угрозы, уязвимости для любой компании. Но вопрос не в страхе. Волков бояться – в лес не ходить. Мы постоянно работаем над системой информационной безопасности, основанной на балансе оценки угроз и объема инвестирования в средства защиты и специалистов. Не буду останавливаться на деталях, но в целом мы оцениваем уровень защиты ОМК как достаточный. При этом на месте не стоим. Нельзя стоять. Мы внимательно отслеживаем все тенденции в этом направлении, развиваемся. Да и вообще правильнее говорить о том, что ОМК реализует комплекс организационно-технических мероприятий, а не просто внедряет элементы системы информационной безопасности. И здесь отмечу, что это совместная, крайне тесная, работа с дирекцией по безопасности ОМК и службой АСУ ТП, поскольку для решения этой задачи требуются хорошее взаимодействие и координация специалистов и руководителей всех этих подразделений.

Что это такое?

Грейдирование персонала представляет собой процесс оценивания должностей в фирме по некоторым критериям.

В качестве примера таких факторов оценивания можно привести следующие:

• наличие управленческих функций, количество подчиненных;
• степень участия в прибыли компании;
• самостоятельность в принятии решений;
• опыт;
• стоимость ошибки такого работника.

Это лишь примерный перечень, который утверждается на каждом предприятии, принявшем подобную систему.

Благодаря грейдированию можно устранить ряд проблем, в том числе связать размер трудящегося с его вкладом в развитие предприятия.

Грейдирование персонала и его особенности

Система грейдирования призвана оценить рабочие места с точки зрения их вклада для достижения конечного результата.

Методы грейдирования достаточно многообразны и будут сильно различаться как по точности анализа, так и по длительности самого процесса.

Многие отождествляют ее с тарифной системой. Однако это не так.

В таблице приведены отличия данных систем.

Тарифные системы

Системы грейдов

Оценивают профессиональные знаний, навыки и опыт работы

Более широкая линейка критериев, которая включает, например, ответственность, сложность работы, наличие управленческих функций и пр.

Иерархия выстраивает по нарастающему принципу

Не такая строгая система

Допускает пересечение грейдов, которые относятся к двум близлежащим уровням

Минимальная заработная плата умножается на коэффициенты

Просчет «веса» должности в баллах

Должности выстраиваются только в вертикаль

Должности выстраиваются по принципу важности для дела предприятия

Методики

Классическая методика создана Эдвардом Хеем в 40-е годы XX века. В настоящее время работают и другие способы грейдирования. В том числе они созданы фирмами Mercer, Watson Wyatt и PricewaterhouseCoopers.

Создание системы, как правило, поручается консалтинговым фирмам. Некоторые организации формируют ее без привлечения сторонних компаний.

Каждому показателю присваивается несколько уровней. Они-то и разделяют должности по грейдам.

Правила применения

Принципы корректного применения системы грейдов:

• привлечение к созданию грейдирования управленцев фирмы (в противном случае система не станет действовать, так как создается впечатление, что она навязанная);
• понятные критерии для анализа должностей, которые ясны всем управленцам фирмы и применимы в данной компании;
• «каскадное» согласование системы грейдов: от линейных управленцев до топ-менеджеров (сначала «сверху вниз», а затем «снизу вверх»);
• система грейдов является современным способом мотивации персонала и поэтому должна перекликаться с мотивационной и компенсационной политикой;
• регулярное обновление системы, что позволит сохранять ее актуальность в новых условиях. Пересмотр принятого грейдирования надо проводить каждые 3 года.

Этапы внедрения

Внедрение системы в компанию подразумевает прохождение нескольких стадий:

• подготовка группы для формирования системы, изучение методики;
• создание документации;
• оценка должностей путем проведения опросов, анкетирования, интервью;
• выявление требований, которым должны соответствовать работники на определённых должностях;
• разделение факторов по уровням и их оценка;
• подсчет количества оценок для должности;
• подсчет оценок по грейдам;
• утверждение окладов и «вилок»;
• закрепление в виде документа графика и анализ результатов.

Как мы строим систему обработки, хранения и анализа данных в СИБУРе +16

• 21.01.19 08:21

•
Izayda
•
#436632
•
Хабрахабр

•

•

4300

Машинное обучение, Хранение данных, Блог компании Цифровой СИБУР, Hadoop
Рекомендация: подборка платных и бесплатных курсов 3D-моделирования — https://katalog-kursov.ru/

В начале 2018 года у нас активно пошел процесс цифровизации производства и процессов в компании. В секторе нефтехимии это не просто модный тренд, а новый эволюционный шаг в сторону повышения эффективности и конкурентоспособности. Учитывая специфику бизнеса, который и без всякой цифровизации показывает неплохие экономические результаты, перед «цифровизаторами» стоит непростая задача: всё-таки менять устоявшиеся процессы в компании — довольно кропотливая работа.
Наша цифровизация началась с создания двух центров и соответствующих им функциональных блоков.
Это «Функция цифровых технологий», в которую включены все продуктовые направления: цифровизация процессов, IIoT и продвинутая аналитика, а также центр управления данными, ставший самостоятельным направлением.
И вот как раз главная задача дата-офиса заключается в том, чтобы полноценно внедрить культуру принятия решений, основанных на данных (да, да, data-driven decision), а также в принципе упорядочить всё, что касается работы с данными: аналитика, обработка, хранение и отчетность. Особенность в том, что все наши цифровые инструменты должны будут не только активно использовать собственные данные, то есть те, которые генерируют сами (например, мобильные обходы, или датчики IIoT), но и внешние данные, с четким пониманием, где и зачем их нужно использовать.
Меня зовут Артем Данилов, я руководитель направления «Инфраструктура и технологии» в СИБУРе, в этом посте я расскажу, как и на чем мы строим большую систему обработки и хранения данных для всего СИБУРа. Для начала поговорим только о верхнеуровневой архитектуре и о том, как можно стать частью нашей команды.
Вот какие направления включает в себя работа в дата-офисе:1. Работа с данными
Здесь трудятся ребята, которые активно занимаются инвентаризацией и каталогизацией наших данных. Они понимают, какие есть потребности у той или иной функции, могут определить, какого рода аналитика может понадобиться, какие метрики стоит отслеживать для принятия решений и как используются данные в определённой бизнес-области.2. BI и визуализация данных
Направление тесно связано с первым и позволяет наглядно представить результат работы ребят из первой команды.3. Направление контроля качества данных
Здесь внедряются инструменты контроля качества данных и проводится имплементация всей методологии такого контроля. Иными словами, ребята отсюда внедряют софт, пишут различные проверки и тесты, понимают, как происходят кросс-проверки между разными системами, отмечают функции тех сотрудников, которые отвечают за качество данных, а также налаживают общую методологию.4. Управление НСИ
Мы — компания большая. У нас много разного рода справочников — и контрагенты, и материалы, и справочник предприятий… В общем, поверьте, справочников хватает с лихвой.
Когда компания что-то активно закупает для своей деятельности, у нее обычно есть специальные процессы заполнения этих справочников. В противном случае хаос достигнет такого уровня, что работать будет невозможно от слова «совсем». У нас такая система тоже есть (MDM).
Проблемы тут вот в чем. Допустим, в одном из региональных подразделений, которых у нас много, сидят сотрудники и вносят в систему данные. Вносят руками, со всеми вытекающими из такого способа последствиями. То есть им надо внести данные, проверить, что все доехало в систему в нужном виде, без дублей. При этом некоторые вещи, в случае заполнения каких-то реквизитов и обязательных полей, приходится вообще самостоятельно искать и гуглить. Например, есть у тебя ИНН компании, а тебе нужны остальные сведения — ты проверяешь через специальные сервисы и ЕГРЮЛ.
Все эти данные, конечно, уже где-то есть, поэтому было бы правильно их просто автоматически подтягивать.
Раньше в компании в принципе не было какой-то единой должности, четкой команды, которая бы этим занималась. Было множество разрозненных подразделений, вручную вносящих данные. Но таким структурам обычно сложно даже сформулировать, что именно и где именно в процессе работы с данными надо изменить, чтобы все было отлично. Поэтому мы пересматриваем формат и структуру управления НСИ.5. Внедрение хранилища данных (узел данных)
Вот именно это мы и начали делать в рамках этого направления.
Давайте сразу определимся с терминами, а то используемые мной словосочетания могут пересекаться с какими-нибудь другими концепциями. Грубо говоря, узел данных = озеро данных + хранилище данных. Чуть дальше я раскрою это подробнее.

Хранение

Это основное ядро нашей платформы. То, что используется для обработки и хранения данных. Задача — загружать данные более чем из 60 различных систем, когда они начнут их поставлять. То есть тут вообще все данные, которые могут пригодиться для принятия каких-то решений.

Начнём с извлечения и обработки данных. Для этих целей мы планируем использовать ETL-инструмент NiFi для потоковых и пакетных данных, а также инструменты для стриминговой обработки: Flume для первичного приема данных и их декодирования, Kafka для буферизации, Flink и Spark Streaming как основные инструменты обработки потоков данных.

Наиболее сложно работать с системами стэка SAP. Извлекать из SAP данные придётся с помощью отдельного ETL-инструмента — SAP Data Services.

В качестве инструментов хранения мы планируем использовать платформу Cloudera Hadoop (сам HDFS, HBASE, Hive, Impala), аналитическую СУБД Vertica и, для отдельных кейсов, elasticsearch.

В принципе, мы используем самый современный стэк. Да, нас можно попробовать закидать помидорами и поусмехаться над тем, что мы называем самым современным стэком, но на самом деле — так и есть.

Мы не ограничены legacy-разработкой, но при этом не можем использовать bleeding edge в промышленном решении из-за явной enterprise ориентированности нашей платформы. Поэтому, может, мы и не тащим Horton, а ограничиваемся Clouder’ой, там, где можно, мы обязательно пытаемся затащить более новый инструмент.

Для контроля качества данных используется SAS Data Quality, а Airflow для управления всем этим добром. Мониторинг всей платформы делаем через стек ELK. Визуализацию по большей части планируем делать на Tableau, какие-то совсем статичные отчеты на SAP BO.

Уже сейчас понимаем, что часть задач невозможно реализовать через стандартные BI-решения, так как требуется совсем изощренная визуализация в реальном времени с множеством картонных контролов. Поэтому будем писать свой фреймворк визуализации, который можно было бы встраивать в разрабатываемые цифровые продукты.