Как мы научились управлять данными глобального масштаба: кейс разработки супермаркета данных / хабр

О разработке «Байкал М»

Что такое отечественный процессор «Байкал М»? По словам разработчиков, это система на кристалле, включающая в себя процессорные энергоэффективные ядра (архитектура ARMv8), комплекс высокоскоростных интерфейсов и графическую подсистему. Такое мощное устройство может применяться в роли доверенного процессора с большими возможностями защиты данных для устройств сегментов В2С и В2В.

Коснемся основных областей использования процессора:

Графические рабочие станции.
Моноблоки.
Автоматизированные рабочие места.
Терминалы и серверы видеоконференций.
Офисные и домашние медиа-центры.
Брандмауэр.
Маршрутизатор.
Микросервер и проч.

Российский процессор «Байкал-М» выделяется высоким уровнем интеграции. Это позволяет вести разработку компактной продукции, в которой основная часть добавленной стоимости приходится на отечественное детище.

Еще одно важное достоинство устройства: его можно применять для систем, работающих со строго конфиденциальными данными. Это позволяет полная информация о логической схеме процессора, физиологической топологии его микросхемы, доверенное программное обеспечение и соответствующее аппаратное решение

Облигации со структурным доходом

Правильные ответы на вопросы тестирования расположены ниже.

Можно ли в дату приобретения облигации, величина и (или) факт выплаты купонного дохода по которым зависит от изменения стоимости какого-либо актива (изменения значения какого-либо показателя) или наступления иного обстоятельства (облигаций со структурным доходом), точно рассчитать общий размер купонного дохода по такой облигации, который будет выплачен ее эмитентом?

Ответ: нет. Размер купонного дохода не может быть точно рассчитан, поскольку известен порядок расчета, но неизвестны точная рыночная стоимость активов и (или) точные значения финансовых показателей, от которых зависит величина купонного дохода.

Что из перечисленного не является риском по облигации со структурным доходом?

Ответ: риск получения убытков при погашении облигации со структурным доходом в виде разницы между номиналом облигации и суммой, выплаченной эмитентом при её погашении

Возможно ли точно определить, как повлияет изменение рыночной стоимости активов и (или) значений финансовых показателей, от которых зависит размер купонного дохода по облигации со структурным доходом, на цену продажи такой облигации инвестором на вторичном рынке?

Ответ: нет, точно определить невозможно поскольку на цену облигации со структурным доходом влияет значительное число факторов

Выберите верное утверждение относительно рыночной стоимости облигации со структурным доходом, который зависит от цены определенной акции.

Ответ: рыночная стоимость облигации со структурным доходом зависит от многих факторов, одним из которых является изменение цены соответствующей акции, но не определяется им напрямую

Кем и в какой момент устанавливается порядок определения сумм выплат по облигации со структурным доходом?

Ответ: Порядок устанавливается уполномоченным органом эмитента до даты начала размещения выпуска облигаций со структурным доходом.

Выберите правильное утверждение. Размер дохода инвестора по облигациям со структурным доходом…

Ответ: зависит от обстоятельств и значений, определяемых в отношении базовых активов, которыми могут быть акции, товары, валюты, процентные ставки и иные законодательно определенные показатели

Облигации со структурным доходом гарантируют их владельцам выплату …

Ответ: только номинальной стоимости при погашении ?

Вы приобрели облигацию со структурным доходом, по которой предусмотрен доход по фиксированной ставке купона и купонный доход (не является фиксированным).

Купонный доход по такой облигации зависит от цены акции компании А и выплачивается при погашении облигации при условии, что цена акции компании А на дату наблюдения выше первоначальной цены. Цена акции на дату наблюдения оказалась ниже первоначальной цены на 1%. При этом на дату выплаты купонного дохода цена акции была выше первоначальной цены на 5%.

Что будет выплачено при погашении облигации?

Ответ: доход по фиксированной ставке купона и её номинальная стоимость

АС, связанные с обслуживанием клиентов в удаленных каналах

ЕРИБ (единый розничный интернет-банк);
МБК (мобильный банк по картам). Обеспечивает предоставление информационных услуг держателям международных карт «Сбербанка» на мобильные телефоны;
МБВ (мобильный банк по вкладам). Обеспечивает информирование клиентов и совершение операций по оплате услуг со счетов вкладов с помощью SMS;
ЕРМБ – единый розничный мобильный банк (приложение «Мобильный банк/Сбербанк Онлайн»). Обеспечивает взаимодействие с клиентом банка посредством приема и отправки SMS-сообщений, USSD-запросов и PUSH-уведомлений для информирования клиентов о совершенных операциях и совершения активных операций по счетам и картам клиента;
АС СИРИУС (система интеграции устройств самообслуживания). Обеспечивает централизованное формирование сценариев взаимодействия устройства самообслуживания с клиентом; управление спецификацией предоставляемого клиенту набора бизнес-сервисов, доставку бизнес-сервисов до устройства самообслуживания;
АС Автоплатежи (предоставление клиентам банка услуги автоматических безналичных платежей со счетов банковских карт в адрес операторов сотовой связи;
АС Сверка (сверка операций на устройствах самообслуживания);
АС СМСУО — система мониторинга работы систем, управляющих очередями клиентов в подразделениях банка (электронная очередь). Построение централизованной отчетности по данным, поставляемым системами управления очередями;
АС ЕПС (единая платежная система). Предназначена для автоматизации работ по обработке принятых платежей от населения в филиалах (операционных частях) «Сбербанка», подготовке необходимых проверочных ведомостей, подготовке платежных поручений для перечисления сумм принятых платежей и подготовке электронных и бумажных реестров принятых платежей для организаций-получателей.

MVP и развитие решения

Супермаркет данных — довольно сложное архитектурное решение, которое на начальных этапах отличалось от того, что мы имеем сейчас. Внутри него огромное количество интеграций с системами Сбера. Релиз формируется из работы нескольких команд, каждая из которых решает свой пул задач и реализует свой бэклог.

MVP включал в себя базовый функционал:

Ограниченный набор данных в ассортименте
Ограниченная аудитория в рамках работы с MVP продукта
Из всех вариантов поставки данных — только снепшот (полный объем таблицы источника, без возможности наложить фильтр или получить дельту изменений данных за период) по расписанию не чаще раза в день
Запрошенные данные можно получить только после процесса их подготовки и из специализированного hadoop-кластера под именем DDA — data distribution area, область распространения данных
Многие опции подписок (например, сложные фильтры на данные) и прочие полезные бантики были пущены под нож

Очень много идей из концепции также были перенаправлены в бэклог для дальнейшей приоритезации.

После запуска MVP первым делом:

Cервис был интегрирован в инфраструктуру Сбера, из самого важного:

Обеспечили поддержку сервиса централизованного управления пользователями и их ролями,
Запустили процесс регулярного получения метаданных для построения актуального ассортимента из сервиса управления метаданными Фабрики данных Сбера

Реализован базовый функционал уведомлений пользователей о различных событиях, связанных с их подписками, на портале и через почту
Добавлен поиск по объектам ассортимента

В рамках первой вехи развития решения наша совместная команда:

Предоставила возможность построения промышленных трактов, которым требуется повышенная надёжность и безопасность. Здесь добавили поддержку выделенных технических учётных записей. Их использование позволяет оформлять специальные «промышленные» подписки, которые не зависят от конкретного человека, предполагают двойной контроль изменений и отдельные условия поддержки.
Расширила возможность использования СМД внутри контура Сбера. Начали поддерживать больше платформ-приемников, расширяя список бизнес-задач, которые можно решить.
Добавила полноценную фильтрацию запрошенных данных при оформлении подписок
Расширила доступный для заказа ассортимент

Из важного — добавили возможность заказа данных с использованием Единого Семантического Слоя (ЕСС) Сбера.

Полноценное описание ЕСС заслуживает отдельной статьи. Если коротко, то это изначально общая логическая модель данных всего Сбера, структурированная по предметным областям и наполненная данными из разных источников. Использование ЕСС дает пользователю возможность оперировать бизнес-данными без необходимости разбираться в какой-то конкретной структуре хранения данных какого-то конкретного источника.

Следующая веха была заточена под развитие условий поставки данных. Продукт стал доставлять данные:

Не только по расписанию, но и по факту обновления данных в источнике
Не только снепшоты, но и инкременты, чтобы позволить экономить время и вычислительные ресурсы
Не только пакетным способом, но и потоковым, в режиме около реального времени
Не только поставлять данные (перекладка данных, ETL), но и управлять доступом к данным по подписке через сервисы проксирования. Так получатель обращается к запрошенным данным напрямую, без ETL-процесса подготовки данных и размещения их в DDA. Подобная оптимизация особенно актуальна для гигантских объемов информации, так как, по сути, получение данных выполняется в два раза быстрее и с экономией места на дисках.

Следующая важная задача — поддержка обновленных требований кибербезопасности по поставке чувствительных данных через Супермаркет данных. Это был отдельный большой проект нескольких команд Сбера, начиная от проработки процесса и архитектуры и заканчивая доработкой нескольких систем, включая Супермаркет. В рамках этого проекта команда:

Реализовала механизм доступа к данным через теги доступа. Теги доступа представляют собой своего рода ярлыки, которые устанавливаются на данные любого уровня атомарности: от целой схемы до конкретного атрибута. Это позволяет владельцу данных гибче определять ценность и защиту для своих данных
Внедрила защиту данных с использованием технологии токенизации и шифрования.

Дополненная концептуальная архитектура с высоким уровнем абстракции теперь выглядит так:

Основные характеристики и применение Intel 4004

В ноябре 1971 года состоялся анонс процессора 4004, который использовался в микрокомпьютере MCS-4. Четырехразрядный чип состоял из 2300 транзисторов и функционировал на частоте всего 93 кГц (килогерц).

Современные процессоры – это уже ставшие привычными 64-х разрядные микросхемы с гигогерцовыми скоростями работы. Но те 4 разряда и около сотни килогерц были огромным успехом микрорадиоэлектроники. Ведь это была первая коммерческая микросхема, доступная всем.

Такая микросхема, сделанная на одном единственном полупроводниковом кристалле, размером 3х4 мм, по своим функциям полностью заменяла известные на тот момент большие ЭВМ. Электронно-вычислительные машины (ЭВМ) того времени размещались в огромных залах и снабжались промышленными системами охлаждения и кондиционирования. А тут, взамен всей этой дорогостоящей громадине, – одна малюсенькая микросхема в стандартном корпусе, как многие другие микросхемы того времени, и ценой всего около 200 долларов США.

Первоначально процессор 4004 разрабатывался как основной вычислительный элемент в калькуляторах. Позднее его широко начали использовать в других устройствах. Например, в медицине для анализа крови, для управления сетью светофоров и для многого другого.

Также существует красивая легенда о том, что Intel 4004 применялся в исследовательской ракете «Pioneer 10». Увы, это лишь легенда, нисколько не умаляющая истинное значение разработки и выпуска первого микропроцессора 4004.

Выводы

Никто тогда и подумать не мог, насколько важным оказался тот самый первый процессор 4004. Чуть позже процессоры стали главными компонентами многочисленных устройств и систем, включая офисную и бытовую технику.

Процессоры входят в состав персональных компьютеров, ноутбуков, планшетов, смартфонов и в другие устройства, что теперь привычно сопровождает нас в нашей современной жизни, насыщенной информацией.

Дополнительные материалы:

1. Краткая история появления персонального компьютера IBM PC

2. Оперативная память компьютера через призму Диспетчера задач Windows

3. Языки программирования: почему появились, яркие представители, как выбрать язык

Распечатать статью

Получайте актуальные статьи по компьютерной грамотности прямо на ваш почтовый ящик. Уже более 3.000 подписчиков

Важно: необходимо подтвердить свою подписку! В своей почте откройте письмо для активации и кликните по указанной там ссылке. Если письма нет, проверьте папку Спам

АС по управлению инвестициями

АС DiasoftCUSTODY 5NT. Система предназначена для автоматизации функций первичного учета и сопровождения операций на фондовых рынках в рамках собственного портфеля центрального аппарата, портфелей территориальных банков и отделений банка в Москве, операций брокерского обслуживания и доверительного управления активами клиентов;
АС DiasoftDEALING 5NT. Система обеспечивает автоматизацию функций первичного учета и сопровождения казначейских операций центрального аппарата «Сбербанка» на денежных рынках и на рынках драгметаллов;
АС Дивиденд. Предназначена для бухгалтерского учета процесса выплаты дивидендов;
АС Реестр акционеров (ведение реестра акционеров «Сбербанка», проведение собрания акционеров);
АИС Депозитарий 2000. Система обеспечивает автоматизацию депозитария в части учета выпусков ценных бумаг, проведения бухгалтерских операций с ценными бумагами; хранение информации об эмитентах ценных бумаг и депонентах и др.;
АС Murex (консолидированный риск трейдинга, P&L — консолидированный риск трейдинга и P&L — фронт-офис);
АС QUIK (система электронной торговли для клиентов брокерского обслуживания). Предоставляет доступ клиентам к торговле на фондовом, денежном и срочных рынках через веб или полноценный клиент;
АС ЦБДБО (централизованная база договоров брокерского обслуживания);
АС FX&MM Plus — занесение заявок корпоративных клиентов на размещение денежных средств в депозиты, векселя, сделок бронирования, а также привлечение кредитов, требующих согласования с департаментом казначейских операций и финансовых рынков, установления процентной ставки, акцептования, хранения и анализа информации по всем заявкам и сделкам с корпоративными клиентами, а также операций на валютном рынке;
АС eFX (стратегическая мультипродуктовая система электронной торговли Apama);
АС Фокус (фронт-офисная система казначейства на фондовом рынке, брокерское обслуживание клиентов на фондовом рынке);
АС SavEx – (электронная площадка для проведения торговых операций с внутренними подразделениями (территориальными банками «Сбербанка» и отделениями Москвы) и внешними клиентами;
АСУ ОВП (автоматизированная система управления открытой валютной позицией);
АС Calypso (TDS) — система продуктового учета внебиржевых деривативов;
АС Удаленное рабочее место депонента (ЛУЧ) — рабочее место для обеспечения электронного документооборота c «Национальным Депозитарным Центром» для исполнения поручений «Сбербанка» на ММВБ.

Планы развития на ближайшие годы

В ноябре 2020 года стали публиковаться планы развития банка на ближайшие годы. Можно сказать, что они «наполеоновские» – но нет ничего невозможного. Предлагаем ознакомиться с планами по нескольким направлениям.

Планы развития:

Структура экосистемы	Планы развития на 2021-2023 гг.
СберМаркет	Увеличить срок доставки. Улучишь качество сервиса. Расширить ассортимент продуктов. Привлечь новых партнеров. Создание онлайн-обучение для сотрудников, которые работают в СберМаркете. Расширение территории доставки.
Работа.ру	Модернизация технологической и продуктовой платформы. Интеграция в экосистему банка, для работы над совместными проектами. Выход на новые бизнес-сегменты. Создание новых сервисов для частных клиентов, компаний.
СберАвто	Масштабировать бизнес. Изменить клиентский опыт в сфере покупок и продаж транспорта. Запустить сервис прямых продаж от автопроизводителя. Покрыть все потребности клиента, связанные с покупкой или продажей автомобиля. Создать единую точку, для входа в экосистему СБЕРа.
Сбер Логистика	Войти в тройку компаний по доставке посылок. Завоевать 15% рынка курьерских посылок. Предложить новые тарифы. Интегрировать сервис с 2ГИС. Расширить партнерские сети.
СберМобайл	Расширение абонентской базы. Региональная экспансия. Развитие IoT/M2M, маркетинговые СМС, VoIP. Создание новых каналов продаж. Создание 5G в беспилотном транспорте и «умных городах».
Okko	Развитие контента. Полная поддержка стриминга в 4k на всех платформах. Переход на облачную платформу.
СберСервис	Увеличение плана продаж в 3 раза.
Деловая среда	Создание сервиса для прекращения предпринимательской деятельности. Развитие подписной модели на платформе dasreda.ru. Создание цифрового сервиса для современной кооперации. Создание онлайн-клуба, в котором клиенты смогут общаться и получать советы по ведению бизнеса.
СберМаркетинг	Расширение клиентской и партнерской базы. Переход к модели интегрированного технологического агентства. Развитие креативного агентства и медиаселлера.
СберДевайсы	Запуск новых устройств. Расширение каналов продаж девайсов.
СберРешения	Запуск новых digital-решений. Расширение продуктовой линейки. Расширение партнерской сети.
Диалоги	Усиление защищенности платформы. Развитие Dialog как центра цифровой рабочей среды для крупнейших предприятий России и госкомпаний
Каршеринг YouDrive	Увеличить парк машин до 10 000 автомобилей.
СберФакторинг	Развитие бесконтактного факторинга. Трансформация «СберФакторинг онлайн» в единую фронтальную платформу для взаимодействия поставщика, покупателя и Фактора

Естественный отбор

С начала пандемии банки пересмотрели критерии риск-профиля заемщиков. Были повышены требования к кредитной истории и показателю долговой нагрузки клиента так, чтобы потенциальный клиент мог комфортно обслуживать задолженность без ущерба для своего материального положения. При принятии решений о выдаче было увеличено количество отправок клиентов на дополнительную ручную верификацию для подтверждения занятости

Одним из стоп-факторов стала отрасль работы (например, гостиничный и ресторанный бизнес, бытовые услуги, торговля отдельными видами непродовольственных товаров), также повышенное внимание стали уделять стабильности дохода клиента. С целью минимизации риска по новым выдачам был снижен размер максимально возможной суммы предоставляемых средств: по кредитам наличными, где традиционно чек больше, чем в прочих сегментах потребительского кредитования, средний размер задолженности в II квартале 2020 года снизился на 20 %, в POS-кредитах и кредитных картах размер предоставляемых средств уменьшился на 10 %

Ввиду ужесточившихся процедур андеррайтинга существенно снизился уровень одобрения кредитных заявок. Банки чуть более лояльно отнеслись к повторным клиентам, где уровень одобрений по кредитам наличными снизился на 20 % и на 40 % по кредитным картам, тогда как по новым заявкам снижение произошло на 33 % и более чем на 50 % соответственно, при этом новых заемщиков банки старались найти среди клиентов обслуживаемых зарплатных проектов.

В результате более жестких условий выдач POS-кредитов и кредитных карт доля кредитов наличными в продуктовой структуре портфеля потребительских кредитов выросла с 72,6 до 73,2 % за 1-е полугодие 2020 года.

Задача

Стандартный сценарий поиска информации представлял собой поход по начальникам департаментов, формирование договоренностей и согласование получения доступов. При этом владельцы данных могли не знать о том, что кому-то вообще нужны данные, тем более в определенном формате, с определенной регулярностью, что их данные могут быть недостаточно качественными и тп. Даже после того, как данные были найдены и доступ был получен, для каждого такого потока данных должно было быть спроектировано и согласовано технологическое решение. Time-to-market мог составлять до полугода.

Среди потребителей данных мы выделяем две большие группы:

Data scientists, Data-инженеры, аналитики данных, разработчики витрин данных, DataOps — для исследования данных и построения моделей
Представители бизнес-подразделений Сбера — от построения автоматизированных процессов решения бизнес-задач до формирования управленческой отчетности в режиме реального времени.

В организациях масштаба Сбера невозможно построить работу с данными в масштабе всей компании без выстраивания процессов управления данным. Обязательно должен быть data governance. И в связи с этим появляются такие роли, как владелец данных, менеджер данных, бизнес-пользователь данных.

Чтобы воспользоваться необходимыми данными потенциальный пользователь данных должен:

Найти нужные данные
Объяснить, зачем ему эти данные и получить к ним доступ
Поддержать техническую составляющую процесса получения данных

При этом необходимые данные могли быть разбросаны по куче разных систем, а их описание могло не давать полноценного понимания, устроят они потребителя или нет.

Поэтому мы сформировали требования к решению, которое позволит:

Легко и быстро искать необходимые данные
Получать данные по нужным условиям (формат / фильтры / условие поставки данных / периодичность и продолжительность поставки)
Получать данные там, где это необходимо получателю (здесь и далее будет использован термин «площадка получения данных»)
Поддерживать различные сопровождающие процессы, которые будут возникать при работе с данными (например, согласования, переходы пользователей между отделами и т.п.)
Соответствовать требованиям безопасности по работе с данными
В целом, удовлетворять нужды разных групп пользователей и стать единым механизмом распространения данных внутри Сбера.

Паи/акции ETF, не включенные в котировальные списки, при наличии договора с биржей

Выберите правильное утверждение в отношении паев/акций ETF на индекс акций

Ответ: Благодаря диверсификации вложений инвестиции в ETF на индекс акций при прочих равных условиях, как правило, связаны с меньшим уровнем инвестиционного риска по сравнению с вложениями в обыкновенные акции иностранных компаний-эмитентов.

Как устроен механизм формирования цены паев/акций ETF?

Ответ: Формируется не на биржевом рынке паев ETF, а на рынке, где обращаются базовые активы, составляющие ETF. Если цена паев фонда окажется выше, чем стоимость его портфеля, приходящаяся на один пай ETF, то авторизованный участник фонда, действуя исключительно в своих интересах за счет операций на первичном и вторичном рынке, вернет цену к справедливому уровню.

На каком принципе основан фонд ETF на индекс акций широкого рынка (например, S&P 500)?

Ответ: диверсификации вложений за счет инвестирования через фонд ETF в различные активы

Как влияет курс рубль/доллар на размер Вашего налогооблагаемого дохода в случае, если Вы купили пай/акцию ETF на американские акции, при условии, что стоимость пая/акции ETF в долларах осталась неизменной, а рубль обесценился за время владения этой ценной бумагой?

Ответ: Налогооблагаемый доход увеличится.

Паи/акции ETF были допущены к торгам на российской бирже по заключенному договору с лицом, обязанным по ним. Выберите верное утверждение.

Ответ: Лицо, обязанное по таким ценным бумагам, должно по российскому законодательству раскрывать информацию о паях/акциях ETF.

В случае, если Вы купили пай/акцию ETF за 100 долларов США и продали его/ее через год за 120 долларов США, при этом курс доллара США за указанный год вырос с 50 до 75 рублей, Ваш налогооблагаемый доход в России составит:

Ответ: 4000 рублей

Что из перечисленного не является риском, связанным с вложениями российских инвесторов в паи/акции ETF?

Ответ: Риск изменения суверенного рейтинга Российской Федерации.