Как скрестить intel с эльбрусом: обзор новой линейки схд аэродиск

Плюсы виртуализации

Плюсы использования виртуализации для бизнеса можно разделить на 3 категории.

1. Снижение расходов на ИТ.

Единственный способ (помимо виртуализации) получить больше вычислительных ресурсов — приобрести новое оборудование. При этом затраты на виртуализацию почти всегда оказываются ниже, чем затраты на приобретение и обслуживание дополнительного оборудования. Поясним.

Зачастую компании развертывают серверы для запуска приложений, которые потребляют лишь малую часть имеющихся у них ресурсов и не используют свой потенциал в полной мере, а иногда и вовсе простаивают. Используя тактику виртуализации, можно внимательно изучить существующую инфраструктуру и выявить потраченные впустую или бездействующие вычислительные ресурсы. В виртуализированной среде можно назначить каждой виртуальной машине точно такой объем вычислительной мощности, который ей необходим для выполнения своей работы. Оставшиеся ресурсы затем становятся доступными для других виртуальных машин и их приложений.

Таким образом можно добиться не только экономии средств и максимизации пользы от имеющихся ресурсов, но и повысить уровень автоматизации процессов, а также адаптивность и масштабируемость бизнеса.

2. Отказоустойчивость.

В отличие от традиционной среды, виртуализированная серверная среда не привязана к оборудованию. Вы можете легко создавать резервные копии, копировать и клонировать виртуальные машины на другое физическое оборудование. Резервные копии могут создавать автоматически, а система будет сохранять актуальную информацию в бэкапах.

3. Облегченное тестирование.

Поскольку виртуализированная среда разделена на виртуальные машины, разработчики могут быстро развернуть виртуальную машину, не оказывая влияния на производственную среду. Это особенно полезно для разработки и тестирования.

Например, если было выпущено новое обновление ПО, можно клонировать виртуальную машину и применить это обновление, протестировать среду, а затем загрузить ее в рабочее приложение.

Сегодня на рынке представлен целый ряд решений по виртуализации. У каждого из них есть свои плюсы и минусы, и каждое из них отвечает различным запросам бизнеса. Сегодня мы расскажем подробнее о трех решениях от российских разработчиков: vStack, AERODISK vAIR и «Р-Виртуализация».

Обзор аппаратных платформ

Начинаем обзор с аппаратной составляющей. Линейка СХД АЭРОДИСК глобально делится на два продукта:

АЭРОДИСК Восток – СХД на базе процессоров Эльбрус.

АЭРОДИСК Engine – СХД на базе процессоров x-86.

Процессорная архитектура – это единственное отличие данных двух продуктов. Другая начинка СХД, т.е. кодовая база, фронт/бэк-энд адаптеры, корпус, носители информации, модули расширения и т.п. являются либо идентичными, либо очень похожими.

Кстати, именно эта «генетическая» близость двух продуктов подтолкнула нас к созданию опциональной функции «Кластер хранения», которая позволяет объединять системы хранения на разных процессорных архитектурах. Но об этом немного позже. Сейчас же посмотрим на железки.

Контроллерные пары

Контроллерные пары СХД АЭРОДИСК серии 5 независимо от процессорной архитектуры выпускаются в идентичных корпусах следующих форматов:

  • Двухконтроллерное шасси формата SBB (Storage Bridge Bay) – классическое исполнение СХД, узлы контроллерной пары физически расположены в одном корпусе/шасси, соединены внутри корпуса интерконнектом по шине PCI или Ethernet (RDMA) и подключены к общему бэкплейну дисковой корзины на передней панели корпуса. Для дополнительного расширения емкости и/или производительности предусмотрены внешние модули (см. раздел «Модули расширения»).

  • Раздельные узлы контроллерной пары, то есть контроллеры СХД, расположены в разных корпусах, соединяются между собой с помощью внешнего интерконнекта по оптическому Ethernet (10/25/40/100 Gb/s) с поддержкой RDMA. Дисковые корзины в таком решении могут быть только внешние (см. раздел «Модули расширения»)

СХД АЭРОДИСК серии 5 в шасси формата SBB 2U

На всех доступных вариантах контроллерных пар предустановлено программное обеспечение АЭРОДИСК A-CORE версии 5.

Все контроллерные пары поддерживают установку следующих Front/Back-end адаптеров:

  • Fibre channel 8/16/32 Gb/sec

  • Ethernet 1/10/25/40/100 Gb/sec

  • Infiniband 40/56/100 Gb/sec

Доступные конфигурации контроллерных пар приведены в документе «Техническая спецификация»:

ENGINE-5

ВОСТОК-5

СХД АЭРОДИСК серии 5 шасси формата SBB 4U (слева) и разделенная контроллерная пара + дисковая полка (справа)

Модули расширения

Модули расширения позволяют решать две задачи: увеличение емкости и увеличение производительности:

  • Модули расширения дисковой емкости (дисковые полки)

  • Модули увеличения вычислительной мощности (IO-модули)

Модули расширения дисковой емкости – это классические дисковые полки. В системах хранения АЭРОДИСК серии 5 поддерживаются следующие модели дисковых полок:

  • 12 дисков SAS 2,5/3,5’, 2U, 2xБП

  • 24 диска SAS 2,5/3,5’, 4U, 2xБП

  • 24 диска SAS 2,5’, 2U, 2xБП

  • 60 дисков SAS 2,5/3,5’, 4U, 2xБП

  • 108 дисков SAS 2,5/3,5’, 4U, 2xБП

Модули расширения вычислительной мощности (IO-модули) – это дополнительные вычислительные узлы СХД, обеспечивающие операции ввода-вывода для подключенных к ним дисковых корзин / полок. В отличие от контроллеров СХД IO-модули не выполняют каких-либо управляющих функций.

С аппаратной точки зрения IO-модули полностью повторяют контроллерные пары, при этом на программном уровне есть существенные отличия. На IO-модулях установлена ограниченная версия ПО A-CORE (IO-версия), которая не требует дополнительных лицензий как на контроллерные пары. В данную версию ПО включены только Back-end часть IO-движка A-CORE, сервисная консоль (для гарантийного обслуживания) и Restful API. Все взаимодействие контроллерных пар и IO-модулей реализовано через Restful API в рамках кластера хранения. С точки зрения администратора СХД при этом подход к управлению не меняется, все управление происходит из веб-интерфейса контроллерных пар кластера (более подробно см. раздел «Кластер хранения»).

Более подробная информация об аппаратной составляющей, включая доступные конфигурации, лицензионные опции и поддерживаемые носители информации, приведена в технических спецификациях продуктов:

ENGINE-5

ВОСТОК-5

Преимущества систем Аэродиск

Выделю следующие преимущества у систем хранения данных Aerodisk:

  1. Высокая надёжность – поддерживает работу в режиме высокой доступности ACTIVE-ACTIVE
    в конфигурации от 2-х до 8-ми контроллеров в активном режиме, что позволяет организовать доступность данных на уровне 99,999%.
  2. Высокая производительность – поддержкой ALLFLASH конфигураций с применением самых современных SSD NVMe носителей.
  3. Локальной и удаленной защитой данных – реализация любых катастрофоустойчивых сценариев с помощью технологий синхронной и асинхронной репликации, а также метрокластера.
  4. Консолидация инфраструктуры хранения – объединение до 16 СХД АЭРОДИСК на базе процессоров Эльбрус и x86 в единую безопасную и отказоустойчивую инфраструктуру хранения.
  5. Низкой стоимостью хранения данных – за счет использования функций онлайн-дедупликации и онлайн-компрессии данных, которые, в свою очередь, позволяют экономить дисковое пространство.
  6. Российская разработка – находится в реестре Минпромторга, а программное обеспечение АЭРОДИСК – в реестре Министерства цифрового развития.

Дополнительный немаловажный функционал:

  • Виртуализацией сторонних СХД – позволяют виртуализовать дисковую емкость сторонних СХД по проколам FC/iSCSI.
  • Миграция блочных устройств «на лету» – функционал миграции блочных устройств на RDG и DDP «на лету» прозрачно для конечного потребителя.
  • Миграция данных с внешних СХД – онлайн миграция данных блочных устройств с внешних СХД
  • Репликация синхронная и асинхронная – для создания плана аварийного восстановления
  • Метрокластер – процесс автоматического переключения между площадками
  • Ускорение ввода/вывода для HDD дисков – SSD-кэш чтение и запись (SSD RW); SSD-кэш чтение и запись, и хранение метаданных (SSD RW +MCACHE); Online-tiering (SSD Online-tiering).
  • VLAN и BONDING – для ускорения операций ввода/вывода можно задействовать функционал объединения нескольких физических портов в один логический порт-BOND интерфейс
  • Quality of Service – параметры качества обслуживания назначаются на уровне каждого конкретного LUN и могут ограничивать его потребление ресурсов в MB/s и IOPS.
  • Авто-поддержка – сервис постоянного проективного мониторинга всех компонентов СХД; автоматической отправки диагностической информации в АЭРОДИСК в случае сбоя; автоматического открытия обращений (тикетов).

На основании проведенного анализа, данные системы хранения можно считать достойными решениями, со схожим и не уступающим функционалом, аналогичным импортным продуктам производителей, ушедших с отечественного рынка.

Если вам нужна помощь с подбором и внедрением систем хранения данных, обращайтесь к Cloud Networks:

Рейтинг российских гиперконвергентных решений

vStack

За несколько лет на рынке платформа vStack заработала репутацию надежного гиперконвергентного решения, полноценно конкурирующего с зарубежными аналогами уровня VMware. Разработчик платформы — ITGLOBAL.COM LABS использовал для ее создания ОС FreeBSD (UNIX), файловую систему ZFS для больших объемов данных и гипервизор bhyve.

К особенностям vStack относится высокая производительность, моментальное развертывание на серверах российских и зарубежных поставщиков и создание виртуальной машины с высокой степенью кастомизации всего за 15-30 секунд.

При использовании vStack компания может создать гиперконвергентную инфраструктуру с виртуальным дата-центром Enterprise-уровня, сэкономив на оборудовании, ПО и штате сотрудников. Компания работает с устройствами потребительского класса от российских поставщиков. Поэтому клиентам не придется тратить время на дорогое оборудование и ждать поставок. При этом производительность остается на высоком уровне. В июне 2022 года кроссплатформенный тест Geekbench показал рост Multi-Core Score у vStack до 6640, тогда как у VMware этот показатель достиг только 4196.

АЭРОДИСК vAIR

Поставщик предлагает АЭРОДИСК vAIR в виде ПО и в виде программно-аппаратного комплекса. Платформа позволяет объединить scale-out СХД, сеть хранения данных и систему виртуализации в гиперконвергентную систему. Это позволяет создать ИТ-инфраструктуру нужного масштаба и уровня сложности. Для быстрого развертывания используются шаблоны с автоматическим развертыванием.

Система виртуализации построена на базе гипервизора АИСТ. Для управления используется web-консоль в любом браузере или командная строка. Защита данных обеспечивается мгновенными снимками и созданием клонов, которые при необходимости преобразуются в шаблоны виртуальных машин. Также предусмотрена функция резервного копирования.

Utinet Glovirt

Платформа разрабатывалась для решения самых разнообразных задач: от развертывания в облаке корпоративной инфраструктуры и обеспечения работы критичных приложений до создания удаленных рабочих столов.

Виртуальную инфраструктуру, развернутую с Utinet Glovirt, можно интегрировать с облаками любого типа. Также можно интегрировать хранилища SAN и добавить системы NAS для создания бэкапов. Для внешних хранилищ платформа позволяет задействовать файловые системы NFS, CIFS, LVM, LVM-thin и CEPHFS хостов.

Скала-Р

СКАЛА-Р позволяет построить серверную инфраструктуру с высокими требованиями к отказоустойчивости. Платформа поставляется в виде готового решения «из коробки» и имеет несколько версий, созданных для решения конкретных задач. Поставщик берет на себя установку, внедрение и сопровождение платформы. Поддержка работает 24/7 и помогает пользователям научиться работать с виртуальными машинами.

Разработчик предусмотрел возможность «горячего» (без перезагрузки) добавления ресурсов и встроенную организацию бэкапов.

OVT ev3

Решение создано компанией «Открытые технологии виртуализации» в 2016 году для импортозамещения программного обеспечения компаний ZeroStack и Nutanix.
Гиперконвергентная платформа разработана на базе технологий Open Source и подходит для хранения и обработки данных, а также для создания частного или публичного облака.

Платформа построена на основе модульной архитектуры и используется для автоматизации бизнес-процессов предприятий, компаний и банков. OVT ev3 поддерживает непрерывную доступность данных и сервисов, масштабируется и позволяет распределять ресурсы в зависимости от потребностей компании.

Немного о компании

“Аэродиск” базируется в Москве, там же ведутся основные разработки. Разработка СХД началась в 2011 году, а уже через три года первые устройства вышли на рынок. В прошлом году компания портировала свое ПО ENGINE под архитектуру e2k, скоро выпустят СХД с процессорами “Эльбрус”.

Надо отметить, что компания использует не только передовые решения, но и постоянно ищет альтернативные технологии, делает акцент на оптимизацию стоимости хранения.

О своей задачи компания говорит следующее: “В наших продуктах мы применяем только передовые и альтернативные технологии, делая акцент на оптимизацию стоимости хранения и обработки информации.

Также стоит отметить, что программное обеспечение состоит в реестре отечественного ПО МИНКОМСВЯЗИ. Поэтому комплексное решение “Аэродиска” может заинтересовать государственные и силовые, оборонные предприятия, образовательные и медицинские учреждения.

Версия для отчета Версия PDF«Аэродиск» расширил интеграцию СХД с платформой OpenStack

Тематика:
IT и телекоммуникацииКорпоративные новости

г. Москва

Дата публикации: 28.10.2021
Дата мероприятия / события: 28.10.2021

Компания «Аэродиск», российский разработчик и производитель инновационных решений в области хранения данных и виртуализации, завершила комплекс работ по расширению интеграции своих решений с экосистемой инструментов управления облачной инфраструктурой OpenStack.

OpenStack — комплекс инструментов на базе свободного программного обеспечения для создания и управления инфраструктурными облачными сервисами и хранилищами. Он стремительно набирает популярность в госсекторе РФ, у операторов крупных ЦОДов, а также среди производителей решений для виртуализации. OpenStack широко используется прежде всего как оркестратор для управления инфраструктурой и виртуальными компонентами сложных масштабных ИТ-сред.
В русле этих тенденций «Аэродиск» в середине 2021 года запустил проект по расширению интеграции своих продуктовых линеек и OpenStack-инструментов до максимально возможного уровня. Проект предполагал реализацию новых возможностей взаимодействия через организацию блочного и файлового доступа инструментов платформы к СХД.
Базовый объем интеграции между решениями «Аэродиска» и OpenStack на файловом уровне, а также частично на блочном, присутствовал и ранее. Однако на блочном уровне функционал передачи данных по протоколу Fibre Channel был проработан в «минимальной комплектации». Блочные хранилища данных по FC позволяют обеспечивать высокий уровень производительности ИТ-систем, за счет чего часто применяются для задач виртуализации.
Для раскрытия всего потенциала взаимодействия платформы и СХД «Аэродиск» в новой модели интеграции был разработан собственный Cinder-драйвер, отвечающий за работу блочного хранилища. Его конфигурация учитывает особенности функционала и архитектуры систем хранения данных «Аэродиска» с учетом различных моделей поддержки отказоустойчивости и балансировки рабочих нагрузок.«Расширение интеграции наших решений с OpenStack позволит охватить новый сегмент клиентов: крупные ЦОДы, которые являются инфраструктурной основой для проектов Гособлака, предоставляющие виртуализованные ИТ-ресурсы конечным заказчикам. Также эта интеграция позволяет нашим СХД успешно взаимодействовать со всеми популярными российскими решениями виртуализации – TIONIX, СКАЛА-Р, zVirt и другими», — комментирует генеральный директор компании «Аэродиск» Вячеслав Володкович.
По итогам завершения проекта осенью 2021 года состоялась поставка первой полностью OpenStack-совместимой системы от «Аэродиск» в крупную госкомпанию, внедрение решения завершится до конца года.  О компании «Аэродиск»
«Аэродиск» — российский производитель систем хранения данных и систем виртуализации. Разработка систем хранения данных «Аэродиск» началась в 2011 году.
Программное обеспечение компании «Аэродиск» находится в реестре отечественного ПО Минкомсвязи (Минцифры) с 2017 года. При разработке продуктов компания применяет не только передовые технологии, но и самые современные методики организации командной работы, делая акцент на творческом потенциале своих сотрудников. Применение инновационных подходов делает системы «Аэродиск» наиболее конкурентоспособными по сравнению с дорогими зарубежными аналогами.

Опубликовал
Шабалин Владимир Викторович (iTrend)Найти все публикации пользователя

Компания:
Должность: Специалист по on-line технологиям

Сравнение несравнимого

Измерение длины удава (читай — суммарной задержки ввода-вывода от Front-End до Back-End) в СХД из трёх абсолютно разных миров – задача не исполнимая. Но у цилиндрического удава в вакууме российской радиоэлектронной отрасли остаётся ещё одно измерение – толщина, и измеряется она во всех понятных гигабайтах в секунду. Таким образом задача сводится к поиску бутылочного горлышка или ремня, который всегда предлагается затянуть потуже.

СХД АЭРОДИСК ВОСТОК БИТБЛЕЙЗ E3113LH с первых строк спецификации КПИ-2 (микросхема южного моста 1991ВГ2Я — контроллер ввода-вывода 2-го поколения собственной разработки МЦСТ) заявляет об использовании суперстабильной шины PCIe версии 2 с количеством линий — целых 20 единиц. Это весь бюджет полосы пропускания, отведённый как на работу с ПЗУ, так и на работу с сетевыми интерфейсами. В результате чего мы имеем два интерфейса PCIe 2.0 х8 (4Гбайт/с). Замечаем, что дуплексный режим двух таких интерфейсов равен 16ГБ/с и, о чудо, ширина канала между КПИ2 и ЦПУ Эльбрус 8СВ как раз 16 ГБ/с. Выдохнули, математика сошлась. Остальное отдаём на откуп программистам АЭРОДИСК.

В случае СХД АЭРОДИСК ВОСТОК 2Э8СВ мы получаем удвоение всех основных компонент: целых два процессора Эльбрус 8СВ и два чипа КПИ2 на каждый контроллер, что даёт нам удвоение максимальной пропускной полосы от Fron-End до Back-End. Но есть нюанс. На материнских платах с процессорами 8СВ разработчики избавились от такого пережитка, как переключение режимов интерфейсов PCIe из двух портов x8 в один x16, что отменяет использование HBA и сетевых карт расширенного формата. Здесь стоит отметить, что «панели» на базе ЦПУ поколения 8С таким функционалом обладают.

Наконец, перейдем к рассматриванию под нашим субъективным микроскопом СХД Yadro Tatlin Unified. Здесь всё сделано «по-большому». В наличии: аккумуляторы для завершения работы при обрыве питания, системная шина с поддержкой PCIe поколения 4, функционирующая в режиме совместимости с поколением 3

Первая дисковая полка подключается напрямую к шине PCIe, что сразу же удваивает полосу пропускания для — внимание! — только твердотельных ПЗУ. Для обычных вертушек по-прежнему доступны только порты PCIe шириной x8

Давайте посмотрим на наших удавов с двумя головами в режимах SSD и HDD. Смешивать, как это принято, не рекомендуется во избежание непредсказуемых последствий.

Рисунок 4. Сравнение полосы пропускания СХД в конфигурациях All-FlashРисунок 5. Сравнение полосы пропускания СХД в конфигурациях All-Spindle

«Режим питания нарушать нельзя».

Таким образом, чтобы обеспечить электропитание платформы и одновременно организовать возможность замены блока питания в штатном режиме суммарная мощность активных блоков должна была быть 4 киловатта (на рынке, понятно, таких решений нет), поэтому их делали на заказ с запуском производственной линии для серийного производства (напомню, в планах тысячи таких серверов).

Как выразился один из главных проектировщиков платформы «Здесь такие токи, как в сварочном аппарате — сотни ампер, это вам не хухры-мухры :-)»

При проектировании также была предусмотрена возможность работы блока питания не только на 220V, но и 48V, т.е. в архитектуре OPC, что сейчас очень актуально для операторов связи и крупных ЦОД-ов.

В итоге решение с электропитанием повторяет логику решения с охлаждением, платформа может комфортно работать при двух блоках питания, что позволяет в штатном режиме выполнять работы по их замене. Если в случае аварии из трех БП останется один, он в пиковой нагрузке сможет вытянуть работу платформы, но, само собой, надолго оставлять платформу в таком виде нельзя.

Разработка целевой модели: от идеи к реализации

После того как сформированы общие требования, начинается подбор элементной базы. Из исторической справки следует, что элементной базы не существует, то есть её надо создавать.

Для этого из того, что есть на открытом рынке, собирается пилотный образец, который хоть немного похож на целевой. Далее проводятся стандартные испытания этого образца на предмет его работоспособности. Если все хорошо, то следующим этапом разрабатывается целевая модель (2D и 3D).

Затем начинается поиск российских предприятий, готовых начать производство данного пилота Разработчики выполняют необходимую доработку каждого из элементов изделия, исходя из возможностей того или иного предприятия.

В ходе проектирования выполняется необходимая доработка каждого из элементов изделия. К примеру, в процессе работы с опытным образцом были использованы классические 12G SAS-экспандеры с большим количеством проводов (с очень большим, учитывая количество дисков). Это недёшево, неудобно для конкретно этой платформы, и к тому же экспандеры вражеские зарубежные. Но это временное решение для того, чтобы испытать образец в целом и перейти к следующему этапу. Однако для финальной версии в конкретной серверной платформе использовать SAS-экспандеры не годится.

Заключение

Есть такой миф, который активно поддерживается разными деятелями о том, что «в России ничего не умеют, кроме как нефть качать». К сожалению этот миф въедается в головы даже уважаемым и умным людям.

Недавно с моим коллегой произошла примечательная история. Он ехал с одного из показов СХД Восток и в багажнике его машины как раз лежала эта СХД (не Э124, конечно, попроще). По дороге он захватил одного из представителей заказчика (очень важный человек, работает на высокой должности в одной из гос. структур), и в машине у них произошёл примерно следующий разговор:

Мой коллега: «Сейчас показывали СХД на Эльбрусе, результаты хорошие, все довольны были, для вашей отрасли, кстати, тоже эта СХД будет полезна»

Заказчик: «То, что СХД у вас есть – знаю, но какой ещё Эльбрус, ты о чем?»

Мой коллега: «Ну как… российский процессор Эльбрус, вот недавно выпустили 8-ку, она по показателям для СХД вполне хороша, мы, соответственно, на ней сделали новую линейку СХД, назвали Восток»

Заказчик: «Эльбрус – это гора! А сказки про российский процессор ты в приличном обществе не озвучивай, это все делается, только чтобы бюджеты осваивать, на деле ничего нет и не будет»

Мой коллега: «В смысле? А ничего, что именно эта СХД у меня в багажнике лежит? Давай прямо сейчас остановимся, я тебе покажу!»

Заказчик: «Хорош ерундой страдать, едем дальше, не бывает «российских СХД» — это в принципе невозможно»

Больше в тот момент важный человек слышать про Эльбрус ничего не хотел. Конечно, позже, когда он уточнил информацию, то признал, что был не прав, но все равно до последнего не верил в правдивость этой информации.

По факту после развала СССР наша страна фактически остановилась в развитии производства микроэлектроники. Что-то было вывезеноукрадено в пользу транснациональных корпораций, что-то разворовано местной приватизационной компашкой, что-то, конечно, было проинвестировано, но, в основном, в пользу тех же транснациональных корпораций. Дерево срезали, но корень остался.

После почти 30 лет иллюзий на тему «запад нам поможет», уже почти всем стало очевидно, что помочь мы можем только сами себе, поэтому нужно восстанавливать свое производство не только в области микроэлектроники, но и повсеместно во всех отраслях промышленности.

На текущий момент в условиях глобальной пандемии в ситуации фактической остановки транснациональных производственных цепочек уже становится понятно, что восстановление локального производства — это уже не освоение бюджетов, а условие выживания России как самостоятельного государства.

Поэтому мы будем продолжать искать и использовать в жизни российское оборудование и рассказывать вам о том, что на самом деле делают компании у нас, с какими проблемами они сталкиваются и какие титанические усилия прикладывают, чтобы их решать.

В рамках одной статьи довольно сложно рассказать обо всех аспектах производства, поэтому в качестве бонуса мы организуем онлайн-дискуссию в формате вебинара по этой теме. На этом вебинаре мы детально и в красках расскажем о технических аспектах производства платформ Яхонт для СХД Восток и в онлайн-режиме ответим на все, даже самые каверзные вопросы.

Всем спасибо, как обычно, ждем конструктивных комментариев.

Рейтинг
( Пока оценок нет )
Editor
Editor/ автор статьи

Давно интересуюсь темой. Мне нравится писать о том, в чём разбираюсь.

Понравилась статья? Поделиться с друзьями:
Центр Начало
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: