Автобусам и парковкам хотят добавить интеллекта

Принцип и логика работы

Принцип работы всех систем сводится к тому, чтобы определить уставшего водителя и предотвратить ДТП. Для этого производители используют различные конструкции и логику работы. Если говорить о решении Attention Assist от Mercedes-Benz, то выделяются следующие особенности:

• контроль движения транспортного средства;
• оценка поведения водителя;
• фиксация взгляда и отслеживание состояния глаз.

Отслеживание состояния глаз водителя при помощи камеры После начала движения система анализирует и считывает нормальные параметры управления автомобилем в течение 30 минут. Затем происходит слежение за водителем, включая силу воздействия на рулевое колесо, использование переключателей в салоне автомобиля, траектория поездки. Полноценный контроль усталости осуществляется при скорости от 80 км/час.

Дополнительный контроль применяется к движению автомобиля и качеству управления рулевым колесом. Система считывает такие параметры, как:

• манера вождения, которая определяется при изначальном движении;
• время суток, продолжительность и скорость движения;
• эффективность использования подрулевых переключателей, тормозов, дополнительных устройств управления, силы вращения руля;
• соответствие скорости максимально допустимой на участке;
• состояние дорожного покрытия, траектории движения.

Если алгоритм находит отклонения от нормальных параметров, система задействует звуковое уведомление для повышения бдительности водителя и рекомендует временно остановить поездку с целью отдыха.

Мониторинг изменения траектории движения автомобиля

Существует ряд особенностей у систем, которые в качестве основного или дополнительного фактора анализируют состояние водителя. Логика реализации основана на использовании видеокамер, которые запоминают параметры бодрого человека, а затем выполняют мониторинг при длительных поездках. С помощью камер, направленных на водителя, получают следующую информацию:

• закрытие глаз, причем система различает моргание и сонливость;
• частота и глубина дыхания;
• напряжение лицевых мышц;
• уровень открытости глаз;
• наклон и сильные отклонения в положении головы;
• наличие и частота зевания.

Учитывая дорожные условия, изменения в управлении транспортом и параметры водителя, появляется возможность предотвращать аварии. Система автоматически информирует человека о необходимости отдыха и подает экстренные сигналы для увеличения бдительности.

Способы реализации системы контроля усталости водителя

Есть пару способов функционирования системы. Один из них – датчики, оценивающие данные самого транспортного средства: скорость и траекторию движения транспорта, частоту использования педалей. Такие устройства работают в автомобилях марки Мерседес, Фольксваген, Skoda, Volvo.

Есть и второй способ, который анализирует состояние самого человека. Приверженцами такого способа являются Японцы, которые и начали производить датчик такого типа. В комплектацию системы включена видеокамера, направленная на водителя. Она реагирует на то, закрыты ли глаза у человека или нет. Когда глаза закрыты, идет сигнал.

Главная задача инженеров состояла в том, чтобы запрограммировать систему отличать закрытые глаза от моргания. Видео камера считывает такие данные, как моргание и его частота, движения глаз, жесты, мимика, частота, дыхание человека определяет, спокойное ли дыхание по движению груднойклетки).

Также датчики могут считывать следующие данные:

• стиль вождения (система анализирует скорость, ускорение машины в течение нескольких минут после начала движения);
• условия вождения (анализирует, какое сейчас время суток, сколько длится поездка, погодные условия);
• органы управления (анализируется, какие используются кнопки на панели управления, пользовательский тормоз);
• как вращается руль (считывается скорость и ускорение);
• анализ состояния дороги (боковое ускорение);
• характер движения транспорта (боковое и продольное ускорение).

Строим модель

Создадим свёрточную нейронную сеть с тремя слоями Conv2D (за каждым располагается слой MaxPooling2D), 1 слоем Flatten и 3 слоями Dense. Поскольку проблема является многоклассовой, последний слой Dense содержит 10 нейронов, а потери определяются с помощью categorical_crossentropy (категориальной кроссэнтропии).

classifier = Sequential()
classifier.add(Conv2D(filters = 128, kernel_size = (3, 3), activation = ‘relu’, input_shape = (240, 240, 3), data_format = ‘channels_last’))
classifier.add(MaxPooling2D(pool_size = (2, 2)))
classifier.add(Conv2D(filters = 64, kernel_size = (3, 3), activation = ‘relu’))
classifier.add(MaxPooling2D(pool_size = (2, 2)))
classifier.add(Conv2D(filters = 32, kernel_size = (3, 3), activation = ‘relu’))
classifier.add(MaxPooling2D(pool_size = (2, 2)))
classifier.add(Flatten())
classifier.add(Dense(units = 1024, activation = ‘relu’))
classifier.add(Dense(units = 256, activation = ‘relu’))
classifier.add(Dense(units = 10, activation = ‘sigmoid’))
classifier.compile(optimizer = ‘adam’, loss = ‘categorical_crossentropy’, metrics = )
classifier.summary()

1 2 3 4 5 6 7 8 9 10 11 12 13 14

classifier=Sequential() classifier.add(Conv2D(filters=128,kernel_size=(3,3),activation=’relu’,input_shape=(240,240,3),data_format=’channels_last’)) classifier.add(MaxPooling2D(pool_size=(2,2))) classifier.add(Conv2D(filters=64,kernel_size=(3,3),activation=’relu’)) classifier.add(MaxPooling2D(pool_size=(2,2))) classifier.add(Conv2D(filters=32,kernel_size=(3,3),activation=’relu’)) classifier.add(MaxPooling2D(pool_size=(2,2))) classifier.add(Flatten()) classifier.add(Dense(units=1024,activation=’relu’)) classifier.add(Dense(units=256,activation=’relu’)) classifier.add(Dense(units=10,activation=’sigmoid’)) classifier.compile(optimizer=’adam’,loss=’categorical_crossentropy’,metrics=’accuracy’) classifier.summary()

Модель классификатора

Способы осуществления контроля

Контроль усталости водителя может осуществляться несколькими методиками. В основу прибора безопасности заложены три способа определить усталость управляющего транспортным средством человека:

1. Способ, базирующийся на оценке траектории движения транспорта.
2. Способ, базирующийся на оценке действий водителя дорожно-транспортного средства.
3. Способ, базирующийся на оценке траектории движения головы человека за рулём.

Существующие на сегодня системы безопасности, а также раннего обнаружения признаков усталости водителя транспортного средства функционируют, опираясь на несколько нюансов: стиль езды, манера поведения за рулём, применение механизмов управления, условия и обстановка движения. Конструктивно такие устройства могут объединять устройство управления, контроллер руля, световой и звуковой сигналы предупреждения.

Принципы работы умного оборудования

Бесконтактная интеллектуальная система «Антисон» работает на основе сразу нескольких технологий: AI, deep learning и компьютерного зрения. Разработчик устройства — ИТ-компания КСОР. Сегодня устройства применяются в столичных автобусах, троллейбусах и трамваях, на месторождениях при добыче полезных ископаемых, в организациях, где требуется предельная концентрация внимания за рулем.

«Антисон» для водителя выступает как умный будильник. Комплекс начинает работать с запуском двигателя. За мониторинг физиологического состояния отвечает ИК-камера, установленная на приборной панели транспортного средства. Видеооборудование анализирует изменение мимики по более чем 60 точкам лица, фиксирует первые признаки засыпания и снижения концентрации внимания, разговоры по мобильному телефону, курение. Также в кабину ставят дисплей со звуковым оповещением и световой индикацией, который подает сигнал в случае обнаружения опасности для водителя.

Детектор функционального состояния водителей «Антисон» включает в себя не только оборудование, но и собственное программное обеспечение, разработанное КСОР и зарегистрированное в официальном Едином реестре российского ПО. В скрытой части автомобиля монтируется центральный блок, где хранятся все данные, ведется запись журнала инцидентов. Видеопоток в режиме реального времени поступает в многослойные нейросети, которые в процессе его обработки обнаруживают потенциально опасные события: закрытые глаза, зевание, частые повороты головы в сторону, «клевание» носом и другие признаки отвлечения внимания.

Как только нейросеть распознает опасность, в течение двух секунд водитель получает сигнал-оповещение. Одновременно устройство «Антисон» отправляет сведения об инциденте в центр мониторинга, где их разбирает оператор. Специалист диспетчерского центра оценивает обстоятельства произошедшего по установленному регламенту, и решает — принять или отклонить событие. Благодаря такому подходу удается добиться практически стопроцентной точности распознавания событий

При этом важно, что «Антисон» оповещает водителя сразу в момент обнаружения опасного события — для этого устройству не нужно подтверждение человека. Операторы дополнительно валидируют события уже после срабатывания и отправки данных в центр мониторинга

Принцип работы

Хотя существуют разные способы реализации систем распознавания усталости водителей, их принцип работы во многом похож.

Сначала оборудование собирает информацию о водителе, которая поступает на блок управления системой. Данные собираются со всех датчиков и видеокамер, чтобы собрать полную картину происходящего внутри и снаружи транспортного средства. Задачей системы в первое время после начала эксплуатации автомобиля является определение стиля вождения, внешних условий и прочих факторов. Это уже зависит от конкретной системы и перечня используемых датчиков.

Изначально собранная информация становится эталонной. То есть от неё система будет в дальнейшем отталкиваться, контролируя состояние водителя. Эталонные параметры сравниваются с текущими, что даёт возможность своевременно зафиксировать факт усталости и подать сигнал водителю.

На сбор информации требуется разное время, в зависимости от систем. Некоторые собирают её за 30 минут, другим достаточно проанализировать и 15 минут управления транспортным средством.

Этот подход оказался крайне эффективным, если сравнивать с первыми прототипами реализованных систем контроля. Собирая первичную информацию, блок управления адаптируется под конкретного водителя. Это возможность персонализировать оборудование, то есть подстроить нет под общепринятые усреднённые параметры, а отталкиваться от характерных особенностей поведения за рулём конкретного человека.

Далее система работает в непрерывном режиме при определённой скорости движения. Датчики и камеры постоянно передают информацию на блок управления, тот её анализирует и сопоставляет с заданными первичными значениями.

Если наблюдается отклонение в движении транспортного средства, водитель начинает часто зевать, закрывать глаза или нарушать скоростной режим, блок управления подаёт сигнал на исполнительное устройство. В итоге человек слышит предупреждающий звук и графические изображения на дисплее.

Когда водитель никак не реагирует на сигналы, продолжая своё движение, сигналы повторяются. Причём зачастую их периодичность становится чаще, что всё же заставляет в итоге водителя принять соответствующие меры.

Несколько иначе реализована система DAS. Она следит за дорожными знаками и разметкой. Для многих стран, включая Россию, подобный принцип работы нельзя назвать эффективным и актуальным. Это скорее вариант для европейских стран, США и той же Австралии, где всегда чётко устанавливаются дорожные знаки, присутствует полноценная дорожная разметка.

Учитывая эти особенности системы DAS, оптимальным вариантом для отечественных автомобилистов будет именно оборудование, которое следит за поведением транспортного средства или физиологическим состоянием самого водителя, находящегося за рулём.

Каждый тип системы имеет свои неоспоримые преимущества, приносит огромную пользу и действительно снижает аварийность на дорогах.

Но проблемы всё равно остаются. И многие из них обусловлены не так несовершенством систем контроля усталости, как неправильными действиями самих водителей. Часто автомобилисты просто отключают датчики, они игнорируют предупреждающие сигналы, вопреки рекомендациям садятся уставшими за руль. Как бороться с этим, пока никто из автопроизводителей не знает.

Тут могут помочь разве что системы, которые анализируют состояние водителя ещё до начала движения. Определив, что он уставший, либо находится в состоянии алкогольного опьянения, блок управления просто блокирует зажигание, не позволяет запустить двигатель и начать движение. Но и перспективы подобных систем под большим сомнением.

Если в вашей машине в комплектации уже предусмотрена специальная система для контроля за степенью усталости, это прекрасное дополнение ко всем остальным решениям, направленным на повышение безопасности движения. А наиболее ответственные водители, которые переживают за себя и своих пассажиров при длительных поездках, в настоящее время могут приобрести подключаемые устройства такого же типа.

Они устанавливаются по принципу видеорегистраторов, подключаются к бортовой электросети через прикуриватель, и следят за состоянием водителя, его поведением и физиологическими параметрами. Работают не хуже, чем уже встроенные системы. Да и цена на них вполне адекватная. То же устройство Dunobil Insomnia обойдётся примерно в 7 тысяч рублей.

Не так много за безопасность и помощь во время вождения, когда больше некому разбудить водителя, предупредить об опасности и предостеречь от дорожно-транспортного происшествия.

Driver Alert Control (DAC)

Следующая система контроля Driver Alert Control создана шведской автомобильной компанией Volvo. Здесь принцип построен на слежении за состоянием водителя через манеру движения автомобиля. Для этого в автомобиль Volvo встроена специальная видеокамера, которая следит за характером вождения на дороге. Происходит оценка траектории и её изменения с помощью датчика рулевого колеса и мониторинга дорожных полос. Вторая видеокамера следит за внешним состоянием водителя, а именно движением глаз.

Если фиксируется состояние переутомления, система оповещает водителя с помощью сигнала и сообщения «Driver Alert. Time for a break». Система начинает действовать на скорости от 60 км/ч.

Безопасное вождение для всех

Системы слежения за состоянием водителя эффективнее тахографов, которыми с 1 ноября должны оснащаться все автобусы и грузовики полной массой свыше 3,5 т.

— Тахограф отслеживает время движения транспорта, а не состояние водителя, он не может предупредить водителя или центр мониторинга о том, что надо сделать перерыв или остановку для отдыха, — расказал «Известиям» Павел Растопшин, управляющий директор ГК «Цифра», разработчика системы мониторинга для большегрузных самосвалов и карьерной техники.

По данным исследования разработчика IT-решений для транспорта OMNICOMM и ассоциации «Грузавтотранс», 

В то же время многофункциональные сервисы формата «Безопасное вождение» позволяют добиться реального экономического эффекта.

Минтранс хочет законодательно установить время управления транспортным средством и отдыха. Например, ограничить вождение грузовика массой 3,5 т или автобуса девятью часами в сутки. Причем каждые 4,5 часа необходимо будет делать 45-минутный перерыв. Суммарное время нахождения за рулем в течение недели не должно превышать 56 часов.

Разработчики камер, мониторящих состояние водителя, считают, что такие устройства вполне могут быть популярны и у автолюбителей. По словам начальника управления по развитию гражданской продукции НПО «Импульс» Алексея Новикова, стоимость устройства «Антисон» составит около 5 тыс. рублей.

Дело в том, что система контроля усталости не всегда есть в базовом оснащении премиальных моделей. Что уж говорить о сегменте недорогих автомобилей, на которые в России приходятся основные продажи.

Тупиковый путь?

Между тем не все согласны с необходимостью вводить системы контроля за состоянием водителя. Завешивать автомобиль камерами, следящими за поведением водителя, датчиками, фиксирующими его давление, пульс и температуру тела, — это тупиковый путь, считает доктор технических наук, профессор МАДИ Михаил Якимов

— Скорее дальнейшее развитие транспорта будет сдвигаться в сторону тотального отказа от присутствия человека в качестве водителя и замены его полноценным автопилотом и автономным автомобилем, чем усиление тотального контроля за состоянием здоровья водителя, — пояснил «Известиям» профессор МАДИ.

Президент Гильдии автошкол России Сергей Лобарев считает, что проблема использования смартфона за рулем кроется в недостаточной подготовке водителей.

— Мы даем теорию и только 17% реального вождения. Зачем грузить учеников шлагбаумами, перевозкой скота? Устройством автомобиля в таком объеме и тем, как завести двигатель кривым стартером? Напомню, что мы единственная страна в Европе, где запрещено учебное вождение на скоростной магистрали. А только на скорости можно объяснить, чем грозит одно- двухсекундное отвлечение. 

— рассказал он «Известиям».

Это интересно: Что такое независимая подвеска на поперечных рычагах?

Что такое система контроля усталости водителя

Разработка впервые появилась на рынке от японской компании Nissan, которая запатентовала революционную технологию для автомобилей в 1977 году. Но сложность технической реализации в то время заставила производителя сосредоточиться на более простых решениях для повышения безопасности транспорта. Первые рабочие решения появились спустя 30 лет, но их продолжают совершенствовать и улучшать способы распознавания усталости водителя.

Суть решения заключается в том, чтобы анализировать состояние водителя и качество вождения. Изначально система определяет параметры при старте поездки, что позволяет оценить полноту реакции человека, а после этого начинает отслеживать дальнейшую скорость принятия решений. Если обнаружено, что водитель сильно устал, появляется уведомление с рекомендацией отдыха. Отключить звуковые и визуальные сигналы нельзя, но они автоматически появляются через заданные промежутки времени.

Особая потребность в решении наблюдается у водителей одиночек. Когда человек едет с пассажирами, они могут поддерживать его бодрое состояние разговорами и отслеживать усталость. Самостоятельная езда способствует сонливости и замедлению реакции на дороге.

Состояние водителя

Неподходящая одежда. Ситуации, когда водителю во время движения срочно нужно снять/надеть куртку, свитер, кофту и т.д., вполне способны спровоцировать аварию. Ездить зимой в одежде, стесняющей движения, особенно в руках — прямой путь к тому, чтобы не успеть сманеврировать в критической ситуации. Длинные пальто, юбки, платья и сарафаны у женщин-водителей путаются в ногах, юбки-карандаш и обтягивающие наряды не оставляют достаточно свободы для выжимания педалей, кручения руля и т.п. Ехать в неудобной, слишком жаркой или слишком тесной одежде — значит ещё и постоянно отвлекаться на собственное состояние дискомфорта. 

Решение. Продумывайте свой внешний вид и гардероб в первую очередь как водитель. Если в салоне достаточно тепло, снимайте верхнюю одежду заранее. Если действительно нужно переодеться, сделайте остановку. 

Неудобная обувь. Примерно половина водителей надевают подходящую обувь для того, чтобы сесть за руль. Какими соображениями руководствуются остальные, неясно. Категорически не подходят для вождения высокие каблуки, танкетки, шлёпанцы и обувь без пятки, обувь с толстой подошвой. Трудности с дозированным нажатием на педаль или спадающая с ноги обувь могут спровоцировать аварию.

Решение. Покупая новую пару обуви, думайте о том, насколько удобно будет в ней водить машину. Если приходится надеть неподходящую обувь, возьмите сменку и переобуйтесь на время пути в машине. 

Приём лекарств. Препараты, которые вызывают сонливость, замедление реакции, нарушения концентрации внимания и зрительного восприятия, расслабляют и «затормаживают» водителя, несовместимы с управлением автомобилем. Это могут быть как серьёзные средства, принимаемые длительное время (транквилизаторы, антидепрессанты, снотворные и понижающие давление препараты), так и эпизодически выпитый анальгетик или таблетка от аллергии и даже от простуды. Валерьянка, успокаивающие травяные сборы, спиртовые настойки типа корвалола тоже под запретом. 

Решение. Всегда изучайте побочные действия препарата, которые принимаете. Как правило, в инструкции указывается влияние лекарства на способности управлять транспортным средством. Если нужно пройти курсовую терапию, от управления автомобилем лучше на это время отказаться. 

Плохое настроение. Да, раздражительность, плаксивость и другие нарушения настроения, связанные с эмоциональными переживаниями — вполне себе аварийный фактор. Во время поездки водитель в сложном психоэмоциональном состоянии будет сосредоточен на собственных переживаниях, что отразится на способности адекватно улавливать внешние сигналы и вовремя реагировать на них. 

Решение

На время поездки важно оставлять все плохие мысли и эмоции за бортом, в пути — думать только о дороге и происходящем вокруг. Полезно тренировать навыки психологической саморегуляции и преодолевать сложные ситуации, связанные с агрессией на дороге

Усталость и сонливость. Утомление действует на водителя как небольшая доза алкоголя: ухудшаются зрительные функции, точность восприятия и оценки дорожной обстановки, ощущение скорости

Утомлённому водителю всё труднее распределять и переключать внимание, в поведении появляется заторможенность, время реакции увеличивается. 

Решение. Если поездки в утомлённом / болезненном состоянии не избежать, уменьшите количество сложных манёвров (перестроений, обгонов) и снизьте скорость. Высыпайтесь перед дальней поездкой, делайте остановки в пути каждые 3-4 часа. Начало клонить в сон? Не пытайтесь взбодриться, съезжайте на обочину и подремите полчаса.  

Возможности системы мониторинга

«Антисон» для российского рынка ИТ-систем — явление уникальное. Система мониторинга работает с использованием собранного и размеченного Dataset, где хранятся несколько миллионов изображений и сотни часов видео. Нейросети обучаются на самом большом в России массиве данных, причем новая информация поступает в центр мониторинга ежедневно. Онлайн находится более 13 тысяч устройств, которые установлены на транспортных средствах «Мосгортранса», грузовиках и спецтехнике крупных предприятий.

«Антисон» для клиентов выступает как инструмент оптимизации производственных процессов. В личном кабинете на сайте центра мониторинга заказчик получает релевантную статистику, которая затем используется в работе. При наступлении каждого события оповещение приходит на электронную почту или в мессенджер руководителя.

В центре мониторинга доступны:

• актуальная информация по всему автопарку — геолокация, скорость и маршрут каждого транспортного средства;
• сведения по каждому инциденту, что позволяет оперативно и в удаленном режиме определить причины ДТП;
• инструменты для формирования отчетности;
• архив и статистика за любой выбранный период и многое другое.

Главный результат работы нейросетей — повышение безопасности труда. Аналитика, полученная с помощью системы «Антисон» для одного из заказчиков, стала способом решения проблем с рабочим графиком. На предприятии изучили отчеты по филиалам и обнаружили, на какой период приходится основное количество потенциально опасных событий при вождении. На основе полученных данных в подразделениях изменили рабочий график, после чего количество инцидентов существенно сократилось уже в течение ближайших месяцев.

Особенность устройств «Антисон», созданных КСОР Групп, заключается в возможности автономной работы. Даже если транспортное средство попадает в зону с плохим покрытием сотовой связи, где возникают помехи или недоступен интернет, оборудование работает штатно и предупреждает водителя об опасных ситуациях

Это очень важно для предприятий горнодобывающей промышленности, так как спецтехнике часто приходится работать в районах с плохим качеством дорог и покрытия сотовой связи. После восстановления доступа к интернету информация поступает на сервер центра мониторинга, где ее анализируют диспетчеры

На основе полученных отчетов служба безопасности труда разрабатывает мероприятия по предотвращению дорожно-транспортных происшествий.