В шутку или всерьез о профессиональных решениях задач создания очень больших ...

В шутку или всерьез о профессиональных решениях задач создания очень больших архивов данных

В шутку или всерьез о профессиональных решениях задач создания очень больших архивов данных

Комплексные системы безопасности \\ 08.03.2011 15:45 \\ ООО "Алгоритм безопасности" \\ Санкт-Петербург

Опять закончился винчестер! А что же делать тем, кому для работы нужен мега архив данных?

Cитуация из жизни. У моего давнего друга винчестер на домашнем компьютере всего 500 Гб, но четыре года назад он был самым большим! Он любит заниматься фотографией, причем камера у него – 8 Мп, а не 16 и не 32! Правда, в качестве дополнительной нагрузки есть еще два пользователя – сыновья, любители фильмов и видеороликов. Но зато совсем нет никаких игр, и у старшего сына теперь уже есть свой ноут!

 

А винчестер все равно – битком, кончился! Почему?

Профессионалы по бытовым ПК подтвердили мое предположение и факт, что от 60 до 90 % места на диске бытового компьютера обычно сейчас занимают данные цифрового видео, фото, а также игры с естественно развитым видеорядом. Но ведь одно дело в песочнице куличики делать, а другое – защитную дамбу в Финском заливе насыпать. Как же быть специалистам, которым по долгу службы требуются огромные архивы данных?

 

Насколько большие архивы? Где они нужны? И каких данных? – спросите Вы.

Начнем с конца – Каких данных?

 

Неожиданности не будет. После цифровой революции во всех областях жизни, в видео в целом и в видеонаблюдении в частности, чаще всего большие объемы данных состоят из роликов систем видеонаблюдения, фотоархивовов научной, технологической документации, библиотек сканированных копий исторического наследия человеческой мысли, изобразительного искусства, архивов программ телевещания, кинематографа. Возможно, вы – читатель, можете и сами дополнить этот список.

 

Где они нужны? Вопрос почти риторический, но постараемся ответить на него.

Центральные хранилища систем видеонаблюдения крупных объектов от отдельного предприятия до мегаполиса в целом. Библиотеки научных институтов и общего культурного наследия. Архивы и хранилища киностудий, Госфильмофонда и телевизионных каналов.

 

Насколько большие архивы? Давайте посчитаем это вместе на ряде примеров систем видеонаблюдения известных объектов.

 

ПРИМЕР 1. Система видеонаблюдения и мониторинга метрополитена Петербурга

Почему метрополитен? Потому, что это очень важный социальный объект, требующий видеонаблюдения. Почему Петербургский? Потому, что весьма масштабный, да и ближе всего.

 

Воспользуемся некоторыми открытыми сведениями и произведем приблизительную оценку объема видеоданных для этого объекта. Еще в 2006 году производилось серьезное расширение системы видеонаблюдения. Даже по старым требованиям на станции с одним вестибюлем было предусмотрено не менее 17 телекамер. В локальной системе видеонаблюдения (СВН) станции предусматривался один основной видеосервер и один сервер горячего резерва. Основной сервер: до 32 камер. Их них 4 камеры дают в архив видео с разрешением 1600х1200 и темпом 6*12 к/с, а остальные 28 камер – 704x576, 6 к/с. Глубина архива – не менее 7 суток. Забегая вперед, для будущего расчета, предлагаю считать, что запись непостоянная и наличие активности в кадре примерно 20 часов в сутки. Сервер горячего резерва, по сути, все тот же, но глубина архива до 3 суток. Помимо серверов локальных СВН станций все видео по оптике передается в Центр видеомониторинга метрополитена на станции «Технологический институт». Опустим реальное состояние дел, но предположим, что там создано некое хранилище видеоданных глубиной 10 суток.

 

Теперь для расчета остается принять еще одно важное решение – определить средний размер кадра. Конечно, это значение зависит от многих параметров: разрешения, цветности, количества мелких деталей в кадре, алгоритма компрессии, степени сжатия, а для потоковых алгоритмов еще и от количества движущихся объектов в кадре. На реальном объекте проще и точнее определить эту величину, эмпирически разделив объем накопленного архива на общее время записи в секундах и на темп записи. В рамках этой статьи не будем усложнять и остановимся на значении 100 кб. Ряд специалистов скажут, что оно может быть и в 10 раз меньше. Но эти же специалисты хорошо знают, что оно легко может быть и в 10 раз больше, особенно если мы не хотим терять данные с мегапикселных камер.

 

Итого, объем данных на Центре мониторинга метрополитена, с учетом 60 станций (реально уже 63), по 32 телекамеры на станции, с темпом записи 10 к/сек и гарантированным сроком хранения 10 суток: 60 станций х 32 камеры х 20 часов х 3600 сек х 10 к/сек х 100кб x 10 суток = 1 318 ТБ = 1,3 Петабайта.

 

Причем, мы везде старались не преувеличивать. А ведь еще есть перспектива развития. Так, на прошлой неделе мне попалась электричка, оборудованная телекамерами. Пока по 2 штуки на вагон. Москвичи, конечно, скажут, что у них на кольцевой это уже давно есть, а я соглашусь. Так вот, в Петербургском метрополитене 520 вагонов и, следовательно, в перспективе еще 1040 телекамер в дополнение к уже посчитанным 1920 камерам на станциях.

 

Кстати, требования к системам видеонаблюдения бывают более высокие, они постоянно растут и по качеству, и по глубине архива.

 

ПРИМЕР 2. Требования к системам видеонаблюдения крупного банка

До недавнего времени в крупных банках страны требования сводились к 30 и 60 суткам хранения архива (для различных целей). Однако в этом году ситуация изменилась. Рекомендации по обеспечению безопасности банков в части видеонаблюдения включают обязательное наличие цветного изображения, да и глубину архива до 90 суток.

Несложно посчитать, как изменятся объемы хранящихся данных. Подобная эволюция повышения требований к видеонаблюдению происходит сейчас во всех сферах жизнедеятельности.

 

ПРИМЕР 3. Система видеонаблюдения мегаполиса

В некоторых системах, на первый взгляд, требования не так уж и высоки. Так, для большинства телекамер проекта «Безопасный город Москва» в архив ложится 4 к/сек, причем в стандартном разрешении 352x288, ч/б, и глубина архива – 14 дней. Однако в системе на данный момент уже 124 000 телекамер, которые подключены к 10 000 серверам. Большая часть видеоданных хранится не в едином центре, а распределенно. Хорошо это или плохо? Однозначно сказать нельзя, так как и у централизованного архива, и у распределенного способа хранения есть свои достоинства и недостатки. Но можно ли в принципе создать единый архив такой емкости? Для начала посчитаем примерный объем этого гипотетического хранилища:

 

124000 камер x 20 часов x 3600 с x 4 к/с x 14 дней x 20 кб = ± 9 313 ТБ – это округленно 9 Петабайт.

Сложно представить, насколько это много, даже если хранить это распределенно, по частям.

 

А вот теперь давайте вспомним, что требуется не просто грамотно и надежно хранить гигантские объемы видеоданных, но и иметь быстрый и удобный, порой множественный доступ к этим данным, а также инструменты по их обработке. И вот тут становится ясно, что механическим набором аппаратных средств хранения данных дело не решить. Нужна еще и определенная программная система контроля, управления, защиты, организации доступа и обработки всех этих данных. Иначе смысла в хранении нет.

 

Итоговый вопрос: а существуют ли такие технологии, которые справятся и с гигантскими объемами, и с обеспечением надежности хранения, и с организацией множественного доступа к данным, и с предоставлением инструмента обработки этих данных? Насколько эти технологии доступны? Проверены ли они на практике?


Этим вопросам посвящена вторая часть статьи, которая будет опубликована в следующем номере журнала. В ней на эти и иные наши вопросы ответят специалисты Центра «ВиАйТи» из Санкт-Петербурга. Специалисты Центра на протяжении ряда лет успешно решают подобные задачи по построению масштабируемых систем для хранения видеоархивов больших объемов. В статье будет представлена информация о ряде перспективных технологий, методике и опыте решения нетривиальных задач организации хранения и быстрого доступа к архивным записям. Заинтересованные читатели, как инсталляторы, так и заказчики, могут поучаствовать в этом диалоге, прислав в редакцию свои вопросы, как частного, так и общего характера. Гарантируем, что на все вопросы сотрудники Центра дадут ответы либо в статье, либо в индивидуальном порядке. 

____________________________________________

Д. Садеков
генеральный директор Технического центра «ВиАйТи»

Комментарии:

Статьи Комплексные системы безопасности

Развенчание мифов о мобильном доступе

Развенчание мифов о мобильном доступе

Комплексные системы безопасности \\ 23.08.2016 16:17 \\ HID Global \\ Комментарии()

Развенчание распространенных мифов, связанных с применением мобильных устройств для контроля доступа.

Пожаротушение в котельной

Пожаротушение в котельной

Комплексные системы безопасности \\ 13.04.2016 11:01 \\ ЗАО "НПГ Гранит-Саламандра" \\ Комментарии()

В современных котельных работает оборудование, нагревающее и подающее теплоноситель в коммуникации ЖКХ. Данные помещения должны оснащаться установками пожаротушения и пожарной сигнализацией, так как работа нагревательного оборудования неизменно связана с рисками воспламенения.

Преимущества конвергенции для контроля доступа

Преимущества конвергенции для контроля доступа

Комплексные системы безопасности \\ 29.01.2016 15:47 \\ HID Global \\ Комментарии()

Предоставление различных ИТ и СКУД пропусков на одной смарт-карте или смартфоне, использование одного и того же набора процессов помогает повысить удобство работы и значительно повышает безопасность, одновременно со снижением текущих операционных затрат.

Смартфоны: открывая двери новым возможностям

Смартфоны: открывая двери новым возможностям

Комплексные системы безопасности \\ 15.12.2015 20:36 \\ HID Global \\ Комментарии()

Обладая разнообразными возможностями и множеством приложений, смартфон стал важной частью повседневной жизни для многих. Исследовательская компания Gartner недавно сделал прогноз, что мировые поставки мобильных телефонов превысят 2 млрд единиц в 2016 году.

Безопасность на предприятии, системы безопасности для бизнеса

Комплексные системы безопасности \\ 09.12.2015 13:43 \\ Разбег Системы безопасности Ставрополь \\ Комментарии()

Система безопасности предприятий - понятие, не имеющее на сегодняшний день чётких очертаний. Для каждого предприятия она своя. Однако, в неё непременно входит охрана предприятий, позволяющая осуществлять производственный процесс на должном, определённом законодательством, уровне.

Что считать импортом? Обзор ситуации на рынке источников питания

Комплексные системы безопасности \\ 18.11.2015 14:08 \\ К-Инженеринг \\ Комментарии()

Начавшаяся волна импортозамещения, безусловно, затронула и рынок систем безопасности. В данной статье попытаемся на примере сектора рынка источников бесперебойного питания разобраться, всегда ли оно будет уместным, на какие критерии следует обратить внимание при выборе отечественной замены, а также как отреагируют различные системы безопасности ну запущенную текущей действительностью волну.

Рынок ИБП: перемены неизбежны!

Рынок ИБП: перемены неизбежны!

Комплексные системы безопасности \\ 18.11.2015 13:44 \\ К-Инженеринг \\ Комментарии()

В данной статье мы попытаемся описать возможные направления технического развития источников бесперебойного питания (ИБП), исходя из тех рамок, в которые нас поставила отечественная экономика. Заранее отмечу, что при грамотном техническом подходе для российских производителей ИБП эти рамки отнюдь не выглядят сдерживающими развитие отечественного продукта.

Мобильный доступ с помощью Bluetooth Smart и NFC

Комплексные системы безопасности \\ 01.10.2015 23:49 \\ HID Global \\ Комментарии()

Современное поколение систем контроля доступа обеспечивает более безопасные и развитые способы управления учетными данными, в том числе благодаря использованию такого нового форм-фактора, как мобильные устройства.

Видеодетекторы дыма и огня: раннее обнаружение

Видеодетекторы дыма и огня: раннее обнаружение

Комплексные системы безопасности \\ 05.08.2015 10:28 \\ Macroscop \\ Комментарии()

Программные детекторы дыма и огня находят широкое применение на разных типах объектов. В отличие от аппаратных датчиков, они способны распознавать дым или огонь по изображению, что позволяет обнаружить возгорание раньше, контролировать бόльшие площади, использовать их для обнаружения огня в помещении и на протяженных территориях (например, в парках или лесных массивах).

Обнаружение оставленных предметов. Анализ двух прогрессивных методов

Комплексные системы безопасности \\ 31.07.2015 14:49 \\ Macroscop \\ Комментарии()

Современные программные комплексы предоставляют целый спектр инструментов для ситуационного контроля объектов различного рода. В рамках обеспечения антитеррористической безопасности в большинстве видеосистем, размещенных в общественных местах (безопасных городов, банков, торговых центров, рынков, вокзалов, аэропортов, метро) большой популярностью пользуется детектор оставленных предметов. Детектор позволяет регистрировать объекты, которые находились в движении, а затем остановились на заданный промежуток времени.

Книги

Системы охранной, пожарной и охранно-пожарной сигнализации

ISBN: 978-5-7695-6218-1
Год: 2010 (май)
Страниц: 512

 

 

Учебное пособие представляет собой 5-е издание, дополненное и переработанное. Книга незаменима при обучении специалистов по монтажу любых видов сигнализаций: пожарных, охранных и охранно-пожарных. Представлены также общие сведения об организации охраны на объекте.

Технические средства охраны

Системы охранной сигнализации: основы теории и принципы построения

ISBN: 978-5-9912-0025-7
Год: 2008
Страниц: 496

 

Учебное пособие поможет при прохождении теоретических курсов специалистами в области охраны. Здесь есть всё об эксплуатации технических средств охраны. Это второе, дополненное издание, созданное на основе лекций.

Технические средства охраны

Системы контроля и управления доступом

Год: 2010
Страниц: 272

 

Книга адресована широкому кругу лиц, занятых в области службы безопасности на различного уровня объектах. Прилагается перечень нормативных материалов.

 

Технические средства охраны

вверх