DPI готовится к новой волне. Классификация и маркировка. Чем объясняется высокая "цена вопроса"

DPI системы используют технологию накопления статистической информации, а также фильтрации и контроля сетевых пакетов, учитывая их содержание. Они работают по более глубокому принципу, чем брандмауэры, анализирующие лишь заголовки пакетов. Эта технология проверяет содержимое трафика на втором уровне модели OSI и выше. Системы могут идентифицировать и останавливать вирусы, отсекать ненужную информацию. Решение о блокировке может приниматься также по косвенным симптомам, по которым распознаются определенные протоколы и программы.

Обзор технологии и ситуации на рынке

Как свидетельствует статистика, за 5 лет в нашей стране значительно увеличилась группа пользователей, которые регулярно (как минимум один раз в течение 24 часов) подключаются к интернету. Если раньше этот показатель был на уровне 31%, сегодня он вырос до 57%. Если перевести эти данные в количество, получается около 66,5 млн человек.

С 2010 года отмечается стремительный рост мобильных пользователей. По статистике, на текущий момент больше трети всех посещений сайтов происходят со смартфонов (3/4 от общего количества) и прочих портативных устройств.

Несмотря на различные неблагоприятные факторы, эксперты прогнозируют дальнейшее увеличение мобильного трафика. Операторы вынуждены реагировать на изменения и искать дополнительные способы улучшения качества своих услуг, поэтому для них актуальной становится технология контроля сетевого трафика. Как считают эксперты, к 2020 году глобальный рынок DPI превысит 4,7 млрд долларов.

Что собой представляют DPI системы анализа и фильтрации пакетов?

Технология DPI позволяет не только оптимизировать пропускную способность канала, но и способна поднять уровень безопасности при работе с информацией. Интерес в нашей стране к подобным решениям подогрет на законодательном уровне. Государство требует от операторов связи ограничения доступа абонентов к неправомерному контенту.

Решения по глубокому анализу трафика позволяют:

  • бороться с терроризмом;
  • защищать от сетевых атак;
  • блокировать выполнение вредоносного ПО;
  • гарантировать скорость и качество доступа в интернет;
  • исключать сетевые перегрузи;
  • дифференцировать трафик, обеспечивать равномерность потока и распределение приоритетов.

Системы DPI помогают распределить нагрузку, чтобы пользователи не замечали снижение скорости и оставались довольны качеством связи. Такие системы в основном устанавливаются на границе сети оператора в разрыв имеющихся аплинков, которые уходят от пограничных маршрутизаторов. Это позволяет направлять весь входящий и исходящий трафик через DPI, что повышает точность контроля и мониторинга. Специфические задачи решаются путем установки оборудования ближе к конечным пользователям, на уровень CMTS и так далее.

Carbon Reductor DPI X

Операторы рынка уже давно оценили преимущества технологии DPI, однако не так много разработчиков, готовых предложить оптимальные решения для небольших и средних компаний. Одним из разработчиков такого ПО является наша компания. Мы создаем и поддерживаем актуальный продукт – .

Это программное решение:

  • автоматически не допускает трафик на ресурсы, находящиеся в списке Минюста и Роскомнадзора;
  • делает компанию полностью соответствующей российскому законодательству по ФЗ-436, ФЗ-398, ФЗ-187, ФЗ-149, ФЗ-139 (страхует от штрафов);
  • работает по схеме «зеркалирования трафика»;
  • использует 8 технологий фильтрации (поддерживаются: HSTS, TCP/IP, BGP/OSPF, HTTPS, DNS, HTTP);
  • способно проверять до 900 тысяч пакетов трафика в секунду;
  • имеет понятный веб-интерфейс;
  • использует минимум аппаратных ресурсов;
  • поддерживает IPv6.

Поскольку наши разработчики готовят изменения за несколько месяцев до поправок и рекомендаций, в распоряжении компаний всегда актуальный продукт, соответствующий текущим требованиям к анализу и фильтрации трафика.

Из чего состоит DPI?

DPI обеспечивает:

  • анализ трафика;
  • ограничение доступа абонентов к сайтам;
  • персонализацию сервисов;
  • ограничение использования некоторых сетевых протоколов.

Системы имеют такой состав:

  • PCC – разделяет физический поток данных на логические сессии;
  • PCRF – «мозг», использующий необходимые правила (установление параметров качества обслуживания, применение дополнительных сервисов и так далее);
  • PCEF – применяет PCC-правила к трафику, проводит тарификацию;
  • OCS – контроль баланса абонента, тарификация сервисов, применение скидок, подсчет объема услуг;
  • Billing – сохраняет данные о балансе абонентов, предоставляет доступ к ним серверу OCS;
  • Access network – сеть подключения абонента к поставщику услуг, содержит в себе все клиентские устройства;
  • Transcoding, optimization server – кэширование данных для улучшения пропускной способности;
  • AAA Server – идентифицирует абонентов, ведет учет используемых ресурсов (протокол RADIUS);
  • BBERF – сообщает PCRF об активации сессии с отправкой идентификатора абонента и прочих показателей для точного определения QoS-правил обслуживания;
  • UDR – обеспечивает хранение данных пользователей.

Варианты использования DPI систем

Предусмотрено 9 возможных сценариев:

  1. контроль и анализ трафика;
  2. его приоритизация;
  3. улучшение аплинков;
  4. равномерное распределение канала для всех абонентов;
  5. кэширование;
  6. оценка поведения участников сети;
  7. уведомление абонентов;
  8. ограничение доступа к определенным интернет-ресурсам;
  9. защита трафика от перехвата и прочих атак.

Необходимое оборудование для DPI систем

Программная часть системы способна работать продуктивнее при наличии определенного «железа». В основном, для этого используются готовые решения, в которые входит оборудование с предустановленным ПО.

Обычно стандартная комплектация DPI систем глубокой фильтрации трафика содержит:

  1. Сетевые карты с режимом Bypass, соединяющим интерфейсы на первом уровне. Даже если питание сервера внезапно прекращается, линк между портами продолжает действовать, пропуская трафик за счет питания от батарейки.
  2. Систему мониторинга. Дистанционно контролирует показатели сети и выводит их на экран.
  3. Два блока питания, способные заменить друг друга при необходимости.
  4. Два жестких диска, один или два процессора.

Для расширения функций могут подключаться внешние средства хранения. Поскольку в этом случае высокая скорость доступа не нужна, подходит решение в виде одной СХД (системы хранения данных) и нескольких дисковых полок, подключенных к ней.

Головное устройство оснащено двумя контроллерами, каждый из которых имеет порты для подключения к сети и полок расширения. Используется процессор Intel® Xeon® E5-2600 V4. Для повышения отказоустойчивости применяется два блока питания.

ОС SmartOS выполняет управление дисками. За счет применения технологии RAID-Z и новой файловой системы ZFS оборудование получает массу преимуществ:

  • контроль целостности логических и физических дисков;
  • минимизация фрагментации информации;
  • высокая скорость доступа к дискам.

Чтобы увеличить объем хранимых данных, JBOD подключается к головному устройству. На одной полке может размещаться до 70 дисков. Такой метод позволяет в ускоренном режиме увеличить объем системы хранения.

Схемы подключения DPI

Существует две основные схемы:

  1. Активная. Установка «в разрыв». Обеспечивает реализацию полного функционала. Устройство подключается после пограничного маршрутизатора в разрыв uplink. Благодаря такой схеме через DPI проходит весь трафик. Это открывает широкие функциональные возможности для его обработки. Однако в такой схеме есть минус. Если устройство выходит из строя, нарушается связь. Для этого рекомендуется использовать либо резервную платформу, либо Bypass устройства.
  2. Пассивная. «Зеркалирование трафика» происходит через оптические сплиттеры либо SPAN-порты. Подобная схема открывает доступ к множеству функций: предварительная фильтрация СОРМ, кэширование, переадресация запросов блокировки, онлайн-снятие click stream и так далее. Если сеть уже действует, такая схема позволяет за 1-2 дня внедрить DPI.

Заключение

Системы DPI достаточно сложны, чтобы уместить их подробное описание в одном информационном материале. Однако с учетом этих данных можно составить понятную картину, насколько продуктивными и востребованными являются подобные решения. В руках профессионалов системы DPI – ценные инструменты, улучшающие качества сервиса и безопасность абонентов, а в российской действительности полностью соответствовать законодательству и спокойно работать в качестве оператора связи.

Я уже несколько лет активно занимаюсь темой DPI, осуществляя пресейл и непосредственно внедрение этих решений. Побудило меня на написание этого топика то, что тема DPI на хабре раскрыта достаточно слабо, поэтому хотелось бы немного рассказать об устройствах, которые применяют ведущие сервис-провайдеры и крупные корпоративные пользователи для интеллектуального управления трафиком в своих сетях, а также пояснить зачем им это всё надо.

Основы

Система DPI, как видно из названия, выполняет глубокий анализ всех проходящих через неё пакетов. Термин «глубокий» подразумевает анализ пакета на верхних уровнях модели OSI, а не только по стандартным номерам портов. Помимо изучения пакетов по неким стандартным паттернам, по которым можно однозначно определить принадлежность пакета определённому приложению, скажем, по формату заголовков, номерам портов и т.п., система DPI осуществляет и так называемый поведенческий анализ трафика, который позволяет распознать приложения, не использующие для обмена данными заранее известные заголовки и структуры данных. Яркий пример тому – Bittorrent. Для их идентификации осуществляется анализ последовательности пакетов, обладающими одинаковыми признаками, таким как Source_IP:port – Destination_IP:port, размер пакета, частота открытия новых сессий в единицу времени и т.д., по поведенческим (эвристическим) моделям, соответствующим таким приложениям. Естественно, сколько производителей такого железа – столько и интерпретаций поведенческих моделей соответствующих протоколов, а значит и точность детектирования также разнится. Раз речь зашла о производителях, стоит отметить, что наиболее крупными игроками и их продуктами на рынке standalone DPI являются Allot Communications , Procera Networks , Cisco , Sandvine . Всё более и более популярными становятся интегрированные в маршрутизаторы решения DPI. Так поступают многие - Cisco, Juniper, Ericsson и т.д. по списку. Такие решения, как правило, достаточно компромиссные, и не могут предоставить весь спектр сервисов, доступных standalone решениям. Однако, для большинства задач этого вполне достаточно. Софтварные продукты, крутящиеся на серверах (такие как OpenDPI) я умышленно не указываю, их рынок весьма узок и, как правило, ограничивается корпоративными/кампусными сетями, а это немного не мой профиль. Важной отличительной особенностью настоящего DPI является возможность аналитики трафика за счёт сбора различного рода статистики с разбивкой по приложениям, по тарифным планам, по регионам, по типам абонентских устройств и т.д. По этой причине замечательный NBAR имени Cisco хоть и позволяет детектировать и осуществлять контроль трафика по приложениям, полноценным решением DPI не является, т.к. в нём отсутствует ряд важных компонентов.

Система DPI, как правило, устанавливается на границе сети оператора в разрыв существующих аплинков, уходящих от пограничных маршрутизаторов. Тем самым, весь трафик, который покидает или входит в сеть оператора, проходит через DPI, что даёт возможность его мониторинга и контроля. Для решения специфических задач можно устанавливать эту систему не на границе сети, а спускать её ниже, ближе к конечным пользователям, на уровень BRAS/CMTS/GGSN/… Это может быть полезно тем операторам, которые по ряду причин помимо утилизации внешних каналов также хотят решать задачу контроля внутренних. Естественно, здесь речь идёт о достаточно крупных сервис-провайдерах с большой распределённой сетью масштабов страны и с достаточно дорогими канальными ёмкостями.

На рынке DPI есть модели на самый разный кошелёк. Производительность представленных на рынке устройств плавает в пределах от сотен Мбит/с до 160 Гбит/с FDX в рамках одной отдельно взятой коробки, которые, как правило, можно объединять в кластеры. Соответственно, и стоимость плавает весьма серьёзно - от нескольких тысяч до миллионов долларов США. В случае с корпоративным сегментам решения предполагают низкоскоростные подключения по медным интерфейсам типов 10/100/1000. Операторские решения рассчитаны на подключение множества линков 1GE и 10GE. Что касается совсем взрослых решений, то пока что рынок 100GE интерфейсов на сетевом оборудовании достаточно скуден и дорог, но как только появится первый реальный бизнес-кейс, вендоры DPI предложат соответствующие решения, ибо у некоторых из них заготовки уже имеются.

Основная проблема всех существующих решений DPI заключается в том, что для того, чтобы однозначно определить принадлежность того или иного потока данных к одному из сетевых приложений, устройство, осуществляющее анализ трафика, должно увидеть оба направления сессии. Иными словами, входящий и исходящий трафик в пределах одного flow должны пройти через одно и то же устройство. Если оборудование понимает, что видит только одно направление в рамках сессии, оно не имеет возможности соотнести данный flow с какой-либо известной категорией трафика со всеми вытекающими последствиями. В связи с этим, когда речь заходит о контроле аплинков, встаёт очень логичный вопрос об асимметричном трафике, который для более-менее крупных операторов является не экзотикой, а обыденностью. Разные вендоры решают эту задачу по-разному:

  • Cisco довольствуется половинкой сессии и пытаются определить тип сетевого приложения, используя лишь эти данные. Очевидно, что при данной методике страдает точность детектирования приложений, особенно тех, для которых требуются поведенческие модели анализа. Также в такой реализации есть ряд ограничений, накладываемых на возможности управления таким трафиком, у каждого вендора они свои.
  • Sandvine для решения проблемы асимметричного трафика использует следующую идею - весь трафик, являющийся асимметричным, при помощи инкапсуляции в broadcast-фреймы пересылается на все устройства DPI, находящиеся в едином домене. В итоге данной пересылки устройства, видевшие до этого лишь одно направление в рамках сессии, увидят и второе, на основании чего можно будет осуществить полный комплекс мер по анализу и управлению трафиком. Недостаток данной схемы очевиден - при больших объёмах асимметричного трафика на сети предъявляются серьёзные требования к каналам связи, соединяющим устройства DPI на разных сайтах. В некоторых случаях, когда речь идёт об асимметрии порядков нескольких гигабит (или десятков гигабит) в секунду, данная методика неприменима в связи с высокими накладными расходами на организацию канала между сайтами.
  • Умнее всех поступают Procera и Allot. Идея похожа на реализацию Sandvine с тем отличием, что между сайтами пересылается не асимметричный трафик, а метаданные, явно характеризующие его. В общем случае можно считать, что это протокольные заголовки, хотя на самом деле всё чуть сложнее. За счёт подобной оптимизации требования к межсайтовым каналам связи намного более гуманны, относительно реализации Sandvine выигрыш может быть до 95%. Предвосхищая некоторые комментарии, отвечу сразу - да, это работает, подтверждено на практике на production сетях, внедрял лично своими руками.
Ещё один важный момент, который является критичным для некоторых заказчиков - это периодичность обновления файлов сигнатур, на основании которых осуществляется анализ трафика. Некоторые вендоры делают обновление раз в квартал, некоторые - раз в неделю. В случае необходимости критическое обновление (содержащее методики обнаружения новой версии скайпа, к примеру) может выйти раньше календарного срока. Как правило, все вендоры адекватно относятся к желаниям заказчиков добавить какой-то новый протокол в список поддерживаемых и всячески помогают в этом. Не секрет, что на каждом локальном рынке существуют специфические приложения, практически отсутствующие в иных странах. В России и странах СНГ самым ярким примером является Mail.ru агент. Или, например, подобный запрос может возникнуть после выхода очередной сетевой игры, которую необходимо выделять из общего потока данных.

Что дальше?

Теперь возникает логичный вопрос – ну и что теперь со всем этим делать? У оператора появляется достаточно мощный инструмент, при умелом использовании которого можно решать различные задачи по эксплуатации сети и её развитию.
Реализация QoS
С точки зрения эксплуатации, оператор может контролировать утилизацию подключенных через DPI каналов на уровне приложений. Раньше он решать задачи реализации QoS (Quality of Service) исключительно средствами построения очередей на основании маркировки трафика служебными битами в заголовках IP, 802.1q и MPLS, выделяя наиболее приоритетный трафик (разного рода VPN’ы, IPTV, SIP и т.д.), и гарантируя ему определённую пропускную способность в любой момент времени. Трафик типа Best Effort, к которому относится весь интернет трафик домашних абонентов (HSI - High Speed Internet), оставался фактически без контроля, что давало возможность тому же Bittorrent забрать себе всю свободную полосу, что, в свою очередь, вело к деградации любых других веб-приложений. С использованием DPI у оператора появляется возможность распределить канал между различными приложениями. К примеру, в ночные часы разрешить трафику Bittorrent забирать себе больше полосы, чем днём, в часы-пик, когда в сети ходит большое количество другого веб-трафика. Другая популярная мера у многих мобильных операторов – блокировка Skype-трафика, а также любых видов SIP-телефонии. Вместо полной блокировки оператор может разрешать работу данных протоколов, но на очень низкой скорости с соответствующей деградацией качества предоставления сервиса у конкретного приложения, чтобы вынудить пользователя платить за услуги традиционной телефонии, либо за специальный пакет услуг, разрешающий доступ к VoIP-сервисам.
Subscriber Management
Важным моментом является то, что правила, на основании которых выполняется шейпинг/блокировка, могут быть заданы посредством двух основных базисов – per-service или per-subscriber. В первом случае простейшим образом оговаривается, что конкретному приложению позволяется утилизировать определённую полосу. Во втором привязка приложения к полосе осуществляется для каждого подписчика или группы подписчиков независимо от других, что производится через интеграцию DPI с существующими OSS/BSS системами оператора. Т.е. можно настроить систему таким образом, что подписчик Вася, который за неделю накачал торрентов на 100 гигабайт, до конца месяца будет ограничен по скорости скачивания этих же торрентов на уровне 70% от купленного им тарифа. А у подписчика Пети, который купил дополнительную услугу под названием «Skype без проблем», трафик приложения Skype не будет блокироваться ни при каких условиях, но любой другой – легко. Можно сделать привязку к User-Agent и разрешить браузинг только при помощи рекомендуемых браузеров, можно делать хитрые редиректы в зависимости от типа браузера или ОС. Иными словами, гибкость тарифных планов и опций ограничена лишь здравым смыслом. Если же речь идёт о трафике мобильных операторов, то DPI позволяет контролировать загрузку каждой базовой станции в отдельности, справедливо распределяя ресурсы БС таким образом, чтобы все пользователи остались довольны качеством сервиса. Разумеется, данную задачу можно решать силами мобильного ядра, но это не всегда бюджетно. Раз уж я упомянул мобильных операторов, то хотелось бы отметить, что каждый уважающий себя производитель пакетного ядра EPC (Evolved Packet Core) для LTE интегрирует в свой PDN-GW функционал DPI, заточенный под решение задач мобильных операторов.
Зачем это всё надо?
Звучит это всё, конечно, не очень оптимистично, но для многих операторов по экономическим причинам значительно дешевле поставить систему DPI для контроля утилизации каналов, чем расширять аплинки. Причём, сделать это без особых потерь абонентской базы, т.к. давно известно, что большая часть трафика генерируется примерно 5% наиболее активных абонентов. И в этом случае оператору экономически целесообразней снизить абонентскую базу, но платить меньше денег за аплинки, т.к. уйдут самые активные качальщики, из-за которых оператор вынужден каждый месяц платить немаленькую сумму за аплинки. Это ночной кошмар любого маркетолога, но в некоторых случаях потерять клиентов – выгодно. Деликатность ситуации заключается в том, что рано или поздно наступит такой момент, когда все операторы так или иначе будут что-либо шейпить при помощи DPI. Т.е. если сегодня один оператор начнёт рубить торренты, самые активные качальщики разом уйдут к другому. После этого у того сильно скакнёт загрузка его каналов и клиенты начнут жаловаться на то, что плохо работает веб-браузинг. Оператор подумает, подсчитает, и в итоге купит DPI. И так до тех пор, пока все игроки на рынке не обзаведутся подобной системой. Разумеется, установка DPI не снимает с оператора задачу по периодическому расширению аплинков и увеличению скорости доступа для подписчиков. Просто теперь эти расширения не будут бесконтрольными. Т.е. оператор всегда будет знать трафик какого типа и в каком количестве пойдёт через его каналы, это будет прогнозируемо. Разумеется, когда речь идёт о коробках стоимостью $1M, дело не только в аплинках, необходимо это понимать. Моё личное мнение в первом приближении, как пользователя услуги широкополосного доступа в интернет, заключается в том, что что-либо резать и блокировать, конечно же, плохо и совершенно неправильно. Но, глядя глазами инженера на то, какими темпами растут объёмы трафика, использование DPI становится спасением для многих операторов, т.к. торренты сегодня способны забить намертво практически любой аплинк.
Новая модель услуг
Мы плавно перешли к задаче развития сети и её услуг. Глядя на то, как подписчики пользуются купленной ими полосой, какие приложения используют, оператор может изучать потребности каждой категории подписчиков и предлагать им более гибкие и совершенные тарифные планы. К примеру, основываясь на том, что подписчики тарифа Silver активно пользуются услугами сторонней SIP-телефонии, можно предложить им дополнительный пакет, позволяющий использовать аналогичный сервис, предоставляемый оператором, но со скидкой. Остальные подписчики при желании воспользоваться более дешёвой телефонией будут мотивированы переходить на более дорогой тариф, приобретая дополнительные бонусы в виде повышения скорости. Можно придумать много кейсов, это лишь один из них. Своё видение персонализированных сервисов представила компания Allot в своей презентации, выдержки из которой упоминаются в материале, когда-то опубликованном на хабре . Подход очень интересный, и выгодный как для пользователя, так и для оператора. Тенденции развития телекоммуникационного рынка таковы, что для операторов продавать трубу, как они делают сейчас, скоро будет просто невыгодно, есть масса исследований, подтверждающих это. ARPU не увеличивается, конкуренция высока, оборудование необходимо апгрейдить всё чаще и чаще, расходы операторов растут, а желание получать прибыль никуда не девается. Задача DPI в данном разрезе - реализовать новые модели предоставления услуг конечному пользователю. Некоторые мировые операторы маленькими шагами уже двигаются к данной идее. В России, очевидно, процесс этот будет долгим и мучительным, т.к. для достижения задачи необходимо перестраивать мозги абонентов на другую частоту, что очень непросто, т.к. отучить человека не качать торренты, а покупать легальный контент - непросто. Я бы не хотел сейчас запускать дискуссию на тему «А где мне брать легальный контент?», это отдельная песня, и я очень рад, что это сдвинулось с мёртвой точки (на примере ivi, omlet, zabava и т.п. совместно с возрастающими продажами Smart TV). Надеюсь, данные проекты не заглохнут. О Netflix я пока не мечтаю, но было бы здорово.

DPI отлично умеет работать в связке с различными VAS (Value Added Services) системами, такими как антиспам, антивирус, видеооптимизаторы и т.п. Суть функционала заключается в отводе части трафика по заданным администратором критериям, на сторонние устройства, для осуществления более глубокого анализа и обработки.

Довольно легко можно организовать предоставление пользователям услуг по родительскому контролю, которые становятся всё более и более актуальными.

Спецслужбы
В конце хотелось бы сказать пару слов о том, для чего также закупается DPI, кроме как для издевательств над абонентами. Оборудование DPI, в связи со своим умением видеть всё и вся, что происходит на сети, является весьма интересным устройством для товарищей в погонах, без которых сейчас никуда. При помощи DPI спецслужбы могут вести наблюдение за сетевой активностью того или иного пользователя. Можно перекрыть ему VPN, HTTPS и прочие прелести, делающие невозможным анализ контента. Разумеется, можно закрывать доступ пользователей к неугодным властям сайтам, что очень актуально в связи с последними событиями в законотворческой деятельности в России.
Сетевой нейтралитет
И, наконец, хотелось бы сказать пару слов о многострадальном сетевом нейтралитете, который существует в некоторых странах. Если коротко, то операторам в отсутствие перегрузок на аплинках нынче запрещено блокировать трафик законных/легальных приложений. Т.е. начать выборочную блокировку любого трафика теперь разрешается только в случае возникновения перегрузки. Но, в то же время, ещё нет чётких формулировок на тему того, какие именно приложения являются законными, а какие – нет. По логике, незаконным может быть только контент, а не приложения. К примеру, детская порнография явно относится к незаконному контенту, но протоколы HTTP и Bittorrent, посредством которых можно осуществлять его передачу – вполне себе легальны. Так что тут имеется ещё достаточно большой простор для споров, а тема, на мой взгляд, весьма интересна. Пока что у нас сетевым нейтралитетом не пахнет, посему у операторов на руках - все карты для управления трафиком при помощи DPI.

Вместо заключения

Надеюсь, данная заметка помогла кому-то немного структурировать свои знания относительно DPI. Я подумаю над тем, чтобы остановиться на каких-то моментах более детально в следующих опусах, ежели на них будет спрос, тема достаточно обширна. Чтобы избежать лишней полемики - лично я, как пользователь услуг ШПД, против того, чтобы что-либо резалось и блокировалось, что ни в коем случае не мешает мне делать свою работу. С радостью отвечу на вопросы.

Александр Горнак
Технический директор ООО «НСТ»

Телекоммуникационная отрасль по всему миру находится в процессе конвергенции наследованных и новых сетевых услуг к общей IP-инфраструктуре. И хотя глобальные IP-сети создали огромные возможности для пользователей, для роста и трансформации бизнеса, они также привели к возникновению новых проблем для поставщиков услуг, работающих с этими сетями. Одна из таких насущных проблем для поставщиков услуг Интернета — умение контролировать трафик в своей сети.

Так, например, большая и растущая доля интернет-активности приходится на P2P-трафик (peer-to-peer). Как правило он не приносит дохода поставщикам услуг, но занимает немалую долю ресурсов сети. В результате неконтролируемый P2P-трафик повышает издержки и требует дополнительных усилий на выстраивание инфраструктуры сети. Более того, поставщики услуг могут терпеть убытки, когда неконтролируемость тех или иных сетевых приложений ведет к разрушению приносящих доход услуг (например, VoIP), приводя к нарушениям соглашения об уровне обслуживания (SLA). Нарушение SLA могут также вызвать распределенные атаки «отказа в обслуживании» — DDoS.

Решение этих и других подобных проблем находится за пределами возможностей стандартных коммутаторов, маршрутизаторов и межсетевых экранов, которые «заглядывают» в передаваемые пакеты, как правило, не далее TCP/UDP-портов. Поэтому такие устройства не умеют различать, например, приложения, передаваемые поверх протокола HTTP, где помимо Web-страниц могут передаваться голос, видео, мгновенные сообщения и тот же P2P-трафик.

Помочь оператору во всех этих, а также многих других случаях может технология глубокого исследования пакетов — DPI (Deep Packet Inspection). Термин DPI относится к устройствам и технологиям, которые позволяют проверять содержимое пакетов и выполнять определенные действия на основе этого содержимого.

Если пользоваться почтовой аналогией, то пакет — аналог почтового письма, адрес на конверте аналогичен заголовку пакета, информация внутри — аналог полезной нагрузки. DPI — аналог принятия решений по обработке почтовой корреспонденции не только на основе адреса, но и учитывая содержимое письма.

Иногда употребляют более общий термин — DPP (Deep Packet Processing), который подразумевает такие действия над пакетами, как модификация, фильтрация или перенаправление. Сегодня оба термина — DPI и DPP — часто используются как взаимозаменяемые.

Как это работает?

Разнообразие организации IP-связи таково, что для доступа к данным на уровне приложений недостаточно разбирать заголовки пакетов до 4-го уровня. Например, HTTP-трафик может передаваться с использованием стека Ethernet/IP/TCP/HTTP и тот же трафик в 3G-сети использует стек Ethernet/IP/UDP/GTP/IP/TCP/HTTP, где GTP — протокол туннелирования GPRS. Поэтому при анализе пакетов DPI-платформа использует так называемый граф протоколов, который для каждого из протоколов IP-стека указывает возможные способы инкапсуляции на следующем уровне.

Но и «добравшись» по стеку до приложения, не всегда его можно однозначно идентифицировать по номеру TCP/UDP-порта. Не все приложения имеют зарегистрированные в IANA порты (например, Skype). Один из основных методов, используемых в DPI-платформах для этих целей — поверка сигнатур протоколов и приложений. Под сигнатурой понимается шаблон описания данных, который выбирается для уникальной идентификации связанного с ним приложения/протокола. Каждая DPI-платформа хранит библиотеку сигнатур, которая пополняется при появлении новых версий или приложений.

Помимо сигнатурного метода также используется анализ сетевых транзакций, который тоже может иметь специфичные для каждого из приложений и протоколов характеристики (размер полезной нагрузки, количество и размеры пакетов в ответ на запрос, позиция фиксированных строк или байт внутри пакета и т.д.). В арсенале DPI есть методы, основанные на статистическом и поведенческом характере потока данных и другие эвристические методы.

Понятно, что извлечение информации из пакета и ее анализ требуют значительных вычислительных ресурсов, а одно из основных требований к DPI-платформе — выполнять сканирование пакетов на скорости канала передачи данных. Еще одно непременное требование к DPI-продуктам — гибкость применения,то есть возможность добавлять новые возможности и сценарии обработки трафика.

Первое поколение DPI продуктов было приспособлено для решения узких задач и не являлось достаточно гибким для решения возникающих проблем или внедрения новых услуг, что вело к необходимости добавления в сеть нового оборудования. Добавление новых аппаратных средств может быть очень дорогостоящим, а также создавать дополнительные точки отказа, уменьшая общий уровень доступности услуг. Кроме того, применение специализированных DPI-продуктов не позволяет быстро и своевременно реагировать на новые требования.

Второе поколение DPI продуктов — программируемые DPI устройства — позволяет избежать добавления новых аппаратных средств и реорганизации сети. Новое поколение DPI базируется на многоядерных сетевых процессорах, что позволяет выполнять множество DPI-приложений на скорости канала и добавлять новую функциональность, используя только обновление программного обеспечения.

Ключевые проблемы сетевой инфраструктуры

Прежде чем говорить о применении DPI-платформ в сетях поставщиков услуг, несколько слов необходимо сказать об основных проблемах, с которыми поставщики услуг сталкиваются в IP-ориентированном мире.

Во-первых, широкополосные интернет-услуги — товарные сервисы с очень низким коэффициентом доходности. Как только наследуемые услуги мигрируют к IP, они (что важно) создают новые приносящие доход IP-услуги (сверх обычного интернет-доступа), которые обеспечивают высокий уровень доходности.

Во-вторых, поставщикам услуг важно оптимизировать емкость своей сети для предоставления широкого спектра услуг различным абонентам так, чтобы занимаемая полоса и отвечала максимальной удовлетворенности абонентов, и обеспечивала прибыльность услуги.

И, наконец, угрозы DDoS и других атак возрастают. Поставщики услуг должны иметь возможность защищать свои сети от текущих и возникающих угроз безопасности.

Миграция к сетевой инфраструктуре с DPI

Для решения проблем IP-конвергенции многие поставщики услуг используют технологию DPI, что позволяет осуществлять мониторинг и контроль трафика на всех уровнях стека протоколов (в том числе на уровне приложений) на основе набора правил.

Есть три основные движущие силы применения платформ DPI в сети:

  • максимизация прибыли от услуг;
  • минимизация капитальных (CAPEX) и эксплуатационных (OPEX) затрат;
  • ограничение рисков угроз безопасности сети.

Максимизация прибыли от услуг

Функциональность программируемых DPI позволяет поставщикам услуг предлагать широкий спектр прибыльных услуг поверх базового широкополосного доступа. Сегодня многие поставщики услуг сфокусированы на предоставлении базового набора услуг, состоящего из интернет-доступа, телефонии и ТВ-служб. Однако, даже основным телефонным и ТВ-услугам угрожает распространение глобальных интернет-услуг голосовой связи (Skype, SipNet, GoogleTalk) и видео-контента (YouTube, iTunes, Netflix). Для того чтобы оправдать большие средства, которые вкладываются в инфраструктуру широкополосной связи, очень важно, чтобы поставщик услуги отказался от модели «тупой трубы» в пользу модели «умной трубы» с премиум-сервисами.

Используя концепцию «умной трубы», поставщики услуг могут играть ключевую роль в цепочке создания стоимости новых широкополосных услуг.

Премиум-услуги требуют управления трафиком, мониторинга и модификации содержимого на уровне приложений. Например, пользователь может подписаться на игровой сервис, который обеспечивает дополнительную полосу для игрового сайта в определенные часы. Другой пример — премиум-подписка на интернет-услугу «видео-по-запросу», которая предлагает дополнительную полосу для видео реального времени, просматриваемого поверх интернет-соединения. Поставщики услуг могут реализовывать биллинг, основанный на использовании определенных сетевых приложений.

Еще один класс премиум-сервисов связан со вставкой и/или изменением содержимого в потоках приложения. Например, вставка рекламы в видеопотоки позволит транслировать персонализированную рекламу на основе выявленных предпочтений абонента.

Как видно из этих примеров, чтобы принять участие в цепочке формирования доходов от интернет-услуг премиум-класса, оператор должен иметь возможность осуществлять мониторинг и контроль сетевого трафика и содержимого на уровне приложений. Важно также, что DPI-продукты обладают гибкостью для поддержки новых услуг и при соответствующих рыночных возможностях позволяют поставщикам услуг адаптировать свои приложения к динамически меняющимся требованиям рынка.

Максимальное удовлетворение клиентов при минимизации затрат

Не менее важно, чтобы поставщики услуг минимизировали свои капитальные и эксплуатационные расходы при развертывании новых услуг.

Это означает, что требования к сетевым ресурсам должны быть оптимизированы для согласования возможностей по доставке услуги и удовлетворенности пользователей. Эта проблема большинства сегодняшних сетей, потому что сетевые элементы не в состоянии осуществлять управление трафиком выше 4-го уровня. Так как большинство Web-приложений выполняется поверх HTTP на TCP-порту 80, то для стандартных коммутаторов и маршрутизаторов невозможно классифицировать такие приложения и управлять трафиком, он весь классифицируется как HTTP-трафик.

Текущие тенденции в сфере услуг интернет-контента указывают, что требования для управления трафиком непредсказуемы. Поэтому поставщики услуг должны реализовывать новые DPI-решения, где программное обеспечение может быть обновлено для поддержки новых требований к управлению и контролю трафика по мере необходимости.

Эффективно управляя сетевым трафиком на основе приложений, поставщики услуг могут оптимизировать использование ресурсов сети, что влияет на сокращение как капитальных, так и эксплуатационных затрат.

Максимизация сетевой безопасности

DPI также требуются для того, чтобы обеспечить лучшую в своем классе сетевую безопасность. Угрозы, включая такие, как DDoS-атаки, распространение червей, мошенничество с кредитными картами и др., продолжают расти количественно и качественно. Чтобы защитить сети от этих угроз, необходимо внедрять межсетевые экраны на уровне приложений, системы обнаружения и предотвращения вторжений, мониторинг, основанный на идентификации пользователя, услуг и, самое главное, необходимо уметь осуществлять контроль и мониторинг сетевого трафика на основе все более сложных стратегий (например, анализ поведения приложения и аномалий протокола). Таким образом для все более изощренных угроз важно иметь возможность добавлять новые функции обеспечения безопасности в сети по мере необходимости. Новое поколение DPI позволяет бороться с новыми угрозами без замены оборудования и реорганизации сети.

DPI — значительная инновация в области сетевых технологий, которая формирует основу многих современных услуг и услуг следующего поколения.

Для сетей поставщиков услуг DPI-приложения включают в себя персонализацию услуг абонентам, контент-ориентированный биллинг, внедрение ранжированных по качеству и оплате услуг, расширенное управление P2P-трафиком, обеспечение повышенного уровня безопасности и другие возможности.

DPI обеспечивает лучшую визуализацию данных, управляемость, дополнительные возможности создания услуг, повышения их эксплуатационной и коммерческой эффективности.

При выборе DPI-устройства для своей сети прежде всего необходимо рассмотреть набор его функций и решить, какие из них важны для вас, а какие нет и какие из функций вы хотели бы иметь. Например, во многих случаях IP-мобильность не нужна, но нужна поддержка биллинга, в других случаях — наоборот. Будьте в курсе всех доступных возможностей; некоторые DPI не поддерживают функции безопасности, некоторые — биллинг и т.д. Каждый поставщик услуг уникален, и выбор DPI должен отражать его индивидуальные сетевые требования.

Провайдеры Российской Федерации, в большинстве своем, применяют системы глубокого анализа трафика (DPI, Deep Packet Inspection) для блокировки сайтов, внесенных в реестр запрещенных. Не существует единого стандарта на DPI, есть большое количество реализации от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы.

Существует два распространенных типа подключения DPI: пассивный и активный.

Пассивный DPI

Пассивный DPI - DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence). Из-за того, что DPI физически расположен ближе к пользователю, чем запрашиваемый сайт, подделанный ответ доходит до устройства пользователя быстрее, чем настоящий ответ от сайта.

Выявляем и блокируем пакеты пассивного DPI

Поддельные пакеты, формируемые DPI, легко обнаружить анализатором трафика, например, Wireshark.
Пробуем зайти на заблокированный сайт:

Мы видим, что сначала приходит пакет от DPI, с HTTP-перенаправлением кодом 302, а затем настоящий ответ от сайта. Ответ от сайта расценивается как ретрансмиссия и отбрасывается операционной системой. Браузер переходит по ссылке, указанной в ответе DPI, и мы видим страницу блокировки.

Рассмотрим пакет от DPI подробнее:

HTTP/1.1 302 Found Connection: close Location: http://warning.rt.ru/?id=17&st=0&dt=195.82.146.214&rs=http%3A%2F%2Frutracker.org%2F
В ответе DPI не устанавливается флаг «Don"t Fragment», и в поле Identification указано 1. Серверы в интернете обычно устанавливают бит «Don"t Fragment», и пакеты без этого бита встречаются нечасто. Мы можем использовать это в качестве отличительной особенности пакетов от DPI, вместе с тем фактом, что такие пакеты всегда содержат HTTP-перенаправление кодом 302, и написать правило iptables, блокирующее их:
# iptables -A FORWARD -p tcp --sport 80 -m u32 --u32 "0x4=0x10000 && 0x60=0x7761726e && 0x64=0x696e672e && 0x68=0x72742e72" -m comment --comment "Rostelecom HTTP" -j DROP
Что это такое? Модуль u32 iptables позволяет выполнять битовые операции и операции сравнения над 4-байтовыми данными в пакете. По смещению 0x4 хранится 2-байтное поле Indentification, сразу за ним идут 1-байтные поля Flags и Fragment Offset.
Начиная со смещения 0x60 расположен домен перенаправления (HTTP-заголовок Location).
Если Identification = 1, Flags = 0, Fragment Offset = 0, 0x60 = «warn», 0x64 = «ing.», 0x68 = «rt.ru», то отбрасываем пакет, и получаем настоящий ответ от сайта.

В случае с HTTPS-сайтами, DPI присылает TCP Reset-пакет, тоже с Identification = 1 и Flags = 0.

Активный DPI

Активный DPI - DPI, подключенный в сеть провайдера привычным образом, как и любое другое сетевое устройство. Провайдер настраивает маршрутизацию так, чтобы DPI получал трафик от пользователей к заблокированным IP-адресам или доменам, а DPI уже принимает решение о пропуске или блокировке трафика. Активный DPI может проверять как исходящий, так и входящий трафик, однако, если провайдер применяет DPI только для блокирования сайтов из реестра, чаще всего его настраивают на проверку только исходящего трафика.

Системы DPI разработаны таким образом, чтобы обрабатывать трафик с максимально возможной скоростью, исследуя только самые популярные и игнорируя нетипичные запросы, даже если они полностью соответствуют стандарту.

Изучаем стандарт HTTP

Типичные HTTP-запросы в упрощенном виде выглядят следующим образом:
GET / HTTP/1.1 Host: habrahabr.ru User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br Connection: keep-alive
Запрос начинается с HTTP-метода, затем следует один пробел, после него указывается путь, затем еще один пробел, и заканчивается строка протоколом и переносом строки CRLF.
Заголовки начинаются с большой буквы, после двоеточия ставится символ пробела.

Давайте заглянем в последнюю версию стандарта HTTP/1.1 от 2014 года. Согласно RFC 7230, HTTP-заголовки не зависят от регистра символов, а после двоеточия может стоять произвольное количество пробелов (или не быть их вовсе).
Each header field consists of a case-insensitive field name followed by a colon (":"), optional leading whitespace, the field value, and optional trailing whitespace. header-field = field-name ":" OWS field-value OWS field-name = token field-value = *(field-content / obs-fold) field-content = field-vchar [ 1*(SP / HTAB) field-vchar ] field-vchar = VCHAR / obs-text obs-fold = CRLF 1*(SP / HTAB) ; obsolete line folding
OWS - опциональный один или несколько символов пробела или табуляции, SP - одинарный символ пробела, HTAB - табуляция, CRLF - перенос строки и возврат каретки (\r\n).

Это значит, что запрос ниже полностью соответствует стандарту, его должны принять многие веб-серверы, придерживающиеся стандарта:
GET / HTTP/1.1 hoSt:habrahabr.ru user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br coNNecTion: keep-alive ← здесь символ табуляции между двоеточием и значением
На деле же, многие веб-серверы не любят символ табуляции в качестве разделителя, хотя подавляющее большинство серверов нормально обрабатывает и отсутствие пробелов между двоеточием в заголовках, и множество пробелов.

Старый стандарт, RFC 2616, рекомендует снисходительно парсить запросы и ответы сломанных веб-северов и клиентов, и корректно обрабатывать произвольное количество пробелов в самой первой строке HTTP-запросов и ответов в тех местах, где требуется только один:

Clients SHOULD be tolerant in parsing the Status-Line and servers tolerant when parsing the Request-Line. In particular, they SHOULD accept any amount of SP or HT characters between fields, even though only a single SP is required.
Этой рекомендации придерживаются далеко не все веб-серверы. Из-за двух пробелов между методом и путем ломаются некоторые сайты.

Спускаемся на уровень TCP

Соединение TCP начинается с SYN-запроса и SYN/ACK-ответа. В запросе клиент, среди прочей информации, указывает размер TCP-окна (TCP Window Size) - количество байт, которые он готов принимать без подтверждения передачи. Сервер тоже указывает это значение. В интернете используется значение MTU 1500, что позволяет отправить до 1460 байтов данных в одном TCP-пакете.
Если сервер указывает размер TCP-окна менее 1460, клиент отправит в первом пакете данных столько, сколько указано в этом параметре.

Если сервер пришлет TCP Window Size = 2 в SYN/ACK-пакете (или мы его изменим на это значение на стороне клиента), то браузер отправит HTTP-запрос двумя пакетами:

Пакет 1:
GE Пакет 2: T / HTTP/1.1 Host: habrahabr.ru User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br Connection: keep-alive

Используем особенности HTTP и TCP для обхода активного DPI

Многие решения DPI ожидают заголовки только в стандартном виде.
Для блокировки сайтов по домену или URI, они ищут строку "Host: " в теле запроса. Стоит заменить заголовок «Host» на «hoSt» или убрать пробел после двоеточия, и перед вами открывается запрошенный сайт.
Не все DPI можно обмануть таким простым трюком. DPI некоторых провайдеров корректно анализируют HTTP-заголовки в соответствии со стандартом, но не умеют собирать TCP-поток из нескольких пакетов. Для таких DPI подойдет «фрагментирование» пакета, путем искусственного уменьшения TCP Window Size.

В настоящий момент, в РФ DPI устанавливают и у конечных провайдеров, и на каналах транзитного трафика. Бывают случаи, когда одним способом можно обойти DPI вашего провайдера, но вы видите заглушку транзитного провайдера. В таких случаях нужно комбинировать все доступные способы.

Программа для обхода DPI

Я написал программу для обхода DPI под Windows: GoodbyeDPI .
Она умеет блокировать пакеты с перенаправлением от пассивного DPI, заменять Host на hoSt, удалять пробел между двоеточием и значением хоста в заголовке Host, «фрагментировать» HTTP и HTTPS-пакеты (устанавливать TCP Window Size), и добавлять дополнительный пробел между HTTP-методом и путем.
Преимущество этого метода обхода в том, что он полностью автономный: нет внешних серверов, которые могут заблокировать.

По умолчанию активированы опции, нацеленные на максимальную совместимость с провайдерами, но не на скорость работы. Запустите программу следующим образом:
goodbyedpi.exe -1 -a Если заблокированные сайты стали открываться, DPI вашего провайдера можно обойти.
Попробуйте запустить программу с параметром -2 и зайти на заблокированный HTTPS-сайт. Если все продолжает работать, попробуйте режим -3 и -4 (наиболее быстрый).
Некоторые провайдеры, например, Мегафон и Yota, не пропускают фрагментированные пакеты по HTTP, и сайты перестают открываться вообще. С такими провайдерами используйте опцию -3 -a

Эффективное проксирование для обхода блокировок по IP

В случае блокировок по IP-адресу, провайдеры фильтруют только исходящие запросы на IP-адреса из реестра, но не входящие пакеты с этих адресов.
Программа работает как эффективный прокси-сервер: исходящие от клиента пакеты отправляются на сервер ReQrypt в зашифрованном виде, сервер ReQrypt пересылает их серверу назначения с подменой исходящего IP-адреса на клиентский , сервер назначения отвечает клиенту напрямую, минуя ReQrypt.

Если наш компьютер находится за NAT, мы не можем просто отправить запрос на сервер ReQrypt и ожидать ответа от сайта. Ответ не дойдет, т.к. в таблице NAT не создана запись для этого IP-адреса.
Для «пробива» NAT, ReQrypt отправляет первый пакет в TCP-соединении напрямую сайту, но с TTL = 3. Он добавляет запись в NAT-таблицу роутера, но не доходит до сайта назначения.

Долгое время разработка была заморожена из-за того, что автор не мог найти сервер с возможностью спуфинга. Спуфинг IP-адресов часто используется для амплификации атак через DNS, NNTP и другие протоколы, из-за чего он запрещен у подавляющего большинства провайдеров. Но сервер все-таки был найден, хоть и не самый удачный. Разработка продолжается. Добавить метки

Deep Packet Inspection (сокр. DPI , также complete packet inspection и Information eXtraction или IX , рус. Углубленная проверка пакетов) - технология накопления статистических данных, проверки и фильтрации сетевых пакетов по их содержимому. В отличие от сетевых экранов, Deep Packet Inspection анализирует не только заголовки пакетов, но и полное содержимое трафика на всех уровнях модели OSI , начиная со второго и выше. Использование Deep Packet Inspection позволяет обнаруживать и блокировать вирусы, фильтровать информацию, не удовлетворяющую заданным критериям.

Contents

Введение / Постановка задачи защиты информации

Система DPI выполняет глубокий анализ пакетов - анализ на верхних уровнях модели OSI, а не только по стандартным номерам сетевых портов. Помимо изучения пакетов по неким стандартным шаблонам, по которым можно однозначно определить принадлежность пакета определённому приложению: по формату заголовков, номерам портов и прочему, система DPI осуществляет и так называемый поведенческий анализ трафика, который позволяет распознать приложения, не использующие для обмена данными заранее известные заголовки и структуры данных, к примеру, BitTorrent .

Основная проблема всех существующих решений DPI заключается в том, что для того, чтобы однозначно определить принадлежность того или иного потока данных к одному из сетевых приложений, устройство, осуществляющее анализ трафика, должно обрабатывать оба направления сессии: входящий и исходящий трафик в пределах одного потока должны пройти через одно и то же устройство. Если оборудование распознает, что обрабатывает только одно направление в рамках сессии, оно не имеет возможности соотнести данный поток с какой-либо известной категорией трафика. При этом наличие большого объема асимметричного трафика является обычным сценарием для крупных операторов. Различные производители предлагают разные решения данной проблемы.

Другой проблемой, получающей всё большее распространение, является широкое применение средств шифрования сетевого трафика и использование TLS/SSL в составе протокола HTTPS , что не позволяет использовать для них классические средства глубокого анализа.

Системы DPI могут быть реализованы как программно (Tstat, OpenDPI, Hippie, L7-filter, SPID), так и аппаратно (продукты компаний Allot Communications, Procera Networks, Cisco, Sandvine). В последние годы последний вариант становится всё более популярен. Производительность данных решений может варьироваться от сотен Мбит/с до 160 Гбит/с для одного аппаратного устройства, которые также можно объединить в кластеры, увеличив производительность. Стоимость при этом может меняться от нескольких тысяч до миллионов долларов США.

Система DPI, как правило, устанавливается на границе сети оператора, тем самым, весь трафик, покидающий или входящий в данную сеть, проходит через DPI, что даёт возможность его мониторинга и контроля.

Применение

Благодаря внедрению систем DPI, у оператора появляется мощный инструмент по решению различных задач по эксплуатации и развитию сети.

Целевая реклама

Поскольку операторы связи маршрутизируют сетевой трафик всех своих клиентов, они могут проводить детальный анализ поведения пользователей в Сети, что даёт им возможность собирать информацию об интересах пользователей. Данная информация может быть использована компаниями, специализирующимися на целевой рекламе. Данный подход получил международное распространение. Как правило, сбор информации производится без ведома и согласия пользователей.

Реализация QoS

Система DPI может быть использована для нарушения сетевого нейтралитета - реализации QoS . Так, с помощью DPI, оператор данных может контролировать использование каналов, на которых установлены системы DPI, на 7 уровне OSI. Классическое решение задачи реализации QoS основано на построении очередей, на основании маркировки трафика служебными битами в заголовках IP, 802.1q и MPLS, с выделением приоритетного трафика (к примеру, VPN или IPTV). Данному трафику гарантируется заданная пропускная способность в любой момент времени. При этом трафик, обслуживаемый по принципу "Best Effort", к которому относится, в том числе, трафик домашних абонентов, остаётся без контроля, что даёт возможность ряду протоколов, к примеру, BitTorrent, единолично использовать всю свободную полосу.

Использование DPI предоставляет оператору возможность распределить канал между различными приложениями и вводить гибкую политику управления трафиком: к примеру, разрешить трафику BitTorrent использовать в ночное время большую часть полосы, чем днём. Другая частоиспользуемая оператором возможность: блокировка, либо существенное ограничение пропускной способности, определенного вида трафика, к примеру, VoIP-телефонии мобильными операторами, что уменьшает финансовые убытки от неиспользования пользователями услуг связи.

Управление подписками

Другой стороной реализации QoS на основе DPI является возможность доступа по подписке. Правила, на основании которых выполняется блокировка, могут быть заданы посредством двух основных базисов: per-service или per-subscriber. В первом случае оговаривается, что конкретному приложению позволяется использовать определённую полосу. Во втором - привязка приложения к полосе осуществляется для каждого подписчика или группы подписчиков независимо от других, что производится через интеграцию DPI с существующими OSS/BSS системами оператора.

Таким образом, систему можно сконфигурировать так, что каждый пользователь будет иметь возможность использовать лишь те услуг и с тех устройств, которые предварительно оговорены. Это позволяет операторам связи формировать невероятно гибкие тарифные планы.

Если же речь идёт о трафике мобильных операторов, то DPI позволяет контролировать загрузку каждой базовой станции в отдельности, справедливо распределяя её ресурсы таким образом, чтобы все пользователи остались довольны качеством сервиса. Данную задачу можно решать силами мобильного ядра, что не всегда бюджетно.

Использование госорганами

При помощи DPI спецслужбы могут вести наблюдение за сетевой активностью того или иного пользователя. Помимо наблюдения, можно активно влиять на данную активность, ограничивая доступ к использованию VPN, HTTPS и прочим средствам, делающим невозможным анализ сетевого контента. Кроме того, именно решения на основе DPI используются для блокировки доступа к запрещенным веб-ресурсам в США, Китае, Иране, России. Так, в Китае был разработан стандарт по DPI (Y.2770), позднее утверждённый Международным союзом электросвязи (ITU).

DPI является неотъемлемой частью систем, подобных СОРМ-2 и Эшелон.

DPI для зашифрованного трафика

HTTPS и другие протоколы шифрования получают в последние годы всё большее распространение. Шифрование защищает конфиденциальную информацию пользователей в любой точке сети, в том числе в промежуточных узлах. К сожалению, HTTPS представляет собой давнюю проблему для DPI-устройств. Поскольку полезная нагрузка пакетов зашифрована, промежуточные сетевые узлы больше не могут анализировать полезную нагрузку и выполнять свои задачи. Необходимо отметить, что применение протоколов шифрования на прикладном уровне не мешает DPI-системе анализировать трафик более низких уровней, однако существенно понижает её эффективность. Так, HTTPS не помешает DPI-системе изучить TCP-заголовок пакета, чтобы определить порт назначения и попытаться сопоставить его с определенным приложением, однако не даст проанализировать полезную нагрузку прикладного уровня: DPI-система сможет определить время, объем и назначение пакета, но не его содержимое.

На основании вышеизложенного, можно сделать вывод, что шифрование трафика не мешает реализации QoS и управления подписками на основе DPI.

Использование HTTPS поможет защитить данные от DPI лишь при передаче. Если DPI-система установлена на стороне сервера, с которым взаимодействует клиент, то данные будут обработаны в открытом виде. К примеру, при взаимодействиями с серверами Google, несмотря на использование ими HTTPS, DPI-системы собирают информацию для выдачи контекстной рекламы.

Чтобы решить проблему анализирования зашифрованного трафика, некоторые разрабатывающиеся сейчас DPI-системы поддерживают небезопасный механизм установки HTTPS-соединения: они, фактически, проводят MITM -атаку на протокол SSL и расшифровывают трафик на промежуточном узле. Этот подход нарушает принцип сквозного шифрования, заложенный в SSL. Кроме того, это вызывает недовольство пользователей.

Таким образом, мы сталкиваемся с неблаговидным выбором лишь одного из необходимых свойств: функциональность DPI-систем или конфиденциальность, обеспечиваемая шифрованием. На первый взгляд, может показаться, что эти свойства противоречат друг другу на фундаментальном уровне: DPI-система не может обрабатывать содержимое пакета, когда она не может увидеть этого содержимого. Решению данного противоречия и построению системы, удовлетворяющей обоим свойствам, посвящен проект BlindBox.

BlindBox

Описание

Подход BlindBox заключается в осуществлении анализа непосредственно зашифрованной полезной нагрузки, без её расшифровки на промежуточном узле. Построение подобной системы на практике представляет собой сложную задачу: сети работают на очень высоких скоростях, требующих криптографические операции, занимающие микро- и даже наносекунды. Кроме того, многие промежуточные узлы требуют поддержку ресурсоёмких операций, к примеру, анализ на основе регулярных выражений.

Потенциальными кандидатами являются такие криптографические схемы, как полностью гомоморфное или функциональное шифрование, но эти схемы довольно медленны, и снижают производительность сети на несколько порядков.

Для решения этих проблем, BlindBox специализируется на построении сети. BlindBox поддерживает два класса DPI-вычислений, каждый имеющий свои гарантии конфиденциальности: конфиденциальность на основе полного совпадения и конфиденциальность на основе вероятной причины.

Модель конфиденциальности на основе полного совпадения гарантирует следующее: промежуточный узел будет в состоянии обнаружить лишь те подстроки трафика, для которых существует полное совпадение с ключевыми словами известных атак. Например, если существует правило для слова "АТАКА", то промежуточный узел узнает, на каком смещении потока появляется, если появляется вообще, слово "АТАКА", но не узнает, что из себя представляют другие части трафика. Трафик, которые не содержит ключевых слов, останется непрочитанным промежуточным узлом.

Модель конфиденциальности на основе вероятной причины основывается на другой логике: промежуточный узел может расшифровать весь поток, если обнаружена подстрока трафика, совпадающая с ключевым словом известной атаки. Данная модель удобна для задач обнаружения атак, которые требуют выполнения анализа с помощью регулярных выражений или скриптов. Данная модель вдохновлена двумя причинами: первая - модель "вероятной причины" уголовного права США: поводом для нарушения конфиденциальности является только наличие причины для подозрений. Вторая - большинство правил в системе обнаружения атак Snort, использующие регулярные выражения, сперва пытаются найти ключевые слова, связанные с атакой, в пакете, а лишь затем начинают использовать поиск с использованием регулярных выражений, поскольку в противном случае обнаружение будет слишком медленным.

Обе модели конфиденциальности BlindBox гораздо мощнее, чем используемые сегодня подходы на основе MITM. В обоих подходах, BlindBox защищает данные с использованием стойких псевдослучайных схем шифрования, предоставляющих гарантии безопасности, аналогичные хорошо изученным криптографическим схемам поиска по зашифрованным данным.

Архитектура системы

На рисунке 1 представлена архитектура системы. В ней четыре стороны - отправитель (О), получатель (П), промежуточный узел (ПУ), и генератор правил (ГП), что отражает стандартную архитектуру промежуточного узла на данный день. Генератор правил предоставляет правила атаки (также называемые сигнатурами), используемые ПУ для обнаружения атак. Каждое правило пытается описать атаку, и содержит поля: одно или несколько ключевых слов, содержащихся в трафике, информация о смещении для каждого ключевого слова, и, иногда, регулярные выражения. Роль ГП на сегодняшний день выполняют организации, такие каке Emerging Threats, McAfee, Symantec. Отправитель посылает трафик получателю через промежуточный узел, который позволяет отправителю и получателю обмениваться информацией, если он не обнаруживает сигнатур в их трафике.

Рисунок 1. Архитектура BlindBox. Закрашенные элементы обозначают алгоритмы, добавленые в BlindBox.

Рассмотрим модель применения BlindBox. Генератор правил создаёт набор правил, который содержит перечень ключевых слов, которые используются в существующих атаках или представляют интерес для изучения. ГП подписывает их с использованием своего секретного ключа, и отправляет ПУ, своему пользователю. Отправитель и получатель, доверяющие ГП, устанавливают конфигурацию HTTPS BlindBox, которая включает в себя открытый ключ ГП. После этапа инициализации, ГП больше никогда напрямую не вовлечён в протокол. Теперь речь идёт о взаимодействии между отправителем, получателем и ПУ, когда отправитель и получатель инициируют соединение в сети, контролируемой ПУ.

Установка соединения

Сперва, отправитель и получатель осуществляют обычное SSL-рукопожатие, которое позволяет им согласовать ключ . Они используют его для получения трёх ключей (к примеру, с помощью ГПСЧ):

В то же самое время, ПУ осуществляет свою собственную установку соединения для обеспечения возможности обработки трафика отправителя и получателя. В процессе обмена с отправителем и получателем, ПУ получает каждое правило от ГП детерминировано зашифрованным на ключе k - это впоследствии позволит ПУ осуществлять обнаружение. Однако, данный обмен происходит таким образом, что ПУ не узнаёт значение k, а отправитель и получатель не узнают, в чем заключаются правила. Данный обмен называется запутанным шифрованием правил, и подробно описан в статье .

В отличии от описанного выше SSL-рукопожатия, которое идентично обычному SSL-рукопожатию, запутанное шифрование правил добавляет новый процесс. Поскольку в существующих решениях, клиент обычно не связываются с DPI-узлами напрямую (в отличии от других типов промежуточных узлов, таких как явные прокси или NAT hole-punching), это лишает полной "невидимости" наличия DPI, это незначительный недостаток по сравнению с преимуществами использования BlindBox.

Отправка трафика

Чтобы отправить сообщение, отправитель должен:

(1) Зашифровать трафик с использованием классического SSL.

(2) Разбить трафик на метки (токены) путем разделения его на подстроки, взятые с различным смещением, и зашифровать результирующие метки с использованием схемы шифрования DPIEnc.

Обнаружение

Промежуточный узел получает зашифрованный SSL-трафик и зашифрованные метки. Модуль обнаружения будет выполнять поиск соответствия между зашифрованными правилами и зашифрованными метками, используя алгоритм обнаружения BlindBox. При обнаружении совпадения, выполняется предопределенное действие: отбрасывание пакета, закрытие соединения, уведомление администратора системы. После выполнения обнаружения, промежуточный узел перенаправляет SSL-трафик и зашифрованные метки получателю.

Получение трафика

На стороне получателя происходят два действия. Первое, получатель расшифровывает и аутентифицирует трафик, используя обычный SSL. Второе, получатель проверяет, что зашифрованные токены были зашифрованы отправителем верно. Благодаря этому, даже в случае, если она сторона попытается мошенничать - вторая сможет обнаружить это.

Схема шифрования DPIEnc

Отправитель шифрует каждую метку (токен) t как:

Где “соль” (salt) - случайно выбранное число, а смысл RS (фактически, ReduceSize) поясняется далее.

Обоснуем необходимость схемы шифрования DPIEnc. Допустим, промежуточный узел передал для каждого правила r пару (r, (r)), но не ключ k. Начнем с рассмотрения простой детерминированной схемы шифрования вместо DPIEnc: шифртекст от t пусть будет равен (t). Чтобы проверить, равен ли t ключевому слову r, ПУ может проверить, выполняется ли (t) ?= (r). К сожалению, в результате стойкость будет низкой, поскольку каждое вхождение t будет иметь одинаковый шифртекст. Для решения данной проблемы, нам необходимо внести элемент случайности в шифрование. Поэтому, мы будем использовать “случайную функцию” H со случайной солью, и шифртекст будет иметь следующую структуру: salt, H(salt, (t)). Конечно же, H должна быть односторонней и псевдослучайной.

Для проверки соответствия, промежуточный узел может вычислить H(salt, (r)) основанную на (r) и соли, и затем провести проверку равенства. Типичная реализация H - SHA-1, но SHA-1 работает не так быстро, поскольку на современных процессорах AES реализовано аппаратно, и это может понизить пропускную способность. Вместо этого, в BlindBox H реализована через AES, но должна использоваться осторожно, поскольку AES имеет другие свойства безопасности. Чтобы достигнуть требуемых свойств, необходимо инициировать AES на ключе, неизвестном промежуточному узлу, пока не найдена сигнатура атаки. Именно поэтому, используется значение (t).

Теперь алгоритм целиком реализован на AES, что обеспечивает высокую скорость работы.

Наконец, RS просто уменьшает размер шифртекста, чтобы уменьшить ограничение пропускной нагрузки, не влияя на безопасность.

В данной реализации, RS это 2 в 40 степени, что даёт длину шифртекста в 5 байт. В результате, шифртекст более не дешифруем, что не является проблемой, поскольку BlindBox всегда дешифрует трафик из первичного SSL-потока.

Теперь, чтобы определить соответствие между ключевым словом r и шифртекстом метки t, промежуточный узел расчитывает , используя соль и знание (r), и затем проверяет их на равенство c .

Поскольку, очевидно, что промежуточный узел выполняет проверку для каждого правила r и метки t, итоговые временные затраты на метку находятся в линейной зависимости от числа правил, что слишком медленно.

Чтобы исключить эту задержку, вводится алгоритм обнаружения, делая зависимость временные затраты от количества правил логарифмической, как и в классических алгоритмах DPI.

Результат - значительное улучшение производительности: к примеру, для набора правил с 10 тысячами ключевых слов, логарифмический поиск на четыре порядка быстрее, чем линейный.

Протокол обнаружения

Состояние промежуточного узла состоит из счетчиков для каждого правила r и дерева быстрого поиска, состоящего из для каждого правила r.

Похожие публикации
© 2024 Бесплатные программы для ПК. Железо. Плагины. Windows. Новости