Состоялся релиз программы FastNetMon 1.1.2, предназначенной для выявления входящих и исходящих DDoS-атак на основе анализа транзитного трафика. Программа разработана для фиксации серьезных всплесков интенсивности отправки пакетов (сотни тысяч пакетов в секунду), как со стороны клиентов, так и со стороны внешней сети в сторону клиентов. Данные о трафике могут собираться через PF_RING, PCAP, ULOG2, Netmap, NetFlow, sFLOW. На выходе выводится список 10 самых активных потребителей ресурсов сети, как по числу пакетов в секунду, так и по трафику. Для хранения статистики используется БД Redis. Программа написана на языке C++. За прошедшие почти 10 месяцев с релиза 1.0.0 была проделана очень большая работа по улучшению программы. Из основных изменений стоит отметить следующие: Возможность выявлять самые популярные виды атак: syn_flood, icmp_flood, udp_flood, ip_fragmentation_flood Поддержка протокола Netflow v5, v9 и v10 (IPFIX) Возможность применения протокола sFLOW v5, который поддерживается большинством
Facebook представил новый открытый проект ATC (Augmented Traffic Control), предназначенный для организации тестирования приложений в условиях их применения в сетях различного качества. ATC позволяет симулировать такие ситуации, как падение пропускной способности, возникновение задержек в передаче пакетов, различные уровни потери и повреждения пакетов, нарушение порядка следования пакетов. ATC позволяет значительно упростить оценку качества работы любых сервисов и приложений в различных условиях подключения пользователя к сети, например, симулируя типовые характеристики сети 2G. Код ATC написан на языке Python и распространяется под лицензией BSD. Инструментарий состоит из двух компонентов: web-интерфейс на базе фреймворка Django для управления процессом симуляции и демон atcd, который запускается на сетевом шлюзе и вносит те или иные изменения в характер прохождения трафика. Для влияния на трафик применяются штатные механизмы ядра Linux, доступ к которым производится через API netlink, для работы с которым
Многие операторы мобильной связи предоставляют клиентам бесплатный доступ к Facebook, чем воспользовались энтузиасты, подготовившие проект facebook-tunnel. Facebook-tunnel позволяет поднять туннель через чат Facebook'а, обеспечивая отправку сообщений в форме блоков, закодированных в формате base64. Для симуляции работы пользователя со страницами Facebook используется gumbo-parser. Туннель создаётся при помощи tuntap. На системе, в которой есть выход в интернет, facebook-tunnel запускается в режиме сервера и привязывается к определённому аккаунту в Facebook. После этого на компьютере, имеющему доступ только к Facebook, под другим Facebook-аккаунтом запускается клиентская часть facebook-tunnel, которая передаёт данные через чат с пользователем, к которому привязана серверная часть. Из планов на будущее отмечается реализация шифрования и маскировка трафика под не вызывающую подозрения активность.
Исследовательская лаборатория сухопутных войск США начала открытие исходных текстов своих разработок. Первым на GitHub опубликован проект Dshell, в рамках которого подготовлен фреймворк для анализа сетевого трафика. Dshell предоставляет средства быстрой разработки плагинов для разбора перехваченных наборов сетевых пакетов. Например, плагин для DNS позволяет наглядно оценить какая именно информация фигурировала в перехваченном взаимодействии c DNS-сервером, а плагин для HTTP даёт возможность в раскрытом виде посмотреть цепочки запрос/ответ. Из возможностей Dshell отмечаются средства пересборки сетевых потоков, поддержка IPv4 и IPv6, определение местоположения по IP (GeoIP), возможность построения цепочки декодировщиков и поддержка подключения определённых пользователем обработчиков вывода. Код проекта написан на языке Python и распространяется под лицензией MIT.
Представлен выпуск фреймворка PFQ 4.0, предназначенного для написания обработчиков для эффективного захвата сетевых пакетов и классификации трафика в Linux. Фреймворк оптимизирован для работы на многоядерных системах и с устройствами с несколькими аппаратными очередями обработки пакетов. На базе PFQ развивается вариант библиотеки libpcap и анализатора трафика tcpdump. Код модуля ядра распространяется под лицензией GPLv2, а библиотек и утилит - под лицензией BSD. Основой PFQ выступает специальный модуль ядра, в который встроен движок обработки трафика. Поддерживается работа с любыми драйверами устройств в Linux, для которых предоставляется скрипт pfq-omatic, позволяющий на основе их исходных текстов собрать оптимизированный для PFQ вариант драйвера. При использовании pfq-omatic PFQ встраивается между драйвером и ядром, задействует в драйвере буферы сокетов PFQ и организует передачу пакетов в PFQ непосредственно от драйвера. На сервере с процессором Xeon и 10-гигабитным сетевым адаптером Intel 82599
Компания Cisco представила новый открытый проект OpenSOC, в рамках которого развивается высокомасштабируемый фремворк для анализа больших объёмов информации о трафике с целью выявления возможных атак, обнаружения утечек закрытых данных и проведения расследования инцидентов, связанных с безопасностью. Система позволяет в режиме реального времени организовать анализ, выявление аномалий и генерацию предупреждений для трафика уровня дата-центра, интенсивность которого составляет миллионы пакетов в секунду. Наработки проекта опубликованы под лицензией Apache 2. Для организации работы хранилища используются такие открытые проекты, как Apache Hadoop и Elasticsearch. Основные компоненты фреймворка: Механизм для захвата, хранения и нормализации любых типов данных телеметрии (данных о трафике), поступающих c экстремально высокой интенсивностью (миллионы пакетов в секунду); Система для передачи полученных потоков данных в различные блоки обработки для анализа, расширенных вычислений и принятия решений;
Увидел свет релиз проекта PFQ 3.0, в рамках которого развивается фреймворк для написания обработчиков сетевого трафика для Linux, обеспечивающих эффективный захват сетевых пакетов и классификацию трафика. Фреймворк оптимизирован для работы на многоядерных системах и с устройствами с несколькими аппаратными очередями обработки пакетов. На базе PFQ развивается вариант библиотеки libpcap и анализатора трафика tcpdump. Основой PFQ выступает специальный модуль ядра, в который встроен движок обработки трафика. Поддерживается работа с любыми драйверами устройств в Linux, для которых предоставляется скрипт pfq-omatic, позволяющий на основе их исходных текстов собрать оптимизированный для PFQ вариант драйвера. При использовании pfq-omatic PFQ встраивается между драйвером и ядром, задействует в драйвере буферы сокетов PFQ и организует передачу пакетов в PFQ непосредственно от драйвера. С модулем ядра взаимодействует ряд интерфейсных библиотек, выполняемых в пространстве пользователя и позволяющих создавать
Организация Apache Software Foundation объявила о выходе высокопроизводительного http-сервера Apache Traffic Server 4.2, который может выступать в роли промежуточного звена, перенаправляющего запросы к бэкэндам, генерирующим динамический контент, или обеспечить отдачу статических объектов, таких как файлы, JavaScript, CSS и картинки. Traffic Server также включает в себя набор сервисов для работы в качестве распределенной системы, в том числе средства конфигурирования, управления сессиями, балансировки, авторизации и маршрутизации запросов. Из изменений, представленных в новом выпуске, можно отметить: Поддержка режима проксирования Websockets; Доведение до рабочего состояния поддержки протокола ICP (Internet Cache Protocol) Новая конфигурационная опция proxy.config.http.attach_server_session_to_client для привязки серверных сессий к клиентским сессиям; Новые опции для управления включением TLS 1.1/1.2; Поддержка HSTS (HTTP Strict Transport Security); Поддержка RFC 5077 (TLS Session tickets);
Специализирующаяся на сетевой аналитике компания Sandvine опубликовала отчёт (PDF) с анализом основных источников трафика в Сети. При рассмотрении объёма идущего к пользователям трафик лидирует сервис потокового видеовещания NetFlix, на долю которого приходится 31.62% всего трафика в Северной Америке. Далее следуют YouTube - 18.69%, HTTP - 9.74%, BitTorrent - 4.05%, SSL - 2.05%, facebook - 1.31%. SMTP-трафик в десятку лидеров не попал. Примечательно, что сервисами YouTube и NetFlix генерируется более половины всего трафика. Одиннадцать лет назад 60% всего трафика генерировали сети BitTorrent, в этом году доля BitTorrent впервые упала ниже 10%. Несмотря на то, что BitTorrent за последние годы был вытеснен сервисами потокового вещания с первых мест по входящему трафику, в рейтинге исходящего от пользователей трафика BitTorrent остаётся на первом месте, занимая 36.5%. На втором месте HTTP - 6.03%, на третьем SSL - 5.85%. Лидерами в области трафика для мобильных устройств являются YouTube (17.69%) и
Организация Apache Software Foundation объявила о выходе высокопроизводительного http-сервера Apache Traffic Server 4.0, который может выступать в роли промежуточного звена, перенаправляющего запросы к бэкэндам, генерирующим динамический контент, или обеспечить отдачу статических объектов, таких как файлы, JavaScript, CSS и картинки. Traffic Server также включает в себя набор сервисов для работы в качестве распределенной системы, в том числе средства конфигурирования, управления сессиями, балансировки, авторизации и маршрутизации запросов. Apache Traffic Server поддерживает режим кэширования, позволяющий снизить нагрузку на сервер и сократить внутренний трафик за счет повторного использования и кэширования отдачи часто запрашиваемых web-страниц, изображений и обращений к web-сервисам. Для запросов которые не поддаются кэшированию может применяться режим прокси, предоставляющий средства балансировщика нагрузки и фильтрации запросов. Для расширения функциональности Apache Traffic Server предоставляется API