+7 (499) 113-60-90
Пн.-пт.: 10:00 - 20:00
orders@ownwifi.ru
г. Москва, Дмитровское
шоссе, 157с9, офис 92-108
Оставить заявку
+7 (499) 113-60-90
orders@ownwifi.ru

г. Москва, Дмитровское
шоссе, 157с9, офис 92-108
СТАЛКИВАЕМ ЛБАМИ ПРОИЗВОДИТЕЛЕЙ
WI-FI ОБОРУДОВАНИЯ
СТРЕСС-ТЕСТ ТОЧЕК ДОСТУПА
СТАНДАРТА Wi-Fi 6

Сталкиваем лбами производителей Wi-Fi оборудования

Исследовательский центр CARNet, специализирующийся на применении ИТ-технологий в сфере образования, провел тестирование WiFi точек доступа именитых производителей. Приводим их в алфавитном порядке: Aerohive, Aruba, Cisco, HP, Meraki, Ruckus, Ubiquiti, Xirrus.
Испытания проводились по методике силового экстрима – каждый новый подход сопровождался увеличенной нагрузкой. Выдержали не все. Чуть подробнее об эксперименте. Стандартная аудитория размером 10 х 12 метров постепенно заполнялась WiFi клиентами – абонентами с ноутбуками и планшетниками четырех производителей – Samsung, Apple, HP и Lenovo. Клиентские устройства были различных моделей, с одним или двумя радио-модулями, работали в диапазонах 2,4 и 5 ГГц, в двух стандартах 802.11n и 802.11ac. Иначе говоря, создавалась обычная обстановка, когда каждый учащийся приходит со своим дейвайсом (bring your own device – BYOD).

Таблица клиентских устройств
Подопытные точки доступа располагались вне комнаты за гипсокартнонной перегородкой, которая создавала затухание 5 дБ.

Сначала в аудитории работали 13 человек, затем количество абонентов увеличивалось до 23, 36 и 60 человек. В конце эксперимента количество устройств снижалось до 36, но располагались они по дуге 270 градусов, что заставляло точку работать в сложных условиях пространственного разнесения абонентов.

Целью эксперимента было выяснить максимальную пропускную способность оборудования в направлении ко всем тестируемым клиентам. Были проведены тесты пропускной способности в нисходящем направлении. При этом выполнялась передача файла размером 1 МБ и использовалась последняя версия набора тестов производителя IxChariot.

Важное замечание! В тесте принимали участие представители всех производителей. Более того, они не были просто наблюдателями – им предоставлялась возможность самостоятельно протестировать каждую из своих точек доступа, выбрать канал тестирования и его ширину и настроить точки в соответствии с наилучшими на их взгляд условиями эксплуатации. Иначе говоря, представителю каждой компании-производителя дали возможность убедиться, что оборудование функционирует надлежащим образом. И самое главное специалисты имели возможность оптимизировать конфигурацию каждой точки доступа для обеспечения наилучшей производительности.

Итак, на стартовой позиции собрались следующие точки доступа:

Таблица испытываемых точек доступа
Агентство CARNet никоим образом не «очищало» радиочастотную обстановку, так как реально разворачиваемые системы должны иметь дело с произвольными (и зачастую не поддающимися контролю) уровнями модулируемых и немодулируемых помех. В ходе тестирования применялись стабильно работающие двухдиапазонная сеть WiFi агентства CARNet и датчики движения 2,4 ГГц.
Разминка. В аудитории 13 абонентов.

Таблица с результатами
С тестом справились все, но каков разброс значений первого и последнего места – почти на порядок. Отметим Ubiquiti – неплохо потолкался с именитыми соперниками, а Ruckus забрался на вершину пирамиды.

Добавляем еще 10 клиентов – всего 23 устройства.

Смотрим на результат:
Отвалился один Xirrus, но второй держится молодцом. В лидерах Ruckus, Meraki, Aruba и Cisco, но 175 Мбит/с и 105 Мбит/с – это две большие разницы.

Добавляем еще 13 клиентов. В аудитории уже 36 абонентов.

Таблица с результатами:
Потеряли Ubiquiti и второй Xirrus. Скажем им спасибо за борьбу. И что мы видим в журнале успеваемости? – Ruckus всей командой неприлично занял всю верхнюю часть таблицы. Маленькая точка начального уровня Ruckus R300, величиной с две сигаретные пачки, обогнала флагмана Cisco 3700. Нехорошо. Но что поделать.

Кульминация. Теперь уже все 60 абонентов в аудитории.

Смотрим, что получилось:
Испытание выдержали опять же все, никто не выбыл, но что значит выдержали – снова почти десятикратный разрыв лидера и аутсайдера. Кого-то уже награждают, а кто-то только заканчивает упражнения, результаты которых никому не интересны. Собственно, награждают, как и прежде Ruckus.

И последнее испытание – это уже не силовые упражнения, а скорее борьба без правил. Точку доступа с трех сторон окружает 36 абонентов.

Смотрим на результат:
Тест выдержали снова все точки. Cisco 3700 сумел вытеснить Ruckus R500, но всё равно весь пьедестал занял Ruckus.

Подведем итоги. Отбросим экзотический тест с клиентами, расположенными по дуге 270 градусов, оставим максимум по три точки каждого производителя и получим итоговый график:
Итак, поздравим Ruckus с победой и делаем вывод – в помещениях, где много абонентов, не смотрите на заявленные в описании технические характеристики – проводите натурные испытания, смотрите на приборы.

Теперь посмотрим за счет чего выиграл Ruckus, возьмем отвертку и откроем крышку у Ruckus R700:
Видим главную составляющую победы – развитую антенную систему.

Несколько слов о центре CARNet. Это государственное учреждение, расположенное в Хорватии, ориентированное на поддержку и обеспечение образовательных учреждений в области информационных технологий. Центр работает уже четверть века и включает в себя 240 академических сообществ и 1400 начальных и средних школ. Суммарно CARNet обслуживает более 2,3 тысячи образовательных учреждений. Более подробно информация приведена на сайте http://www.carnet.hr/en
Оригинал статьи https://habr.com/ru/company/comptek/blog/261361/

Стресс-тест Wi-Fi (Enterprise)
точек доступа 802.11ax (Wi-Fi 6)
Aruba, Cisco, Extreme, Juniper, Ruckus

Основные сведения
Облачные технологии изменили бизнес в гораздо большей степени, чем мы можем предположить. А
инфраструктура Wi-Fi находится в переломной точке многих процессов. Производительность сети важна как никогда, поскольку специалисты IT-отдела сталкиваются с растущими требованиями, в частности, с большим
приоритетом голосового и видео трафика. Многие организации также рассматривают дополнительные преимущества сетевой аналитики с использованием искусственного интеллекта (AI) и машинного обучения (ML) для оценки опыта конечного пользователя и производительности Wi-Fi. В этом отчете подробно описаны характеристики производительности точек доступа (AP) 802.11ax (Wi-Fi 6) с облачным управлением в среде с высокой плотностью и высокой пропускной способностью со смешанным трафиком видео, VoIP и передачи
данных. Задачей является проверка производительности облачных точек доступа в реальных условиях, актуальных для большинства современных корпоративных сетей. Согласно отчёту, "Глобальная экономическая ценность Wi-Fi" ("Global Economic Value of Wi-Fi"), Wi-Fi Alliance оценивает мировую ценность Wi-Fi в 3,3 триллиона долларов в 2021. Компании используют Wi-Fi для поддержки новых и инновационных сценариев
использования, в то время как Wi-Fi 6 продолжает быстрыми темпами завоевывать рынок.

Самыми крупными потребителями трафика в сетях Wi-Fi будут видеоприложения и другие мультимедийные сервисы. Например, по результатам опроса, проведенного исследовательским центром Education Week, 71% учителей считают Wi-Fi технологической инновацией, значительно улучшающей процессы преподавания и
обучения.

Компания CommScope RUCKUS ("RUCKUS") была спонсором данного теста, закупила оборудование и провела испытания, описанные в этом отчете. Автор наблюдал за ходом испытаний, проверил конфигурацию и обеспечил равные условия для каждого тестируемого производителя. Автор провел тест на поиск и устранение
неисправностей и аналитику под наблюдением сотрудников компании RUCKUS. RUCKUS поддерживал справедливую и нейтральную среду тестирования, как того требовал автор в качестве условия для написания данного отчета.

Об авторе
Роуэлл Дионичио, сертифицированный специалист по беспроводным сетям #210, является основателем и управляющим директором компании Packet6, которая предлагает простую, эффективную и надежную систему Wi-Fi. За плечами Роуэлла 15 с лишним лет опыта работы в сфере информационных технологий и специализация в области технологий Wi-Fi. Кроме того, он является одним из ведущих подкаста Clear To Send, посвященного Wi-Fi, в котором еженедельно публикуются технические материалы с целью просвещения IT-специалистов по вопросам Wi-Fi.

Почему этот тест важен
Wi-Fi продолжает оставаться наиболее распространенным методом доступа к сети. Предприятия используют мобильные устройства с приложениями, работающими в реальном времени с минимальной задержкой, а критически важные приложения нуждаются в надежном и высокопроизводительном Wi-Fi. Постояльцы гостиниц участвуют в видеоконференциях прямо из своих номеров и полагаются на стабильную работу сети Wi-Fi. В образовательных учреждениях ноутбуки и планшеты воспроизводят мультимедиа файлы из сети для учебных целей.

Объем использования видео и видео-трафика растет наряду с передачей данных и VoIP, поэтому крайне важно понять влияние загруженности сети на опыт конечного пользователя таких приложений.

Данное тестирование проводилось с двумя целями:

  1. Определить уровень производительности точки доступа (AP) каждого поставщика;
  2. Оценить, насколько хорошо соответствующее облачное решение поставщика может помочь команде информационных технологий (IT) минимизировать среднее время выявления проблемы (MTTI).
Эти задачи проверяются в среде с высокой нагрузкой и пропускной способностью, в которой управляемые облачными решениями корпоративные точки доступа должны обеспечивать надежное функционирование соответствующих устройств. В случаях сетевых сбоев любого рода, IT-операторы должны иметь возможность быстро и надежно определить первопричину.

Многие организации отказываются от использования локальных систем управления и контроля в пользу публичных облачных систем. Данный тест показывает, насколько каждое облачное решение соответствует современным требованиям.

О тесте
Результаты, приведенные в этом отчете, получены в ходе двух тестов - один измеряет производительность точки доступа, а второй оценивает возможности устранения неполадок и анализа корпоративной облачной платформы каждого производителя. Был выбран ряд точек доступа Wi-Fi 6 4x4:4 и проведены тесты в условиях сценария высокой плотности и высокой пропускной способности, аналогичные тем, которые встречаются в реальных развернутых решениях.

Тридцать (30) ноутбуков Dell Latitude 5400 с поддержкой Wi-Fi 6 были использованы для воспроизведения видео высокой четкости (1080p HD) в одной комнате. Ноутбуки Dell оснащены чипсетом Intel AX200 Wi-Fi, конфигурация которого была доступна для приобретения на момент проведения данного испытания. Каждый ноутбук Dell воспроизводил однопотоковое видео высокой четкости (HD) до, во время и после тестирования.

Вместе с ноутбуками Dell были размещены пять (5) планшетов Apple iPad, на которых проводился двунаправленный тест Voice-over-IP (VoIP) для имитации разговора по VoIP. Для проведения теста на iPadиспользовался клиент IxChariot, настроенный на кодек G.711u. Кодек G.711u является одним из наиболее широко используемых голосовых кодеков в развертываниях VoIP и поддерживается почти всеми устройствами и провайдерами VoIP. Пять дополнительных iPad под управлением клиента IxChariot выполняли загрузку данных в соответствии с приведенным ниже описанием.

В соседней комнате, подключенные к той же точке доступа, находились двадцать (20) Apple MacBook Pros, на каждом из которых работал клиент IxChariot. Для имитации различных видов загрузки, таких как просмотр веб-страниц, электронной почты и передача файлов, использовалась UDP-загрузка данных разного объема.

При этом сигнал проходил через подвесной потолок и две стены, состоящие из деревянного каркаса и полудюймовой обшивки из гипсокартона.

Каждая точка доступа была протестирована на пропускную способность и другие показатели производительности с использованием широкополосного канала 80 МГц. Хотя автор не рекомендует регулярно настраивать производственные точки доступа на использование каналов шириной 80 МГц, в данном случае это было необходимо для достижения максимальной производительности каждой точки доступа. Тем не менее, многие сетевые администраторы могут и будут использовать каналы шириной 80 МГц, если представится такая возможность, поэтому такой сценарий не является маловероятным.

В следующей таблице приведены типы трафика, использованные при тестировании производительности.

Таблица 1. Использованные типы трафика

Тестируемые точки доступа

В ходе теста производительности оценивались облачные точки доступа 802.11ax (Wi-Fi 6) от HPE Aruba ("Aruba"), Extreme Networks ("Extreme"), Juniper Mist ("Mist"), Cisco Meraki ("Meraki") и RUCKUS. Каждая выбранная точка доступа Wi-Fi 6 имеет схожие аппаратные характеристики и предназначена для поддержки сред с высокой нагрузкой.
Таблица 2. Тестируемые точки доступа

Тестовая среда
Рисунок 1. Схема тестовой сети и потоков трафика
Типы клиента
В каждом тесте использовались клиенты, перечисленные в Таблице 3. Использование такого сочетания клиентов необходимо для имитации реальной среды, состоящей из Wi-Fi 6, Wi-Fi 5 и мобильных устройств. Всего в этом тесте было использовано 60 клиентов.
Таблица 3. Типы клиентов
Рисунок 2. Тестовая среда
Конфигурация WLAN
Каждая точка доступа имела настройки по умолчанию, аналогичные тем, которые IT администратор мог бы увидеть при развертывании. Каждый тест проводился в диапазоне 5 ГГц в UNII-3 для обеспечения стабильных результатов. Для теста 1 был настроен один SSID с использованием шифрования WPA2-PSK. Для теста 2 на каждой точке доступа было настроено три SSID. Два SSID использовали предварительный ключ, а третий SSID был настроен на 802.1X.

Каждый SSID был настроен на использование канала шириной 80 МГц

Конфигурация коммутатора
Коммутатор RUCKUS ICX 7650-48ZP обеспечивал питание через Ethernet (PoE) для точек доступа, каждая из которых была подключена к Мульти-Гигабитному порту Ethernet и была автоматически настроена на максимальную скорость. Каждая точка доступа получила необходимую мощность в соответствии с заявленными требованиями. Коммутатор был настроен на размещение всех устройств в одной виртуальной локальной сети (VLAN). Таким образом, отпала необходимость в маршрутизации.

Для VLAN был настроен список доступа IP для видео-кодера, чтобы пометить видеопоток точкой кода дифференцированных услуг (DSCP) 40.

Конфигурация видеопотока
Для тестирования видео в формате HD DVD-плеер был подключен к видео-кодеру для обеспечения возможности передачи HTTP Live Stream (HLS) на ноутбуки Dell(видео-клиенты). Это позволило каждому видео-клиенту загружать индивидуальный однонаправленный HD-видеопоток.

Настройки видео-кодера приведены в таблице 4.
Таблица 4. Настройка видеокодера

Тест №1 - Мультимедиа

Задачей этого теста было проведение сценария с высокой нагрузкой и высокой пропускной способностью для каждой точки доступа. В одной комнате находилось тридцать (30) ноутбуков Dell Latitude 5400, воспроизводящих видео высокой четкости, и десять (10) iPad, пять из которых выполняли двунаправленный VoIP-вызов, а пять загружали данные через UDP. Точка доступа была установлена на потолочной Т-образной балке в задней части комнаты для максимального покрытия обеих комнат. Видеопотоки были запущены на ноутбуках Dell Latitude до начала теста и воспроизводились без остановки во время теста.

В соседней комнате, как показано на рисунке 2, двадцать (20) ноутбуков Apple MacBook Pros выполняли загрузку данных через UDP. Эти загрузки состояли из пакетов размером 64, 256, 512 и 1460 байт для имитации различных типов трафика данных.

Было выполнено два тестовых запуска продолжительностью 3 минуты каждый.


Критерии успеха
Каждая точка доступа должна успешно передавать видеопоток без задержек на все 30 ноутбуков Dell перед началом теста. Если перед началом теста произошла задержка видео, поток обновляется на видео-клиенте и документируется, если задержка продолжается. Во время испытания точка доступа должна одновременно передавать высококачественное видео, данные и VoIP-трафик всем клиентам.

Подразумеваемый пользовательский опыт, связанный с видео-клиентами, измеряется путем визуального осмотра видео, которое замирает на 20 секунд или дольше. Это консервативная оценка подразумеваемого пользовательского опыта, однако, с её помощью легко провести точную оценку. Данные и метрики VoIP собираются IxChariot. Общая пропускная способность регистрируется для клиентов, передающих данные. Средняя оценка голосового качества (MOS) определяется на основе джиттера, задержек и потерь пакетов, полученных от VoIP-клиентов. Использование эфирного времени документируется с помощью приложения WiFi Explorer.

Средняя пропускная способность, MOS и количество не установленных видео-клиентов сравниваются по каждой точке доступа.

Тест №1 - Результаты


Пропускная способность

Пропускная способность является распространенной метрикой, используемой для оценки производительности точек доступа. Во время тестирования мы измерили и усреднили пропускную способность клиентов данных, использующих IxChariot, и клиентов видео, измеренную на коммутационном порту, к которому подключен видео-кодер. Было проведено два тестовых запуска. На рисунке 3 показана сумма значений пропускной способности, связанных с клиентами видео и данных, усредненная за две тестовые итерации.

В целом, более высокие показатели пропускной способности будут лучше до тех пор, пока данные не окажутся приоритетными за счет трафика с более высоким приоритетом (голос и видео).

Рисунок 3. Пропускная способность

RUCKUS R750 значительно превзошел все остальные точки доступа по показателю пропускной способности.

MOS

MOS - это показатель качества звонков VoIP. Более низкий показатель может означать, что пользователи столкнутся с низким качеством вызовов. Точка доступа с большой нагрузкой на сеть или точка доступа, которая неправильно устанавливает приоритеты голосового трафика, может быть не в состоянии поддерживать надлежащий уровень качества вызовов в соответствии с ожиданиями пользователей. MOS является характеристикой джиттера, задержки и потери пакетов. В следующей таблице показано, как MOS обычно индексируется по отношению к качеству голоса, воспринимаемому пользователем.

Таблица 4. MOS и качество получаемого видео
Рисунок 4. Результаты MOS теста
RUCKUS R750 превзошла все другие точки доступа по показателю MOS, обеспечив значительно более высокое качество звонков при высокой нагрузке на сеть. Если говорить точнее, ни одна точка доступа, кроме RUCKUS R750, не поддерживала значение MOS, которое соответствовало бы типичным стандартам корпоративных соглашений об уровне обслуживания (SLA), требующим "хорошего" качества голоса.

Потоковое видео

Видео трафик является наиболее широко используемым мультимедийным форматом в сетях Wi-Fi. Точка доступа может одновременно обслуживать клиентов в различных мультимедийных форматах. Используя HTTP Live Streaming (HLS), видео-клиенты могут кэшировать до 10 секунд данных.

В этом сценарии видео-клиенты в формате HD воспроизводили одноадресный видеопоток HLS до начала тестирования. Тестировщики обратили внимание на все видео-клиенты с зависающим видеорядом, обновили их видеопоток и подтвердили воспроизведение видео перед началом теста. Это было сделано для того, чтобы дать каждому поставщику возможность запустить все видеопотоки одновременно перед началом тестирования. Все кроме одного производителя (Mist) смогли выполнить это условие.

В таблице ниже показано количество не зависающих видеопотоков для каждой точки доступа до, во время и после тестирования. Меньшее число указывает на большее количество зависающих видеопотоков, что может привести к ухудшению опыта конечного пользователя.

Рисунок 5. Количество не зависающих видеопотоков до, во время и после теста
RUCKUS R750 превзошел все другие точки доступа, обеспечивая непрерывную потоковую передачу HD-видео каждому видео-клиенту до, во время и после тестирования.

Точка доступа Mist AP43 начала работу только с 24 видеопотоками. Сотрудники, проводившие тестирование, не смогли обновить все зависшие видеопотоки перед началом теста, несмотря на несколько попыток.

Использование эфирного времени

Определение эффективности использования эфирного времени не являлось целью тестирования, однако использование эфирного времени является полезной метрикой для лучшего понимания влияния радиочастотной емкости (РЧ) на опыт конечного пользователя. В связи с этим мы приводим краткое описание относительно данного показателя далее. В целом, более низкое использование эфирного времени является оптимальным в случае, если точка доступа успешно обрабатывает весь трафик (голос, видео, данные). Более низкое использование эфирного времени желательно, поскольку позволяет точке доступа легче справляться с дополнительными подключенными устройствами и трафиком.

Рисунок 6. Использование эфирного времени во время тестирования
Как и в случае с результатами тестирования по критерию зависания видео, уровень использования эфирного времени Mist AP43 оказался ниже, чем у других точек доступа. Автор делает вывод, что относительно низкое использование связано с большим числом зависших видео-клиентов во время тестирования. Поскольку видео-клиенты не воспроизводили видео, эфирный трафик был меньше.

Мы можем соотнести количество видео-клиентов с количеством зависших видео-клиентов и использованием эфирного времени во время теста, как показано на рисунке 7.

Рисунок 6. Количество не зависших видеопотоков во время теста с учетом использования эфирного времени
В отличие от Mist AP43, RUCKUS R750 продемонстрировал второе наименьшее значение использования эфирного времени, однако во время тестирования у него не наблюдалось зависаний видеопотоков. В этой связи можно было бы ожидать, что его использование эфирного времени будет самым высоким среди всех тестируемых устройств. Однако, данные тестирования показали другие значения, и можно сделать вывод, что RUKUS R750 использует доступное эфирное время более эффективно, чем другие точки доступа.

Тест №1 - Заключение

  • RUCKUS R750 значительно превзошла все другие точки доступа во всех тестах. Это была единственная точка доступа, способная удовлетворить реальные критерии эффективности: поддержание "хорошего" MOS при одновременной передаче потоков HD видео без задержек 30 клиентам и поддержание "высокой" пропускной способности для всех клиентов.
  • Aruba AP535 оказался вторым по способности справляться с примененной нагрузкой на сеть. Хотя у половины клиентов наблюдались задержки видео, они смогли восстановиться после тестирования. Однако, во время тестирования AP535 продемонстрировал "плохой" показатель MOS.
  • Extreme AP650 сохранил вторую по величине пропускную способность, но во время тестирования у 25 видео-клиентов произошла остановка, а MOS был "плохим". Автор делает вывод, что AP650 не применяет QoS к трафику.
  • Meraki MR46 поддерживал пропускную способность 250 Мбит/с, но имел самый низкий показатель MOS в группе и смог поддерживать только 11 видеопотоков без задержек. После тестирования он восстановил все видеопотоки, за исключением трех.
  • Mist AP43 продемонстрировал самую низкую производительность из всех протестированных точек доступа. При отсутствии дополнительной нагрузки на сеть она могла поддерживать только 24 видеопотока, а во время нагрузки поддерживала только два видеопотока. AP43 также продемонстрировала самую низкую пропускную способность среди всех оцениваемых точек доступа, но показала второй по величине показатель MOS (поднявшись почти до "удовлетворительно"). Автор делает вывод, что AP43 отдавал приоритет трафику VoIP по отношению к другим видам трафика.
В целом, RUCKUS R750 выделяется как точка доступа, способная обеспечить ожидаемый уровень пользовательского опыта и соблюдение SLA. Обработка различных типов мультимедийного трафика является критически важной в современных сетях, и R750, похоже, обладает исключительным методом обработки QoS, без необходимости дополнительной настройки параметров QoS. Это может быть связано с функцией SmartCast, которая отдает приоритет видео-трафику перед немаркированным трафиком данных.

Тест №2 - Устранение неполадок/Аналитика

Облачные технологии предоставляют сетевым администраторам дополнительные преимущества с точки зрения удобства, а также информативности и масштабируемости. Точки доступа с облачным управлением могут использовать облачные ресурсы для предоставления сетевой аналитики и улучшенных инструментов для устранения неисправностей. Сетевая аналитика, в особенности та, которая основана на искусственном интеллекте (AI) и машинном обучении (ML), особенно хорошо подходит для облачных решений из-за высоких вычислительных ресурсов и объема корреляции данных, которые могут потребоваться для локального оборудования.

Поскольку Wi-Fi обычно является критически важным средством доступа к сети, сетевым администраторам часто приходится решать и устранять различные неполадки. В этом тесте мы ввели проблемы конечного пользователя, которые система должна диагностировать: Неверный pre-shared ключ, недоступность DHCP и проблема 802.1X (недоступный сервер RADIUS). Цель - понять, насколько быстро продукт каждого производителя реагирует на проблемы и выявляет для сетевого администратора первопричину сетевых сбоев.

Автор получил три различных "тикета", или тестовых случая, вместе с информацией об устройстве; ему была предоставлена облачная панель управления, чтобы оценить простоту использования, установить точность представленной информации и оценить эффективность доступных инструментов устранения неполадок. Такой сценарий похож на то, с чем может столкнуться обычный IT-инженер, если конечный пользователь обратится в службу технической поддержки с проблемой.

Другой аспект этого теста - выяснить, как искусственный интеллект (AI) и машинное обучение (ML) улучшают среднее время идентификации (MTTI), также называемое средним временем обнаружения (MTTD), для сетевых администраторов.

Тест №2 - Результаты

Прежде чем рассматривать результаты, важно определить тип аналитики и возможности устранения неполадок, предоставляемые каждым производителем.

Каждый производитель предлагает сетевую аналитику. Эти данные дают представление о таких статистических показателях, как пропускная способность и состояние подключения/отключения точек доступа. Этого ожидают от любой системы с облачным управлением. Другой компонент сетевой аналитики включает AI и ML, в которых система использует более глубокие знания для быстрого выявления проблем и анализа первопричин. Хотя каждый производитель предлагает сетевую аналитику, не все протестированные системы предлагают аналитику с использованием AI/ML.

При использовании приборной панели каждого производителя автор сосредоточился на определенном наборе критериев. Сотрудники IT-отделов стремятся к низкому MTTI за счет эффективности рабочего процесса приборной панели и точности отображаемых данных. Автор рассматривал использование журналов событий, использование виджетов приборной панели для определения масштаба проблемы, а также то, нужно ли сетевому администратору переходить по нескольким страницам для выявления проблемы. Автор искал детали, которые четко определяют проблему и предлагают следующие шаги, которые можно предпринять.

HPE Aruba

Aruba Central - платформа управления облаком компании Aruba. AI Insights - это функция Aruba, используемая для помощи в устранении неполадок в сети WLAN.

На первый взгляд, приборная панель не отображала проблемы конечных пользователей с сетью Wi-Fi. Это потребовало дальнейшего анализа журналов событий. Поиск журнала событий может потребовать дополнительного исследования сообщения об ошибке или дополнительного устранения неполадок, внешнего характера по отношению к облачному интерфейсу, для определения причин неполадок.

Самое главное, что для обновления и отображения на приборной панели AI Insights информации, связанной с устранением неполадок с помощью AI Insights, потребовалось 3 часа. После отображения, при переходе к конкретному устройству можно было получить конструктивные детали, помогающие определить проблему. Однако, не было возможности простым способом оценить влияние конкретной проблемы.

MTTI для проблем тестовых примеров составил 6,3 минуты при использовании других инструментов, кроме AI Insights. Автор внимательно изучил журнал событий, чтобы найти правильную временную метку и журнал клиента для определения несоответствия PSK. В случае с DHCP потребовалась фильтрация клиентского устройства по MAC-адресу, чтобы увидеть сообщение об ошибке, связанное с истечением времени обнаружения DHCP. В тестовом примере 802.1X автор пропустил мелкий текст, указывающий на проблему истечения времени ожидания сервера аутентификации, что увеличило время для выявления проблемы. Отсутствовал метод проверки доступа к серверу RADIUS с панели инструментов. Система AI insights легче отображает эти проблемы, но только после ожидания обновления продолжительностью 3 часа.

Extreme Networks

ExtremeCloudTM IQ - это платформа управления облаком компании Extreme, которая включает в себя возможности AI/ML в рамках IQ Pilot. На приборной панели отображается большое количество данных и аналитики, что может быть пугающим, особенно для администратора, который не очень хорошо разбирается в системе или Wi-Fi в целом. Свежие данные, важные для устранения неполадок в режиме реального времени, отображаются под сведениями о клиентском устройстве, которые может быть трудно найти, если у вас нет фактических данных клиентского устройства, таких как MAC-адрес или IP-адрес.

Система включает в себя несколько оценочных листов ML для оценки состояния сети, но было неясно, почему большинство зон были оценены хорошо, но общий балл был низким. Отчеты о состоянии работоспособности клиентов не отражают данные в режиме близком к реальному времени. После подключения клиентов, для обновления этой функции требуется около часа. Представление карты показателей ML дает представление о том, как работает сеть, на основе оценки ML.

Перемещаясь по различным страницам и окнам, администратор сети может выявить проблему и определить ее причины. Идентификацию проблемы можно найти в различных вкладках информационной панели. приборной панели. Тем не менее, общий рабочий процесс скорее увеличивает, чем уменьшает MTTI. Эффективное использование возможностей AI и ML требует более глубокого понимания методологии оценки; эта информация была недоступна (или неочевидна) в пользовательском интерфейсе.

MTTI составила 10,3 минуты. Для тестового случая PSK единственный красный флаг инцидента, видимый после ограничения временных рамок, указывал на неправильный PSK. Случай с DHCP потребовал исследования двух разных страниц. Первоначально автор не мог определить по количеству данных, представленных на экране, была ли проблема с DHCP или нет. Но после исследования на отдельной странице, Client Monitor, были получены данные в реальном времени (которые не требовали ожидания данных), указывающие на проблему с сервером DHCP. Тестовый пример 802.1X требовал перехода на различные страницы, которые указывали на основную проблему аутентификации.

Cisco Meraki

Meraki предлагает только облачный контроль и управление своими точками доступа. Она не предлагает аналитику с поддержкой AI/ML. Главная страница приборной панели предоставляет общий вид состояния сети, но не включает представление функции состояния (Health), которая представляет наибольший интерес при устранении проблемы Wi-Fi. Информация о состоянии сети доступна в разделе Беспроводная сеть на приборной панели в разделе Монитор.

Журналы событий, включенные в функцию Health, могут быть непонятными и требуют дополнительных усилий. В некоторых случаях Health смог определить точную причину проблемы, хотя для достижения этой цели потребовалось несколько кликов по различным разделам приборной панели. Вместо того чтобы использовать AI или ML, Meraki использует эвристический подход, который определяет процент клиентов, затронутых конкретной проблемой.

MTTI для этих проблем составляла 3 минуты. Используя Health, можно получить общее представление о проблемах, но после просмотра конкретного клиента на другой странице, в истории подключений клиентов перечислены сбои в работе сети, где указано, что PSK был неверным. Для тестового случая с DHCP просмотр истории конкретного клиента указал точную причину: Не отвечает сервер аутентификации. Просмотр истории снова использовался для определения причины сбоя 802.1X, указывающего на то, что сервер аутентификации не ответил затронутому клиенту.

Juniper Mist

Mist предлагает только облачный контроль и управление своими точками доступа. Основная приборная панель обеспечивает просмотр работы Wi-Fi по всему объекту, включая соблюдение уровней обслуживания, а также информацию о Wi-Fi на уровне объекта.

Уровни обслуживания являются ключевым компонентом приборной панели и дают представление о том, как работает сеть Wi-Fi. Когда уровень обслуживания ниже порогового значения, оператор сети может погрузиться в конкретный порог, чтобы определить его влияние. Mist передает данные ML в алгоритм искусственного интеллекта и виртуальный помощник Marvis (за дополнительную подписку), расположенный в навигационном меню верхнего уровня. Mist использует ML для обучения на основе всех собранных событий, чтобы улучшить свои возможности прогнозирования для таких атрибутов, как пропускная способность устройства. Администраторы сети могут спросить Marvis о проблемах с устройствами или узлами сети, после чего им будут представлены выявленные проблемы.

MTTI для тестовых случаев составила 5,3 минуты. Автор использовал Service Levelsдля исследования случая с PSK, но обнаружил недостаточное количество данных о конкретном клиенте, у которого возникла проблема. Однако с помощью Marvis (дополнительная подписка) тестовый случай PSK был четко идентифицирован как проблема аутентификации. Используя Service Levels, случай DHCP был направлен на конкретную проблему отсутствия реакции при обнаружении DHCP. Область применения тестового случая 802.1X была определена как широко распространенная проблема аутентификации, но потребовался просмотр другой страницы, чтобы установить неудачную связь с сервером RADIUS. Затем просмотр файла динамического захвата пакетов показал сбой авторизации.

CommScope RUCKUS

RUCKUS предлагает сетевую аналитику, а также аналитические данные AI и ML с помощью своего продукта RUCKUS Analytics, который интегрирован в облачную платформу управления RUCKUS Cloud, а также доступен отдельно для использования в локальных развертываниях RUCKUS. Как и в случае с другими производителями, журнал событий доступен для просмотра любых потенциальных проблем. Хотя влияние проблемы может быть нелегко определить, ее можно соотнести с конкретным SSID. В дополнение к журналу событий можно создавать и повторно использовать заранее определенные и настраиваемые отчеты для выявления проблем Wi-Fi.

RUCKUS предлагает аналитику премиум-класса (дополнительная подписка), которая отображает влияние проблем с Wi-Fi в четких деталях, наряду с потенциальными решениями этих проблем на основе анализа первопричин. Виртуальный помощник RUCKUS, Мелисса, призван помочь выявить проблемы с Wi-Fi, используя интерфейс чата с использованием естественного языка. Проблемы Wi-Fi отображаются четко, без возможности иной интерпретации и без необходимости проведения дополнительной аналитики. Визуализация данных, включенная в анализ, служит для сокращения времени MTTI.

MTTI для проблем тестовых примеров составила 2,3 минуты. Детальное описание инцидента позволило установить первопричину несоответствия ключевой фразы для случая тестирования PSK. Инцидент DHCP предоставил причину - истечение времени ожидания DHCP - вместе с визуализацией того, на каком этапе процесса DHCP произошел сбой. Для случая 802.1X автор использовал функцию Client Troubleshoot и просмотрел инцидент для конкретного устройства. Причина инцидента была ясна, а другая визуализация показала, на каком этапе процесса 802.1X произошел сбой.

Рисунок 8. Среднее время идентификации (MTTI) по производителям в минутах

Тест №2 - Заключение

Премиум-аналитика RUCKUS обеспечила подробное, визуальное понимание пользовательского опыта, что привело к самому низкому показателю MTTI в оцениваемой группе. Помощь искусственного интеллекта и машинного обучения обеспечила более глубокое понимание влияния проблем с Wi-Fi, чем простой анализ журнала событий. По мнению автора, RUCKUS - это лучшее решение по скорости MTTI и ясности в причинах проблем с Wi-Fi, не оставляющее никаких сомнений и не требующее дальнейшего поиска неисправностей. Пример показан на рисунке ниже.
Рисунок 9. Пример аналитики и устранения неисправностей с помощью RUCKUS premium
Meraki предлагает полезные сведения без AI/ML или премиальной аналитики, отличаясь этим от других производителей.

AI-ассистент Mist, Marvis, эффективно сузил круг проблем Wi-Fi до их первопричин, что является полезной функцией для IT-операторов.

По мнению автора, AI Insights от Aruba требует дальнейшего развития, чтобы быть столь же эффективным, как аналогичные функции от некоторых других производителей, а требование повторных запросов журнала событий требует доработки.

Приборная панель Extreme предлагает полезные сведения о проблемах Wi-Fi, но требует от автора сначала определить и найти затронутый клиент на приборной панели. Это требование значительно увеличило показатель MTTI.

Автор признает, что эта оценка основана на предпочтительной методологии поиска неисправностей. Другие могут придерживаться иного подхода.

Итог стресс-теста Wi-Fi 6

Автор наблюдал и проверял правомерность и справедливость всех проведенных тестов. RUCKUS предоставил автору открытый доступ для проверки конфигураций, для того чтобы убедиться в схожести каждой конфигурации и в том, что ни один из производителей не имеет несправедливого преимущества. Автор уверен, что тестирование было проведено справедливо для каждого производителя.

Набор тестов был разработан таким образом, чтобы представлять типичную среду предприятия или учебного заведения, включая сочетание типов устройств и их возможностей. Сочетание устройств и трафика имитировало реальную обстановку, которая покажется знакомой многим сетевым администраторам. Например, сами устройства представляют собой смесь как новых, так и предыдущих поколений Wi-Fi (802.11n, 802.11ac). Кроме того, администраторы (в том числе и автор) обычно не наблюдают только один тип трафика, проходящего через точку доступа, поэтому использовалась смесь из HD видео, VoIP и загрузки данных.

Хотя каждое новое поколение Wi-Fi реализует улучшения в эффективности протокола, выборе скорости передачи данных и пропускной способности, смешанная клиентская среда будет служить для некоторого ограничения полного преимущества инфраструктуры Wi-Fi 6. Тем не менее, из этого тестирования ясно, что совокупная и индивидуальная производительность устройств в смешанной клиентской среде может значительно отличаться от производителя к производителю. Результаты, представленные в этом отчете, вероятно, дадут администраторам сетей представление о том, как каждая точка доступа будет работать в аналогичной среде.

Хотя автор не может определить основу для решений каждой точки доступа относительно очередей QoS, он заметил, что видео и VoIP трафик демонстрируют значительные различия в качестве от производителя к производителю. Только точка доступа RUCKUS R750 смогла последовательно и качественно обработать весь трафик.

Сетевые IT команды все больше внимания уделяют удобству конечных пользователей и производительности труда. Поэтому в отчет включен анализ сравнительного среднего времени до идентификации (MTTI) для набора тестовых случаев возникновения проблем, используя приборную панель каждого производителя. Наблюдаемые результаты MTTI могут быть обоснованно распространены на показатели среднего времени решения проблемы (MTTR). Автор признает, что качественная оценка каждой приборной панели по своей сути субъективна и зависит от опыта сетевого администратора. Автор постарался применить нейтральный и справедливый подход.

Комментарий Автора

Как профессионал и консультант в области Wi-Fi, автор взялся за это тестирование с набором предварительных представлений относительно сравнительной производительности оборудования Wi-Fi 6. Автор ожидал сопоставимых результатов, поскольку в основе оборудования лежит одинаковый процессор, а условия игры были равными.

Однако, автор был удивлен, увидев разницу в производительности между точками доступа Wi-Fi 6 различных производителей.

Это испытание показало, что производители действительно могут улучшить характеристики равноценного на первый взгляд оборудования с помощью программного обеспечения, прошивки и аппаратных инноваций, наряду с использованием средств управления с помощью пользовательского интерфейса и AI/ML. Тест показал, что AI и MLдействительно могут помочь быстро определить источник сетевой проблемы, однако эти технологии не могут решить проблему неспособности точки доступа доставлять трафик каждому клиенту на требуемом уровне обслуживания.

Автор рекомендует провести пробное тестирование концепции, чтобы изолировать и установить базовый уровень производительности сети, прежде чем рассматривать другие параметры.