Проверка пропускной способности канала на Mikrotik

Скрипт для Mikrotik RouterOS, тестирующий пропускную способность канала и записывающий результат в файл. Перед запуском создать файл isp-quality.txt и указать IP своего btest сервера в ipbandswtestserver

https://github.com/devi1/RouterOS-scripts/tree/master/bandwidth%20test


:local txAvg 0
:local rxAvg 0
:local ipbandswtestserver your.btest.server.ip
:local btuser btest
:local btpwd btest
:local ts [/system clock get time]
:local ContentsFile [/file get isp-quality.txt contents]
:local ds [/system clock get date]

:set ts ([:pick $ts 0 2].[:pick $ts 3 5].[:pick $ts 6 8])
:set ds ([:pick $ds 7 11].[:pick $ds 0 3].[:pick $ds 4 6])

tool bandwidth-test protocol=tcp direction=transmit address=$ipbandswtestserver duration=5s do={
:set txAvg ($"tx-total-average" / 1048576 );
}

tool bandwidth-test protocol=tcp direction=receive address=$ipbandswtestserver duration=5s do={
:set rxAvg ($"rx-total-average" / 1048576 );
}

/file set isp-quality.txt contents="$ContentsFile\n$ds-$ts tx: $txAvg Mbps - rx: $rxAvg Mbps"

Мikrotik RouterOS Configuration Management с помощью скриптов и какой-то там матери

Жизненный цикл сети часто переживает закономерный рост. В это время начинают появляться десятки и сотни устройств, конфигурация которых однотипна. Например, это могут быть маршрутизаторы в филиалах, которые имеют одинаковые настройки и отличаются только IP адресами, паролями на VPN и Wi-Fi. Внесение даже незначительных изменений на десяток устройств потребует значительного времени и концентрации.

Для управления сотнями и тысячами устройств весь цивилизованный мир уже давно использует специальные системы менеджмента конфигураций: Ansible, Chef, Puppet. Каждая из них имеет свои плюсы и минусы.


Но для десяти-двадцати устройств не каждый захочет выделять отдельный сервер с такой системой. Поэтому в ход идут скрипты, SSH, FTP и куча матов, когда всё это поделие роняет сразу все филиалы.

Видео для привлечения внимания
Это визуализация запросов от роутеров к системе, о которой идет речь в этом посте.

Mikrotik Certified Wireless Engineer

В курсе MTCWE рассматриваются технологии построения и эксплуатации беспроводных сетей передачи данных и их применение в различных условиях: корпоративная беспроводная сеть, роуминг, беспроводные мосты, поллинговые протоколы, инструменты и методы поиска неисправностей.
Каждая тема подкреплена лабораторными работами.

К курсу допускаются специалисты, имеющие сертификат MTCNA. Соответствующий курс мы тоже проводим.

Темы, рассматриваемые в курсе MTCWE:

1. Стандарты беспроводных сетей: 802.11 a/b/g/n/ac, каналы, частоты, типы антенн

2. Типичные интсалляции

3.  Инструменты и методы правильного построения сетей и поиска неисправностей

4. MIMO, WMM, поллинговые протоколы и другие оптимизирующие дополнения

5.  Безопасность беспроводных сетей

6. WDS и MESH

Каждая тема будет подкреплена лабораторными работами. Более подробное описание курса в документе по ссылке.Курс будет проходить 4 дня с 9 утра до 6 вечера.

Стоимость курса составляет 25000 рублей.

В стоимость включены услуги по обучению, оборудование для проведения лабораторных работ, доступ в Интернет, кофе-брейки и питание, а также лицензия RouterOS level 4.

Слушателям необходимо иметь ноутбук с операционной системой, поддерживающей работу WinBox (любые версии Windows, Linux с Wine, Mac OS), сертификат MTCNA и желание получать новые знания.

Записаться на курс вы можете в комментариях к этому посту, либо отправив email на info[at]mikrotik-ninja.ru.

Все вопросы и предложения можно оставлять в комментариях к этому посту.

Mikrotik Certified Routing Engineer

Курс предназначен для специалистов, работающих с распределенными сетями. Если у Вас больше трех филиалов, то этот курс для Вас!

В курсе детально рассматриваются принципы маршрутизации, эффективная работа с несколькими провайдерами, Policy Based Routing, VLAN, углубленно изучаются технологии VPN. Целый день будет уделен протоколу динамической маршрутизации OSPF, который поможет упростить работу сетей с большим количеством роутеров. Каждая тема подкрепляется лабораторными работами, что делает обучение приближенным к реальным сетям.

К курсу допускаются специалисты, имеющие сертификат MTCNA.Соответствующий курс мы тоже проводим. После прохождения курса MTCRE, Вы получите возможность пройти курс продвинутого уровня по маршрутизации - MTCINE, в котором рассматриваются технологии BGP и MPLS.

Темы, рассматриваемые в курсе MTCRE:


1. Статическая маршрутизация. Принципы маршрутизации, Equal-Cost Multi-Path Routing, routing distance, check gateway, работа с несколькими таблицами маршрутизации, несколько провайдеров.

2. Point-to-Point адресация. Принципы работы P-t-P адресов, отличия от broadcast.

3. VPN. IPIP, EoIP, PPTP, SSTP, L2TP, PPPoE. Особенности работы и применение.

4. VLAN. Принцип работы и применение. QinQ. Настройка софтового и хардварного VLAN.

5. OSPF. Принципы работы и особенности применения. AS, LSA, ABR, ASBR, DR, BDR, дистрибуция маршрутной информации, аггрегация маршрутов, типы зон и многое-многое другое.



Каждая тема будет подкреплена лабораторными работами. Более подробное описание курса в документе по ссылке.Курс будет проходить 3 дня с 9 утра до 6 вечера.

Стоимость курса составляет 25000 рублей.

В стоимость включены услуги по обучению, оборудование для проведения лабораторных работ, доступ в Интернет, кофе-брейки и питание, а также лицензия RouterOS level 4.

Слушателям необходимо иметь ноутбук с операционной системой, поддерживающей работу WinBox (любые версии Windows, Linux с Wine, Mac OS), сертификат MTCNA и желание получать новые знания.

Записаться на курс вы можете в комментариях к этому посту, либо отправив email на info[at]mikrotik-ninja.ru.

Все вопросы и предложения можно оставлять в комментариях к этому посту.

Mikrotik Certified Network Associate

Пройдя этот курс вы получите знания и умения, которые позволят вам эффективно управлять сетями  и конфигурировать оборудование Mikrotik и операционную систему RouterOS. А также при успешной сдаче сертификационного экзамена, получите сертификат MTCNA.

Темы, рассматриваемые в курсе MTCNA:


1. Вводная. О компании, оборудовании, ОС. Сфера применения, возможности. WinBox и CLI. Как сделать бэкап, перепрошить, перенести конфигурацию на другое оборудование.

2. DHCP. Клиент и сервер. ARP.

3. Bridge. Коммутация в RouterOS. Бридж, свитч.

4. Routing. Статическая и динамическая маршрутизация, шлюз по умолчанию.

5. WiFi. Настройка, траблшутинг. Беспроводные мосты. CAPsMAN.

6. Firewall. Таблицы Filter и NAT.

7. QoS. Простой шейпинг трафика, ограничение скорости.

8. Туннели. Различные виды VPN.

9. Инструменты и методы траблшутинга.


Каждая тема будет подкреплена лабораторными работами. Более подробное описание курса в документе по ссылке. Стандартный курс расчитан на 3 дня, но мы проводим расширенный курс с дополнительными практическими занятиями и расширенным описанием траблшутинга сетей. Поэтому занятия будут проводиться 4 дня с 9 утра до 6 вечера.

Стоимость курса составляет 20000 рублей.

В стоимость включены услуги по обучению, оборудование для проведения лабораторных работ, доступ в Интернет, кофе-брейки и питание, а также лицензия RouterOS level 4.

Слушателям необходимо иметь ноутбук с операционной системой, поддерживающей работу WinBox (любые версии Windows, Linux с Wine, Mac OS), начальные знания о современных сетях передачи данных и стека TCP/IP и желание получать новые знания.

Записаться на курс вы можете в комментариях к этому посту, либо отправив email на info[at]mikrotik-ninja.ru.

Все вопросы и предложения можно оставлять в комментариях к этому посту.

Обо мне

Меня зовут Дмитрий Бубнов и я автор этого блога.

Я работаю в ИТ с 2009 года. За годы работы прошел путь от программиста через эникейщика, ведущего сисадмина и сетевого админа до полноценного интегратора.

С 2013 года тесно работаю с сетями передачи данных и оборудованием Mikrotik. В 2015 начал получать инженерные статусы по работе с Mikrotik. Сейчас я действующий инженер по следующим направлениям:

• Mikrotik Certified Network Associate (1609NA1071)
• Mikrotik Certified Routing Engineer (1509RE160)
• Mikrotik Certified Traffic Control Engineer (1602TCE038)
• Mikrotik Certified Wireless Engineer (1705WE2718)
• Mikrotik Certified Internetworking Engineer (1604INE029)

В 2016 получил статус Mikrotik Certified Trainer (TR0418) и начал вести официальные курсы Mikrotik в Челябинске. На момент написания этого текста (27 октября 2017) мы выдали 49 сертификатов об успешной сдаче экзаменов Mikrotik.

Я придерживаюсь мнения, что преподаватель без практики не может дать слушателям самой полной и актуальной информации. Именно поэтому  курсы Mikrotik не являются моим единственным проектом.

Я развиваю и поддерживаю работоспособность сети из более чем трёхсот географически распределенных точек, нескольких колл центров, сети ЦОДа.


Помимо основного проекта, я с удовольствием берусь за:

• поддержку сетей малого и среднего бизнеса
• обеспечение непрерывной работы бизнес-сервисов
• проектирование и внедрение ИТ инфраструктуры
• оптимизацию ИТ инфраструктуры
• аудит ИТ инфраструктуры
• консультации 

Вы можете обратиться ко мне за помощью в любых вопросах, касающихся информационных технологий. Если я не специализируюсь на каком-либо направлении, то смогу посоветовать специалиста из широкого круга своих коллег.

 Выполненные проекты:

• восстановление ядра и агрегации городского провайдера "из пепла"
• внедрение и поддержка Wi-Fi сети в 5-этажном здании  с отдельными SSID для гостевой сети и VIP-клиентов
• авторизация клиентов Wi-Fi по СМС
• система централизованного управления крупной распределенной сетью
• внедрение динамической маршрутизации OSPF в крупной сети провайдера
• комплексный мониторинг ИТ инфраструктуры крупного предприятия
• проектирование и внедрение инфраструктуры для госучреждений

 В своей работе я применяю следующие технологии и инструменты:

• Mikrotik RouterOS и RouterBOARD
• Cisco, Juniper, Huawei, Extreme Networks, SNR, Eltex, D-Link, Ubiquiti, Cambium, HP, QLogic, BDCom
• Серверы: IBM, Intel, HP, SuperMicro
• *nix: Debian, CentOS, FreeBSD
• СУБД: MySQL, MS SQL
• Мониторинг: The Dude, Zabbix, Grafana
• Сбор логов: The Dude, Elastic/Logstash/Kibana
• Автоматизация: bash, Python, PHP, LUA, PowerShell
• Web: apache, nginx, IIS
• Proxy: squid
• Backup: git, oxidized, Veeam
• Microsoft: Hyper-V, Active Directory, Remote Desktop Services, Failover Cluster, IIS, WSUS

С января 2017 сооснователь и постоянный участник проекта #Sysadminka. Выступаю с докладами на конференциях по ИТ: Mikrotik User Meeting, IT.IS, UralGeekCamp.
Пишу  статьи для технических ресурсов. Могу простыми словами рассказать о сложных технологиях и передать их в руки низкоквалифицированного персонала.

Связаться

Постоянно пишу статьи в этот блог. Чтобы быть в курсе последних событий в блоге, присоединяйтесь к моим группам в соцсетях: VK, FB, Telegram-канал.

Добавляйтесь в друзья: VK, FB, Twitter, LinkedIn, Instagram.
Мои профили на UpWork, Freelance.ru
Можно написать мне прямо в Telegram, отправить email или написать комментарий к любому из постов. Я обязательно отвечу и постарюсь помочь.
Профиль на github.

[book] Книги, рекомендованные Германом Грефом

Я считаю, что дураки просто не могут занимать высокопоставленные должности в больших компаниях. Даже если эти компании государственные. Что ни говори, но управлять большой  корпорацией дурак просто не сможет. Поэтому в дополнение к предыдущему посту список книг, рекомендованных Германом Грефом - председателем правления Сбербанка:

«7 навыков высокоэффективных людей» Стивен Кови.

«От хорошего к великому» Джим Коллинз.

«Scrum: как работать в два раза меньше, успевая в два раза больше» Джэфф Сазерленд.

«Открывая организации будущего» Фредерик Лалу.

«Принцип пирамиды Минто®» Барбара Минто.

«Жизнь на полной мощности» Джим Лоэр, Тони Шварц.

«Гении и аутсайдеры» Малкольм Гладуэлл.

«Жалоба как подарок. Обратная связь с клиентом - инструмент маркетинговой стратегии» Джанелл Барлоу, Клаус Меллер.

«Искусство системного мышления. Необходимые знания о системах и творческом подходе к решению проблем» Джозеф О' Коннор, Иан Макдермотт.

«Дао Toyota: 14 принципов менеджмента ведущей компании мира» Джеффри Лайкер.

«Искусство результативного управления» Ларри Боссиди, Рэм Чаран.

«Черный лебедь. Под знаком непредсказуемости» Нассим Николас Талеб.

«Эмоциональный интеллект.Почему он может значить больше, чем IQ» Дэниэл Гоулман.

«Лидер без титула» Робин Шарма.

«Почему государства терпят неудачи: истоки могущества, процветания и бедности», Дарон Аджемоглу, Джеймс Робинсон.

«Уроки компании Google», Эрик Шмидт, Джонатан Розенберг».

«Цель. Процесс непрерывного совершенствования» Элияху Голдратт, Джефф Кокс.

«Теряя невинность.Как я построил бизнес, делая все по-своему и получая удовольствие от жизни» Ричард Брэнсон.

«Deadline. Роман об управлении проектами» Том Демарко.

«Поток. Психология оптимального переживания» Михай Чиксентмихайи.

«Сила воли. Как развить и укрепить» Келли МакГонигал.

«Великие по собственному выбору» Джим Коллинз, Мортен Хансен.

«Банк 3.0» Бретт Кинг.

«Развитие лидеров» Ицхак Адизес.

«Управление стрессом» Дэвид Льюис.

«Когда гений терпит поражение» Роджер Ловенстайн.

«Догнать зайца» Стивен Спир.

«5S для офиса» Томас Фабрицио, Дон Тэппинг.

«Экономика впечатлений» Джозеф Пайн, Джеймс Гилмор.

«Бережливое производство» + шесть сигм в сфере услуг Майкл Джордж.

«Менеджмент. Природа и структура организаций» Генри Минцберг.

«Любовь, любовь, любовь» Лиз Бурбо.

«Не стать заложником» Джордж Колризер.

«Викиномика» Дон Тапскотт, Энтони Уильямс.

«После меня — продолжение...» Акин Онгор.

«Рефрейминг организаций» Ли Болмэн, Терренс Дил.

«Управление результативностью» Майкл Армстронг, Анжела Бэрон.

«Краудсорсинг» Джефф Хау.

«WIKI-Правительство» Бет Новек.

«Переговоры» Гевин Кеннеди.

«Результативность: секреты эффективного поведения» Робин Стюарт-Котце.

«Танец перемен» Питер Сенге.

«Сингапур» Юрий Сигов.

«Критическая цепь» Элияху Голдратт.

«Новая цель» Джефф Кокс, Ди Джейкоб, Сьюзан Бергланд.

«Управление бизнес-процессами» Джон Джестон, Йохан Нелис.

«Как гибнут великие» Джим Коллинз.

«Командный подход» Джон Катценбах.

«Богатство семьи» Джеймс Хьюз.

«Победить с помощью инноваций» Майкл Ташман, Чарльз О’Райли.

«Мегапроекты» Бент Фливбьорг, Нильс Брузелиус, Вернер Ротенгартнер.

«Больше, чем эффективность» Скотт Келлер, Колин Прайс.

«Умение слушать» Бернард Феррари.

«На этот раз все будет иначе» Кармен М. Рейнхарт, Кеннет С. Рогофф.

«Ускорение перемен» Джон П. Коттер.

«Будущее разума» Митио Каку.

«Практическая мудрость: Правильный способ делать правильные вещи» Барри Шварц, Кеннет Шарп.

«Креативная компания: Как управлять командой творческих людей» Эд Кэтмелл.

«Прыгни выше головы! (Что привело тебя сюда, не приведет тебя туда)» Маршалл Голдсмит.

«Просто о больших данных» Джудит Харвиц, Алан Нагент, Ферн Халпер, Марсиа Кауфман.

«Кратко. Ясно. Просто» Алан Сигел, Айрин Этцкорн.

«Взаимодействие в команде » Эми Эдмондсон.

«Эффективное правительство для нового века» Раби Абучакра, Мишель Хури.

«Четвертая промышленная революция» Клаус Шваб.

«Умные граждане — умное государство» Бет Новек.

«Позитивная организация» Роберт Э. Куинн.

«Блокчейн» Мелани Свон.

«Выбирать сильнейших» Клаудио Фернандес-Араос.

«Сердце компании» Патрик Ленсиони.

«Университет третьего поколения» Йохан Виссема.

«Huawei: лидерство, корпоративная культура, открытость» Тянь Тао, Давид де Кремер, У Чуньбо.

«Ищи в себе» Чад-Мень Тан.

«Отношение определяет результат» Дов Сайдман.

«Проклятие эффективности или Синдром «шахты» Джиллиан Тетт.

[book] Прочитать

Здесь будет список книг, которые обязательно нужно прочитать. Так сказать, стена позора, потому что я уверен, что все их прочесть даже за год я не смогу в силу своей лени и прокрастинаторства.

Книги я буду перечислять только рекомендованные сообществом и проверенные специалистами. Весь список разбит на категории: общее для развития, информационные технологии с подкатегориями, интересующими лично меня, и книги по бизнесу и управлению проектами.

На каждую прочитанную мной книгу обещаю писать отчет с основными тезисами.

Список будет постоянно пополняться. 
Если вы внезапно захотели сделать мне подарок, то можете смело подарить любую из перечисленных книг в бумажном исполнении!

Общее

Докинз. Эгоистичный ген

Талеб. Антихрупкость

Канеман. Думай медленно, решай быстро

Ариели. Вся правда о неправде

Долгин. Как стать договоропригодным

Фейнман. Вы конечно шутите, мистер Фейнман

Гладуэлл. Гении и аутсайдеры

Мур. Преодоление пропасти

Саттон. Не работайте с мудаками

Куваев. Территория

Букреев. Смертельное восхождение

Кракауэр. В разреженном водухе
Даймонд. Ружья, микробы и сталь

IT
 Лимончелли. Системное и сетевое администрирование. Практическое руководство

Network

Attacking network protocols

Sanders. Practical packet analysis

Lucas. Network flow analysis

Stevens. TCP/IP Illustrated

Liu. DNS and BIND

Security

Weildman. Penetration testing

Kennedy. Metasploit

Bejtlich. The practice of network security monitoring

Rash. Linux firewalls

Programming

Seitz. Black hat python

Linux

Siever. Linux in a nutshel

Nemeth. UNIX and Linux administration handbook


В своём блоге я уже написал несколько постов с тегом books. Там вы можете увидеть мои рецензии на прочитанное.

P.S.: книги, рекомендованные Г. Грефом по ссылке

Система управления конфигурациями Oxidized

Резервное копирование  - важная составляющая стабильной работы инфраструктуры. Каждый подходит к вопросу резервного копирования со своими взглядами. Сетевое оборудование также нуждается в постоянном бэкапе конфигураций. Но в силу того, что сети редко бывают моновендорными и найти один метод управления для всей сети часто невозможно,  резервное копирование сетевых устройств часто вводит в замешательство администраторов.

Для автоматизации резервного копирования конфигураций сетевого оборудования инженеры часто применяют системы контроля версий. Такой подход позволяет не только всегда иметь актуальную копию конфигурации, но и оперативно находить изменения в настройках, которые могли привести к неправильной работе сети.

Во время подготовки к выступлению на MUM 2017 я изучил несколько систем, позволяющих автоматизировать резервное копирование в git.  

Mikrotik User Meeting в Москве

Совсем скоро - 13-14 октября Mikrotik проводит User Meeting в Москве!

Соберется около тысячи инженеров разных мастей, буду интересные технические доклады, воркшопы, выставка и, конечно же, афтепати с неформальным общением и пивом!

Приходите, будет очень интересно! Именно здесь вы сможете найти решение давних проблем и поделиться своим опытом с другими.

Доклады:

• Mikrotik в 3G/4G сетях
• Работа с несколькими провайдерами
• Wi-Fi в разных условиях
• Как Mikrotik помогает аутсорсу
• Безопасность

А я расскажу про разные подходы к резервному копированию и его автоматизации. Мой доклад будет в пятницу с 16-15 МСК. Буду рад вашим комментариям и дополнениям.


Регистрация тут: http://mum.mikrotik.com

Будет онлайн трансляция на YouTube . Возможно, она начнется не сразу, но обязательно будет. Подключайтесь!

[book] Ten Steps to Linux Survival

Ten Steps to Linux Survival. Essentials for Navigating the Bash Jungle.

James Lehmer. От любимого издательства O'Reilly.



Название этой книги очень точно отражает её суть. Десять шагов к выживанию в джунглях Bash.

Это 61-страничная карта окрестностей Linux спасет тебе жизнь, если ты внезапно выпал с самолета Windows и попал в непролазные джунгли терминала, bash'a и /etc.

Книга состоит из 12 глав, которые заставят тебя нырнуть в консоль и научиться основам обращения с Linux:

1. Getting in. Как подключиться к системе и sudo
2. Getting Around. Навигация по директориям
3. Peeking at Files. Чтение файлов
4. Finding Files. Поиск: find, locate
5. Search Me. Поиск по файлам: grep
6. What's Going On. Процессы и сеть
7. Filesystems. Название главы говорит само за себя
8. Transferring Files. Как обменяться файлами с Windows и Linux
9. Starting and Stopping. Запуск, остановка служб. И любимый reboot
10. Where to Go for Help. Справочные системы

Ещё две главы не описал - прочитаете сами.

Рекомендую книгу всем, кто давно хочет в никсы, но боится сделать первый шаг. Не бойтесь, что она на английском - всё более, чем понятно и читается быстро. К тому же, всего 60 страниц!

X Forwarding. Multiplatform

https://www.xpra.org/
Кроссплатформенный сервер и клиент для проброса изображения (иксов) между системами

Управляем компьютером через Telegram

RAT via Telegram способ управления машиной под управлением Windows командами из мессенджера Telegram.

Что умеет:

• Работа с файлами и папками
• Загрузка файлов
• Исполнение файлов
• Снятие скриншотов
• Кейлоггер
• Доступ к микрофону
• Прокси сервер
• Шифрование файлов

Функциональность больше пентестерская, чем админская, но всё равно интересная штука. Построен на Python

[book] Unintended Features

Unintended Features. Thoughts on thinking and life as a network engineer.
Daniel Dib & Russ White. https://leanpub.com/unintendedfeatures

Книга не о технологиях. Скорее о жизни, мыслях и общем развитии сетевого инженера. С какой стороны подойти к проблеме? Как правильно обучаться? Как не утонуть в куче задач и картинок с котиками?
Обо всём этом пишет самый известный в мире сетевой инженер Russ White. Кстати, его блог. И блог соавтора Daniel Dib .

Читается легко, но сложнее, чем техническая литература. Рекомендую для общего развития!

LAPS (Local Administrator Password Solution)

Очень нужный инструмент. Сколько тысяч граблей было сломано в попытках решить то, что уже решено вендором.
Материал тупо скопировав с telegra.ph, чтобы не потерять.


Как оказалось, многие не знают, что давно есть бесплатное решение от Microsoft по управлению локальными паролями администраторов под названием LAPS (Local Administrator Password Solution). Я решил, что надо собрать подборку материалов, связанных с ЛАПСом, чтобы все было в одном месте. Часть материалов есть на русском, часть на сами знаете каком, но перед этим давайте разберемся для чего нужен LAPS:

• Безопасно хранить пароль локального администратора в Active Directory для каждой рабочей станции;
• Устанавливать правила сложности и длины пароля;
• Менять пароль локального администратора на устройстве через Active Directory;
• Устанавливать срок истечения времени действия пароля локального администратора и автоматически менять его.