
Разминка (FAQ)
ЗАЧЕМ?
Чтобы установить группу Mac mini в удалённый дата-центр и иметь возможность управлять каждым из них. Под управлением я имею в виду возможность при необходимости полностью переустановить операционную систему. А зачем это? Например, QA подключается, пытается воспроизвести проблему пользователя и роняет сетевое подключение. Или Mac mini — часть CI/CD системы, где в худшем случае система уходит в недоступное состояние (например, неудачное обновление агента).
Wake on Lan?
Описанные выше проблемы он не решит.
Физически нажимать кнопку, серьёзно? Неужели нет другого способа?
Если коротко, нет. Чтобы перевести Mac mini в режим восстановления, нужно зажать кнопку питания
Почему сервопривод?
- Соленоид: большой ток, требует больше места.
- Припаять провода напрямую: много работы, потеря гарантии, сложность замены. Не имеет смысла. (комментарий три месяца спустя, когда в разработке KVMac4 mk4: я ошибался, замена кнопки питания смысл имеет)
- Программный путь. Нужно реверсить порт USB-C (примеры можно найти в интернете), а это ненадёжно, т.к. любое обновление ОС может сломать решение. Ну и, насколько я успел поискать, способа перевести Mac mini в режим восстановления так нет.
MDM-сервер?
- стоит денег
- не решит всех проблем, описанных в начале
Вместо вступления
Рад представить вам стойку для 16 Apple Mac mini. Ниже третья итерация моей стойки — v3, Mark III или Mk3. Думаю, две предыдущие версии достойны упоминания, но не повторения.
Я бы сравнил их так (т.к. сам их проектировал, собирал и использовал).
v1
простота — 8/10
надёжность — 4/10
удобство — 5/10
v2
простота — 2/10
надёжность — 7/10
удобство — 4/10
v3
простота — 7/10
надёжность — 9/10
удобство — 9/10
Как вы догадываетесь, главная цель — надёжность и удобство эксплуатации.
Инструкция по сборке, все нужные ссылки и модели для печати будут во второй статье. А пока предлагаю подписаться на мой Instagram, Twitter (X) и присоединиться к сообществу в Discord. Для меня это очень важно. Спасибо!
История
Сначала я хотел её пропустить, но когда отбирал фотографии, понял, сколько труда вложено в этот проект за последний год. Было бы кощунством совсем опустить историю.
Ну и, думаю, проекту добавит ценности, если показать, чего он мне стоил по трудозатратам.
Проект стартовал в апреле 2022 года с v1, так сказать, proof of concept.
До меня такого никто не делал (по крайней мере публично). Так что продвигался понемногу.
Фото и подробные описания v1 и v2 спрячу под спойлеры:
Версия 1
После кучи экспериментов, которыми я делился в сторис и паре постов в Instagram, пришёл к такому решению:
Кинематика максимально простая. Сервопривод комплектным рычагом напрямую нажимает кнопку на Mac mini.

Сначала я хотел использовать PiKVM в стандартном корпусе, подключив servo HAT и PoE вот так:

Но в итоге собрал вот так:

Дальше был интересный опыт.
Получить картинку с 16-портового KVM-свитча оказалось очень сложно. Куча тестов с разными EDID. Эксперименты с разными железными вариантами (Dr. HDMI и другие). И в итоге проблемы всё равно остались. Научиться управлять им через последовательный порт тоже было непросто (но я справился). Короче, повторять мой опыт не рекомендую.
Этот Aten CS19216 стоил около 1.6 тыс. евро, поддерживал 4k и USB3.0.
Была идея подключить к нему USB-диск и хранить на нём образы ОС, но в итоге от неё отказался.
Без лишних слов — финальный вид версии 1.

И демо:
В целом всё работало. Смотреть со звуком
P.S. Ещё раз дам ссылку на мой Instagram, т.к. там в сторис я показываю процесс разработки, а не только финальный результат. И очень рад вашей обратной связи.
Версия 2
Работа над следующей версией началась через четыре месяца.
Я понял, что концепцию нужно полностью переосмыслить.
Забегая вперёд: получилось хорошо, но слишком сложно. Нет, СЛИШКОМ СЛОЖНО!
У версии 1 были проблемы с надёжностью. Видимо, 16 самых дешёвых пластиковых сервоприводов не могли работать идеально. Удивительно (сарказм)
Так что я решил поэкспериментировать. Остановился на этом варианте — компромисс между надёжностью и популярностью (надёжные и непопулярные будет сложно заменить, и скорее всего они дороже).

Небольшое отступление: соленоид я тоже пробовал, но пришёл к выводу, что смысла нет. Ему нужен большой ток. Всё равно пришлось бы делать специальную направляющую, чтобы соленоид бил туда, куда нужно (в кнопку). А большой ток потребовал бы relay HAT или плату расширения (с 16 реле) и дополнительный блок питания.
Я всё ещё держался за установку портами вверх. Но поменял свитч на TESmart HKS1601A1U-EUBK (похожий на тот, что использую в версии 3). А ещё добавил блок розеток прямо на полку, чтобы уменьшить количество проводов.

Механическое решение можете оценить сами.



И в действии:
В целом достать мак достаточно просто. Кнопка нажимается идеально и благодаря пружинам не требует тонкой настройки сервопривода. Если собрать аккуратно, уверен, это очень надёжно. Но привкус оверинжиниринга есть, не так ли?
Корпус-подставку для Raspberry Pi, PiKVM, PoE HAT и servo HAT решил сделать сам:

Но в итоге от PoE HAT отказались, т.к. свитчи в дата-центре на момент установки не поддерживали PoE.


И сразу вылезло несколько недостатков:
- Сложная укладка кабелей занимала много места.
- Не было передней панели. Во многих больших дата-центрах это важное условие установки оборудования, чтобы не нарушать поток воздуха из холодного коридора в горячий.
- Выбранная полка с трудом выдерживает такой вес. Даже на фото видно, что она немного прогнулась.
Выводы сделаны. Главный — нужно переосмыслить кинематику и механическую часть проекта.
Из плюсов: я выбрал сервопривод и KVM-свитч и научился управлять ими с Raspberry Pi и через интерфейс PiKVM.
P.S. Ещё раз дам ссылку на мой Instagram, т.к. там в сторис я показываю процесс разработки, а не только финальный результат. И очень рад вашей обратной связи.
А ниже то, ради чего мы здесь, — версия 3.
Дизайн
Надеюсь, мотивация понятна. Теперь о реализации. Я трижды начинал практически с нуля. Первые две версии цеплялись за разработанную ранее стойку. Это была ошибка, и в итоге я полностью поменял подход.
Подвигав Mac mini по полке, я обнаружил, что в такой конфигурации на неё идеально помещается 16 штук.
Фото с этапа размышлений. Подкладывал под Mac mini всё, что попадалось под руку, чтобы подобрать угол установки.

Чтобы Mac mini можно было легко поставить на полку или снять. И главное — исключить любые нюансы с его позиционированием на посадочном месте. В итоге пришёл к такой конструкции посадочного места.

В v2 я перешёл на сервоприводы покрупнее и пришёл к подходу, когда один сервопривод обслуживает сразу 2 Mac mini. Так стойку можно разделить на восемь блоков, которые легко повторять. А соединяются они обычными болтами. Можно было обойтись одной 3D-печатью, но я решил, что в данном случае болты пойдут на пользу общей жёсткости конструкции.



Это же позволило довольно просто и красиво решить проблему укладки кабелей.

В таких проектах удача играет довольно большую роль. И мне повезло найти почти идеальную для моих целей полку. Выбора у меня по сути не было. Потому что общий вес очень серьёзный, а полка, которую я использовал для v1 и v2, слегка проседает, и это пугает.
В итоге я взял 2U полку StarTech UNISLDSHF192 (выдерживает общую нагрузку 50lb (22.7кг)). Ещё купил UNISLDSHF19M (тоже 50lb (22.7кг)), и, похоже, это одно и то же. Может, разница в сертификации (или продавец прислал не то). Полка вообще была самой первой покупкой для v3 из-за высокой максимальной нагрузки. Я хотел сделать стойку надёжной и солидной.
Полка установлена вверх ногами, из-за чего потенциально теряется 1U снизу, но если снизу стоит такая же стойка, проблемы нет.


Для дата-центра важно использовать переднюю панель. Там положено стоять вентиляторам. Но по моим замерам (тепловизором и по дашбордам мониторинга) избыточное давление в холодном коридоре отлично продувает стойку.

Если им это не понравится и потребуют добавить вентиляторы, обновлю статью. (кстати, я знаю, что среди моих подписчиков есть инженеры дата-центров. Привет вам!)
Кинематика
Как я писал выше в истории про v2, я остановился на одном сервоприводе на 2 Mac mini.
Я сбился со счёта, сколько было экспериментальных вариантов, но это первое найденное мной фото финальной версии кинематики.

С тех пор она немного эволюционировала.

И снова дам ссылку на мой Instagram, т.к. там в сторис я показываю процесс разработки, а не только финальный результат. И очень рад вашей обратной связи.
Как реализован KVM
В основе KVM — отличный проект PiKVM
А точнее, одна из его возможностей, неочевидная на первый взгляд. Возможность подключить PiKVM к обычному KVM (ссылка на документацию) и по сути сделать веб-интерфейс для управления группой устройств, подключённых к этому KVM. Нужно только уметь управлять самим KVM, чтобы переключать на нём порты, а это довольно легко делается через последовательный порт.
Как управлять сервоприводами
Оптимальным вариантом оказался Servo HAT для Raspberry Pi

Для управления Servo HAT я использовал самописные скрипты на Python и возможности кастомизации интерфейса PiKVM, чтобы вызывать эти скрипты.
Куда девать кабели питания
Не буду отрицать, возможно, эта часть требует доработки.
Кабели можно разместить по бокам полки с помощью вертикальных PDU, если серверный шкаф позволяет. Этот конкретный довольно узкий, так что мы просто убрали их назад. На температурах это заметно не сказалось.

Напоминает кластер суперкомпьютера из какого-нибудь научно-фантастического фильма

Ну вот и вся история. Изначально я хотел написать всё одним куском. Но боюсь, до части про сборку вы бы не добрались. Так что вынес её в отдельную статью.
А пока предлагаю подписаться на мой Instagram, Twitter (X) и присоединиться к сообществу в Discord. Для меня это очень важно. Спасибо!
Как собрать стойку, читайте во второй части
Я Head of Hardware в компании JetBrains. Основатель Uptime Lab. Рад видеть вас у себя на сайте! Пожалуйста подписывайтесь на мой Инстаграм и Твиттер, я публикую там самые свежие обновления.
Looks great Ivan! I’m glad you included the previous revisions, interesting to see the evolution and refocusing on your core design goals of usability and reliability.
With everything you’ve learned from your 1u, 4 Mac project, do you think you’ll have a mk4 of the KVMac16 to include the power button changes or are your preferring the density/enclosed nature of KVMac4?
Looking forward to part 2!
Thank you! I apologize for the late reply.
I think the continuation of this idea can be a full-fledged custom bench. But with the idea of keeping the Mac mini in its original case.
The concept of disassembling and replacing the power button looks more promising. It’s more efficient, more reliable, and allows for higher-density installation.
Hope to share more news in the foreseeable future
just curious are mac minis noisy for homelab? for example 6 of them
I wouldn’t use them as a homelab…