Если вот именно свою плату запилить - это уже высший пилотаж. Тогда вы будете знать свою систему как облупленую, вас будет трудно чем-то удивить. Но это сложно. Даже для меня пока. Я предпочитаю юзать чужие готовые платы/модули после *внимательного* курения схемы и описания а также чтения даташитов на SoC.

Если захочется что-то такое попытаться - посмотрите гитхаб Olimex, там есть парочка одноплатников отрисованых в опенсорсном KiCad, например 64-битник на A64. Но это довольно большое приключение, отрисовать с 1 попытки скоростную цифровую штуку с гигагерцами даже у мэтров лажа выходит. Olimex'ы этим полжизни занимаются, они так то имя себе сделали на "платках для разработчиков". И собственно у них навалом opensource friendly платок. На некоторые даже, вот, KiCad'овские файлы дают (очень круто, можно посмотрет как это про делают). Так что в принципе можно подрихтовать и фабрике выгрузить. При уверенности что вы не испортите hi-speed дизайн и сможете спаять, хе-хе.

Конкретный пример анализа хотите? "Железка найденая похом". На вид достаточно беззубо: поддерживается майнлайн ядром (и soc и даже dts конкретной железки есть). Uboot открытый есть, фузы secureboot не прошиты - чип после старта "ваш". И даже доперли отключить по дефолту питание eFuses - чтобы какой-нибудь троянец не перехватил чип.

Если хочется с "продвинутостями" повозиться, uboot в его стартовой локации можно сделать readonly (у допустим SPI флех бывает пин WP# или софтварный WP накрайняк, карты памяти и MMC можно лочить в RO - ахтунг, односторонняя операция!), обучив таковой проверять подписи ядра/рамдиска/dtb, а ключ естественно свой и заныкать ото всех. Так uboot будет загружать только ваше, а его переписать ремотные хакеры не смогут из-за readonly на его носителе. Идея не моя, гугл так делал на некоторых хромобуках.

Если не впадлу - пересоберите и кернел на свой, отключив все лишнее, включив секурити фичи, энфорс подписей модулей и врубив LOCKDOWN (возможны фаллауты, особенно на ARM). Это может предоставить вам системной камасутры. С другой стороны, для хакеров это тоже не осбо приятный сюрприз - при условии что вы ключ для подписи модулей зажмете.

Еще хацкерам можно поставить капканов. Лучший способ защиты - нападение. Например заменив пару типовых системных утилсов на капканы. А зачем серваку уметь ls или echo? Их вызов может свидетельствать что у вас гости. Вгрузить пару своих либ LD_PRELOAD'ом, немного поменяв некоторые функции тоже довольно стебно. Редкий хакер ожидает такое западло. А когда он уже триггернет алерт, уже малость поздняк.

Вообще попрактикуйтесь в пентесте (лучше на своих системах, конечно) - поймете что бы вы НЕ хотели видеть. И тогда вы сможете сделать именно это на своих системах, порадовав "гостей". Пару идей см. выше. Можно еще много всего придумывать, но я оставлю некоторые из идей себе - хотя security via obscurity и плохая идея, фактор внезапности все же неплохая вещь.