[Настройка Linux] Создание образа Ubuntu для ARM «from scratch»
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Когда разработка только начинается часто еще непонятно какие именно пакеты пойдут в целевую rootfs.
Иными словами хвататься за LFS, buildroot или yocto (или еще что-то) еще рано, а начинать уже нужно. Для богатых (у меня на пилотных образцах 4GB eMMC) есть выход раздать разработчикам дистрибутив, который позволит оперативно доставить что-то чего не хватает в данный момент, а затем мы всегда можем собрать списки пакетов и сформировать список для целевой rootfs.
Данная статья не несет в себе новизны и представляет из себя простую copy-paste инструкцию.
Цель статьи сборка Ubuntu rootfs для ARM борды (в моем случае на базе Colibri imx7d).
Сборка образа
Собираем целевой rootfs для тиражирования.
Распаковываем Ubuntu Base
Релиз выбираем сами исходя из необходимости и собственных предпочтений. Здесь я привел 20.
$ mkdir ubuntu20
$ cd ubuntu20
$ mkdir rootfs
$ wget http://cdimage.ubuntu.com/ubuntu-base/releases/20.04/release/ubuntu-base-20.04-base-armhf.tar.gz
$ tar xf ubuntu-base-20.04-base-armhf.tar.gz -C rootfs
Проверка поддержки BINFMT в ядре
Если у вас распространенный дистрибутив, то поддержка BINFMT_MISC есть и все настроено, если нет — то я уверен, что вы знаете как включить поддержку BINFMT в ядре.
Убедитесь, что BINFMT_MISC включено в ядре:
$ zcat /proc/config.gz | grep BINFMT
CONFIG_BINFMT_ELF=y
CONFIG_COMPAT_BINFMT_ELF=y
CONFIG_BINFMT_SCRIPT=y
CONFIG_BINFMT_MISC=y
Теперь надо проверить настройки:
$ ls /proc/sys/fs/binfmt_misc
qemu-arm register status
$ cat /proc/sys/fs/binfmt_misc/qemu-arm
enabled
interpreter /usr/bin/qemu-arm
flags: OC
offset 0
magic 7f454c4601010100000000000000000002002800
mask ffffffffffffff00fffffffffffffffffeffffff
Зарегистрировать вручную можно с помощью, например, вот этой инструкции.
Настройка qemu static arm
Теперь нам понадобится экземпляр qemu собранный статически.
!!! ВНИМАНИЕ!!!
Если вы планируете использовать контейнер для сборки чего либо, ознакомьтесь:
https://sourceware.org/bugzilla/show_bug.cgi?id=23960
https://bugs.launchpad.net/qemu/+bug/1805913
Тогда для x86_64 host и arm guest необходимо использовать i386 версию qemu:
http://ftp.ru.debian.org/debian/pool/main/q/qemu/qemu-user-static_5.0-13_i386.deb
$ wget http://ftp.debian.org/debian/pool/main/q/qemu/qemu-user-static_5.0-13_amd64.deb
$ alient -t qemu-user-static_5.0-13_amd64.deb
# путь в rootfs и имя исполняемого файла должно совпадать с /proc/sys/fs/binfmt_misc/qemu-arm
$ mkdir qemu
$ tar xf qemu-user-static-5.0.tgz -C qemu
$ file qemu/usr/bin/qemu-arm-static
qemu/usr/bin/qemu-arm-static: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked, BuildID[sha1]=be45f9a321cccc5c139cc1991a4042907f9673b6, for GNU/Linux 3.2.0, stripped
$ cp qemu/usr/bin/qemu-arm-static rootfs/usr/bin/qemu-arm
$ file rootfs/usr/bin/qemu-arm
rootfs/usr/bin/qemu-arm: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked, BuildID[sha1]=be45f9a321cccc5c139cc1991a4042907f9673b6, for GNU/Linux 3.2.0, stripped
Chroot
Простой скрипт:
ch-mount.sh
SPL
#!/bin/bash
function mnt() {
echo "MOUNTING"
sudo mount -t proc /proc ${2}proc
sudo mount --rbind /sys ${2}sys
sudo mount --make-rslave ${2}sys
sudo mount --rbind /dev ${2}dev
sudo mount --make-rslave ${2}dev
sudo mount -o bind /dev/pts ${2}dev/pts
sudo chroot ${2}
}
function umnt() {
echo "UNMOUNTING"
sudo umount ${2}proc
sudo umount ${2}sys
sudo umount ${2}dev/pts
sudo umount ${2}dev
}
if [ "$1" == "-m" ] && [ -n "$2" ] ;
then
mnt $1 $2
elif [ "$1" == "-u" ] && [ -n "$2" ];
then
umnt $1 $2
else
echo ""
echo "Either 1'st, 2'nd or both parameters were missing"
echo ""
echo "1'st parameter can be one of these: -m(mount) OR -u(umount)"
echo "2'nd parameter is the full path of rootfs directory(with trailing '/')"
echo ""
echo "For example: ch-mount -m /media/sdcard/"
echo ""
echo 1st parameter : ${1}
echo 2nd parameter : ${2}
fi
Любуемся на полученный результат:
$ ./ch-mount.sh -m rootfs/
# cat /etc/os-release
NAME="Ubuntu"
VERSION="20.04 LTS (Focal Fossa)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 20.04 LTS"
VERSION_ID="20.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=focal
UBUNTU_CODENAME=focal
# uname -a
Linux NShubin 5.5.9-gentoo-x86_64 #1 SMP PREEMPT Mon Mar 16 14:34:52 MSK 2020 armv7l armv7l armv7l GNU/Linux
Ради интереса замерим размер до и после установки минимального (для меня) набора пакетов:
# du -d 0 -h / 2>/dev/null
63M /
Обновим:
# apt update
# apt upgrade --yes
Установим интересующие нас пакеты:
# SYSTEMD_IGNORE_CHROOT=yes apt install --yes autoconf kmod socat ifupdown ethtool iputils-ping net-tools ssh g++ iproute2 dhcpcd5 incron ser2net udev systemd gcc minicom vim cmake make mtd-utils util-linux git strace gdb libiio-dev iiod
Заголовочные файлы ядра, модули, это отдельный разговор. Загрузчик, ядро, модули, device tree через Ubuntu мы конечно же не поставим. Они придут к нам извне или сами соберем или нам их выдаст производитель борды, в любом случае это за гранью данной инструкции.
До какой-то степени расхождение версий допустимо, но лучше взять их со сборки ядра.
# apt install --yes linux-headers-generic
Смотрим, что получилось и получилось немало:
# apt clean
# du -d 0 -h / 2>/dev/null
770M /
Не забудьте задать пароль.
Пакуем образ
$ sudo tar -C rootfs --transform "s|^./||" --numeric-owner --owner=0 --group=0 -c ./ | tar --delete ./ | gzip > rootfs.tar.gz
Дополнительно можем поставить etckeeper с настройкой autopush
Ну допустим раздали мы нашу сборку, работа пошла, как лучше собрать потом различные версии нашей системы.
На помощь нам может прийти etckeeper.
Безопасность личное дело каждого:
- можете защитить определённые ветки
- генерировать уникальный ключ для каждого устройства
- запретить force push
- и т.д. ...
# ssh-keygen
# apt install etckeeper
# etckeeper init
# cd /etc
# git remote add origin ...
Настроим autopush
Можем конечно заранее же создать ветки на устройстве (допустим сделать скрипт или службу, которая отработает при первом запуске).
# cat /etc/etckeeper/etckeeper.conf
PUSH_REMOTE="origin"
А можем поступить хитрее...
Ленивый путь
Пусть у нас будет какой-то уникальный идентификатор, допустим серийный номер процессора (ну или MAC — серьезные компании покупают диапазон):
cat /proc/cpuinfo
SPL
# cat /proc/cpuinfo
processor : 0
model name : ARMv7 Processor rev 5 (v7l)
BogoMIPS : 60.36
Features : half thumb fastmult vfp edsp neon vfpv3 tls vfpv4 idiva idivt vfpd32 lpae evtstrm
CPU implementer : 0x41
CPU architecture: 7
CPU variant : 0x0
CPU part : 0xc07
CPU revision : 5
processor : 1
model name : ARMv7 Processor rev 5 (v7l)
BogoMIPS : 60.36
Features : half thumb fastmult vfp edsp neon vfpv3 tls vfpv4 idiva idivt vfpd32 lpae evtstrm
CPU implementer : 0x41
CPU architecture: 7
CPU variant : 0x0
CPU part : 0xc07
CPU revision : 5
Hardware : Freescale i.MX7 Dual (Device Tree)
Revision : 0000
Serial : 06372509
Тогда мы можем использовать его для имени ветки в которую будем пушить:
# cat /proc/cpuinfo | grep Serial | cut -d':' -f 2 | tr -d [:blank:]
06372509
Создадим простой скрипт:
# cat /etc/etckeeper/commit.d/40myown-push
#!/bin/sh
set -e
if [ "$VCS" = git ] && [ -d .git ]; then
branch=$(cat /proc/cpuinfo | grep Serial | cut -d':' -f 2 | tr -d [:blank:])
cd /etc/
git push origin master:${branch}
fi
И всё — через некоторое время можем посмотреть изменения и сформировать список пакетов для целевой прошивки.
Рекомендованные материалы
BINFMT_MISC
Kernel Support for miscellaneous Binary Formats (binfmt_misc)
Compiling with qemu user chroot
Building Ubuntu rootfs for ARM
How to create a custom Ubuntu live from scratch
Crossdev qemu-static-user-chroot
etckeeper
проблема getdents64
readdir() returns NULL (errno=EOVERFLOW) for 32-bit user-static qemu on 64-bit host
Ext4 64 bit hash breaks 32 bit glibc 2.28+
compiler_id_detection fails for armhf when using QEMU user-mode emulation
CMake doesn't work properly under qemu-arm
===========
Источник:
habr.com
===========
Похожие новости:
- [Open source, Гаджеты, Информационная безопасность, Носимая электроника, Облачные сервисы] Как освободить умные часы Garmin от облачных сервисов, которые не работают из-за атаки (перевод)
- [Open source, Разработка под Linux] CVE и квадратная вероятность
- [Microsoft SQL Server, MySQL, PostgreSQL, Администрирование баз данных] DataGrip 2020.2: редактор больших значений, предпросмотр SQL при редактировании, новое отображение ячеек bool и другое
- Google начал открытие реализации модели потоков M:N
- [Гаджеты, Информационная безопасность, Носимая электроника, Умный дом] Garmin подтвердила факт кибератаки и вернула к жизни часть сервисов
- [Системное администрирование, PostgreSQL, SQL, Администрирование баз данных] SQL HowTo: красивые отчеты по «дырявым» данным — GROUPING SETS
- [Open source, Конференции] Открыта регистрация на онлайн-конференцию Linux Vacation / Eastern Europe — LVEE 2020
- [*nix, Open source] FOSS News №26 – обзор новостей свободного и открытого ПО за 20–26 июля 2020 года
- [Java, Разработка под Linux, Управление проектами] Как я автоматизировал разворачивание приложений на Linux на коленке с помощью Bash скриптов и Java
- [IT-компании, Информационная безопасность, Социальные сети и сообщества, Умный дом] Издание BleepingComputer опубликовало подробности об атаке вируса-вымогателя на Garmin
Теги для поиска: #_nastrojka_linux (Настройка Linux), #_linux, #_ubuntu, #_arm, #_rootfs, #_nastrojka_linux (
Настройка Linux
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 18:56
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Когда разработка только начинается часто еще непонятно какие именно пакеты пойдут в целевую rootfs. Иными словами хвататься за LFS, buildroot или yocto (или еще что-то) еще рано, а начинать уже нужно. Для богатых (у меня на пилотных образцах 4GB eMMC) есть выход раздать разработчикам дистрибутив, который позволит оперативно доставить что-то чего не хватает в данный момент, а затем мы всегда можем собрать списки пакетов и сформировать список для целевой rootfs. Данная статья не несет в себе новизны и представляет из себя простую copy-paste инструкцию. Цель статьи сборка Ubuntu rootfs для ARM борды (в моем случае на базе Colibri imx7d). Сборка образа Собираем целевой rootfs для тиражирования. Распаковываем Ubuntu Base Релиз выбираем сами исходя из необходимости и собственных предпочтений. Здесь я привел 20. $ mkdir ubuntu20
$ cd ubuntu20 $ mkdir rootfs $ wget http://cdimage.ubuntu.com/ubuntu-base/releases/20.04/release/ubuntu-base-20.04-base-armhf.tar.gz $ tar xf ubuntu-base-20.04-base-armhf.tar.gz -C rootfs Проверка поддержки BINFMT в ядре Если у вас распространенный дистрибутив, то поддержка BINFMT_MISC есть и все настроено, если нет — то я уверен, что вы знаете как включить поддержку BINFMT в ядре. Убедитесь, что BINFMT_MISC включено в ядре: $ zcat /proc/config.gz | grep BINFMT
CONFIG_BINFMT_ELF=y CONFIG_COMPAT_BINFMT_ELF=y CONFIG_BINFMT_SCRIPT=y CONFIG_BINFMT_MISC=y Теперь надо проверить настройки: $ ls /proc/sys/fs/binfmt_misc
qemu-arm register status $ cat /proc/sys/fs/binfmt_misc/qemu-arm enabled interpreter /usr/bin/qemu-arm flags: OC offset 0 magic 7f454c4601010100000000000000000002002800 mask ffffffffffffff00fffffffffffffffffeffffff Зарегистрировать вручную можно с помощью, например, вот этой инструкции. Настройка qemu static arm Теперь нам понадобится экземпляр qemu собранный статически. !!! ВНИМАНИЕ!!!
Если вы планируете использовать контейнер для сборки чего либо, ознакомьтесь: https://sourceware.org/bugzilla/show_bug.cgi?id=23960 https://bugs.launchpad.net/qemu/+bug/1805913 Тогда для x86_64 host и arm guest необходимо использовать i386 версию qemu: http://ftp.ru.debian.org/debian/pool/main/q/qemu/qemu-user-static_5.0-13_i386.deb $ wget http://ftp.debian.org/debian/pool/main/q/qemu/qemu-user-static_5.0-13_amd64.deb
$ alient -t qemu-user-static_5.0-13_amd64.deb # путь в rootfs и имя исполняемого файла должно совпадать с /proc/sys/fs/binfmt_misc/qemu-arm $ mkdir qemu $ tar xf qemu-user-static-5.0.tgz -C qemu $ file qemu/usr/bin/qemu-arm-static qemu/usr/bin/qemu-arm-static: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked, BuildID[sha1]=be45f9a321cccc5c139cc1991a4042907f9673b6, for GNU/Linux 3.2.0, stripped $ cp qemu/usr/bin/qemu-arm-static rootfs/usr/bin/qemu-arm $ file rootfs/usr/bin/qemu-arm rootfs/usr/bin/qemu-arm: ELF 64-bit LSB executable, x86-64, version 1 (GNU/Linux), statically linked, BuildID[sha1]=be45f9a321cccc5c139cc1991a4042907f9673b6, for GNU/Linux 3.2.0, stripped Chroot Простой скрипт: ch-mount.shSPL#!/bin/bash
function mnt() { echo "MOUNTING" sudo mount -t proc /proc ${2}proc sudo mount --rbind /sys ${2}sys sudo mount --make-rslave ${2}sys sudo mount --rbind /dev ${2}dev sudo mount --make-rslave ${2}dev sudo mount -o bind /dev/pts ${2}dev/pts sudo chroot ${2} } function umnt() { echo "UNMOUNTING" sudo umount ${2}proc sudo umount ${2}sys sudo umount ${2}dev/pts sudo umount ${2}dev } if [ "$1" == "-m" ] && [ -n "$2" ] ; then mnt $1 $2 elif [ "$1" == "-u" ] && [ -n "$2" ]; then umnt $1 $2 else echo "" echo "Either 1'st, 2'nd or both parameters were missing" echo "" echo "1'st parameter can be one of these: -m(mount) OR -u(umount)" echo "2'nd parameter is the full path of rootfs directory(with trailing '/')" echo "" echo "For example: ch-mount -m /media/sdcard/" echo "" echo 1st parameter : ${1} echo 2nd parameter : ${2} fi Любуемся на полученный результат: $ ./ch-mount.sh -m rootfs/
# cat /etc/os-release NAME="Ubuntu" VERSION="20.04 LTS (Focal Fossa)" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 20.04 LTS" VERSION_ID="20.04" HOME_URL="https://www.ubuntu.com/" SUPPORT_URL="https://help.ubuntu.com/" BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/" PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy" VERSION_CODENAME=focal UBUNTU_CODENAME=focal # uname -a Linux NShubin 5.5.9-gentoo-x86_64 #1 SMP PREEMPT Mon Mar 16 14:34:52 MSK 2020 armv7l armv7l armv7l GNU/Linux Ради интереса замерим размер до и после установки минимального (для меня) набора пакетов: # du -d 0 -h / 2>/dev/null
63M / Обновим: # apt update
# apt upgrade --yes Установим интересующие нас пакеты: # SYSTEMD_IGNORE_CHROOT=yes apt install --yes autoconf kmod socat ifupdown ethtool iputils-ping net-tools ssh g++ iproute2 dhcpcd5 incron ser2net udev systemd gcc minicom vim cmake make mtd-utils util-linux git strace gdb libiio-dev iiod
Заголовочные файлы ядра, модули, это отдельный разговор. Загрузчик, ядро, модули, device tree через Ubuntu мы конечно же не поставим. Они придут к нам извне или сами соберем или нам их выдаст производитель борды, в любом случае это за гранью данной инструкции. До какой-то степени расхождение версий допустимо, но лучше взять их со сборки ядра. # apt install --yes linux-headers-generic
Смотрим, что получилось и получилось немало: # apt clean
# du -d 0 -h / 2>/dev/null 770M / Не забудьте задать пароль. Пакуем образ $ sudo tar -C rootfs --transform "s|^./||" --numeric-owner --owner=0 --group=0 -c ./ | tar --delete ./ | gzip > rootfs.tar.gz
Дополнительно можем поставить etckeeper с настройкой autopush Ну допустим раздали мы нашу сборку, работа пошла, как лучше собрать потом различные версии нашей системы. На помощь нам может прийти etckeeper. Безопасность личное дело каждого:
# ssh-keygen
# apt install etckeeper # etckeeper init # cd /etc # git remote add origin ... Настроим autopush Можем конечно заранее же создать ветки на устройстве (допустим сделать скрипт или службу, которая отработает при первом запуске). # cat /etc/etckeeper/etckeeper.conf
PUSH_REMOTE="origin" А можем поступить хитрее... Ленивый путь Пусть у нас будет какой-то уникальный идентификатор, допустим серийный номер процессора (ну или MAC — серьезные компании покупают диапазон): cat /proc/cpuinfoSPL# cat /proc/cpuinfo
processor : 0 model name : ARMv7 Processor rev 5 (v7l) BogoMIPS : 60.36 Features : half thumb fastmult vfp edsp neon vfpv3 tls vfpv4 idiva idivt vfpd32 lpae evtstrm CPU implementer : 0x41 CPU architecture: 7 CPU variant : 0x0 CPU part : 0xc07 CPU revision : 5 processor : 1 model name : ARMv7 Processor rev 5 (v7l) BogoMIPS : 60.36 Features : half thumb fastmult vfp edsp neon vfpv3 tls vfpv4 idiva idivt vfpd32 lpae evtstrm CPU implementer : 0x41 CPU architecture: 7 CPU variant : 0x0 CPU part : 0xc07 CPU revision : 5 Hardware : Freescale i.MX7 Dual (Device Tree) Revision : 0000 Serial : 06372509 Тогда мы можем использовать его для имени ветки в которую будем пушить: # cat /proc/cpuinfo | grep Serial | cut -d':' -f 2 | tr -d [:blank:]
06372509 Создадим простой скрипт: # cat /etc/etckeeper/commit.d/40myown-push
#!/bin/sh set -e if [ "$VCS" = git ] && [ -d .git ]; then branch=$(cat /proc/cpuinfo | grep Serial | cut -d':' -f 2 | tr -d [:blank:]) cd /etc/ git push origin master:${branch} fi И всё — через некоторое время можем посмотреть изменения и сформировать список пакетов для целевой прошивки. Рекомендованные материалы BINFMT_MISC Kernel Support for miscellaneous Binary Formats (binfmt_misc) Compiling with qemu user chroot Building Ubuntu rootfs for ARM How to create a custom Ubuntu live from scratch Crossdev qemu-static-user-chroot etckeeper проблема getdents64 readdir() returns NULL (errno=EOVERFLOW) for 32-bit user-static qemu on 64-bit host Ext4 64 bit hash breaks 32 bit glibc 2.28+ compiler_id_detection fails for armhf when using QEMU user-mode emulation CMake doesn't work properly under qemu-arm =========== Источник: habr.com =========== Похожие новости:
Настройка Linux ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 18:56
Часовой пояс: UTC + 5