SquashFS HOWTO

1.1. Introduzione

Nella preparazione di sistemi operativi Linux minimali ed integrati ogni byte del dispositivo di memorizzazione (floppy, flash disk, ecc.) è molto importante, quindi la compressione viene usata ovunque possibile. Inoltre, file system compressi sono di solito necessari ai fini dell'archiviazione. Ciò è essenziale per i grandi archivi pubblici o anche per archivi personali.

Il file system SquashFS porta tutto ciò ad un nuovo livello. Si tratta di un file system in sola lettura che consente la compressione di interi file system o singole directory, la loro scrittura su altri dispositivi/partizioni o su normali file ed il mount diretto (se si tratta di una partizione) o mediante l'utilizzo del dispositivo di loopback (se si tratta di un file). La struttura modulare e compatta di SquashFS è davvero brillante. Ai fini dell'archiviazione, SquashFS è molto più flessibile e veloce di un archivio tarball.

Il software di SquashFS distribuito comprende una patch per i sorgenti del kernel Linux (che abilita nel kernel il supporto in lettura del file system SquashFS), lo strumento mksquashfs, che serve per creare file system compressi e lo strumento unsquashfs, che permette di estrarre file multipli da un file system SquashFS esistente.

L'ultima versione rilasciata di SquashFS è la 3.x, la precedente era la versione 2.x. Questo documento descrive entrambe le versioni, con relative note. Ad esempio, se qualche caratteristica o parametro è diversa per queste versioni, verrà indicato come segue: nuovo valore (3.x) oppure vecchio valore (2.x).

1.2. Panoramica su SquashFS

• Dati, inode e directory vengono compressi

• SquashFS memorizza per intero uid/gid (32 bit) e la data di creazione dei file

• Sono supportati file di dimensioni fino a 2^64 byte; i file system possono essere estesi fino a 2^64 byte

• Inode e directory sono altamente compressi e memorizzati con la granularità di un byte. Ogni inode compresso ha una dimensione media di 8 byte (la dimensione esatta varia in funzione del tipo di file; cioè inode di file semplice, directory, collegamento simbolico, dispostivo a blocchi ed a caratteri hanno dimensioni differenti).

• Il file system SquashFS supporta dimensioni di blocco fino a 64 kb (2.x) o 1MB (3.x). La dimensione di default dei blocchi è 128 kb (3.x), che consente di ottenere rapporti di compressione maggiori della normale dimensione di blocco di 4kb.

• Dalla versione 2.x è stato introdotto il concetto di frammento di blocco, che implementa la possibilità di unire più file di dimensioni inferiori alla dimensione di blocco in un singolo blocco, ottenendo rapporti di compressione più alti.

• File duplicati sono individuati e rimossi

• Entrambe le architetture big e little endian sono supportate; SquashFS può montare file system creati su macchine con diverso ordine di byte.

1.3. Per fare chiarezza

Ora ci si assicurerà che ogni ulteriore discussione risulti più chiara da comprendere. La procedura per rendere disponibile SquashFS fondamentalmente consiste nei seguenti passaggi:

1. Applicare la patch e ricompilare il kernel per attivare il supporto di squashfs

2. Compilare lo strumento mksquashfs e unsquashfs

3. Creare un file system compresso con mksquashfs

4. Test: montare il file system squashfs sotto un punto di mount temporaneo.

5. Modificare il file /etc/fstab o gli script di avvio del sistema Linux per montare il nuovo file system SquashFS quando necessario.

2.1. Ottenere SquashFS

La pagina web di SquashFS è all'indirizzo http://squashfs.sourceforge.net/ - Si tratta di un changelog, che contiene le informazioni sull'ultimo rilascio del software ed informazioni generali su SquashFS. E' possibile ottenere l'ultima versione di SquashFS alla pagina web del progetto SquashFS su SourceForge.

SquashFS è anche disponibile con l'algoritmo di compressione Lempel-Ziv-Markov (LZMA) all'indirizzo http://www.squashfs-lzma.org/

2.2. Preparazione di un kernel che supporta SquashFS

Per la lettura del file system SquashFS, è necessario che esso sia supportato dal kernel - proprio come si trattasse di un file system reiserfs o ext3. Bisogna assicurarsi che vi sia una patch appropriata per la versione del kernel che si intende utilizzare nella sotto-directory kernel-patches/linux-2.x.y, all'interno della directory dei sorgenti di SquashFS. Inoltre, si ricordi che, nella maggior parte dei casi, saranno necessari i sorgenti del kernel Linux originale, a cui non siano state applicate patch, rilasciato da kernel.org. Se il codice sorgente del proprio kernel proviene da una distribuzione, potrebbe essere già stato modificato con le patch proprie della distribuzione e l'applicazione della patch di SquashFS quasi certamente non potrà funzionare, dato che le patch di SquashFS sono fatte per i kernel Linux originali. Tuttavia alcune distribuzioni rendono disponibili i moduli del kernel per SquashFS ed i relativi strumenti sotto forma di pacchetto nei repository. Se si pensa di utilizzare tali pacchetti, non sarà necessario applicare la patch di SquashFS al kernel e neppure compilare gli strumenti a partire dal codice sorgente. In tal caso, è comunque necessario assicurarsi di acquisire dalla distribuzione il modulo del kernel appropriato alla propria architettura. Si noti che, in questo modo, la procedura d'installazione è più semplice, ma non si ha alcun controllo sulla configurazione dei parametri del kernel, nel caso si voglia utilizzare SquashFS per scopi particolari (ad esempio per sistemi integrati).

	bash# cd /usr/src/SquashFS
	bash# cp linux-2.x.y/SquashFS-patch /usr/src/linux

	bash# cd /usr/src/linux

	bash# patch -p1 < SquashFS-patch

	bash# make distclean
	bash# make mrproper

	bash# make menuconfig

	bash# make

	bash# make menuconfig

	bash# make dep
	bash# make bzImage
	bash# make modules

	bash# cp arch/i386/boot/bzImage /boot/bzImage-sqsh

	bash# make modules_install

	bash# cat /proc/filesystems

	bash# insmod SquashFS
	bash# cat /proc/filesystems

2.3. Compilare gli strumenti di SquashFS

Ora sarà necessario compilare mksquashfs - lo strumento per creare file system compressi e unsquashfs, che serve ad estrarre file da un file system SquashFS esistente.

	bash# cd /usr/src/SquashFS/SquashFS-tools

Compilare ed installare gli strumenti:

	bash# make
	bash# cp mkSquashFS /usr/sbin
	bash# cp unSquashFS /usr/sbin

Se tutto è andato bene, digitando mksquashfs oppure unsquashfs al prompt della shell, dovrebbe essere mostrato il messaggio di utilizzo.

2.4. Installare SquashFS su Debian

Se si utilizza Debian (o un'altra distribuzione Linux) è possibile ottenere il modulo di SquashFS ed i relativi tool dai repository. Con Debian, si devono installare il modulo appropriato del kernel e gli strumenti di SquashFS con i seguenti comandi:

(Assumendo che la propria architettura sia x86)

	bash# apt-get install SquashFS-modules-2.6-486 

	bash# apt-get install SquashFS-tools

Ora, caricare il modulo di SquashFS per il kernel Linux e se caricato in modo corretto, si dovrebbe poterlo trovare nel elenco relativo

	bash# modprobe SquashFS
	
	bash# lsmod|grep squash
	squashfs              39620  0

	

Quindi, se è necessario caricare il modulo di SquashFS all'avvio del sistema, aggiungere la relativa voce al file /etc/modules

	bash# echo squashfs >> /etc/modules

Notare che al momento della scrittura di questo HOWTO, i pacchetti Debian (Etch. 4.0 r2) sono relativi al rilascio 3.1 di SquashFS. Alcune opzioni e caratteristiche recenti della versione 3.3 del software possono non essere supporate. Si veda la sezione seguente per approfondimenti.

3.1. Utilizzo di mksquashfs

Il programma mksquashfs è lo strumento che serve a creare nuovi file system compressi e ad accodare nuovi dati a quelli esistenti. Il formato generale della riga di comando per mksquashfs è:

	bash# mksquashfs sorgente1 sorgente2 ... destinazione [opzioni]

• sorgente1, sorgente2, ecc.: file o directory da aggiungere al file system risultante, indicati con percorsi assoluti o relativi.

• destinazione: un file regolare (file-immagine di un filesystem ) o un dispositivo a blocchi (come /dev/fd0 o /dev/hda3) dove si voglia creare un file system SquashFS.

Note sul comportamento predefinito di mksquashfs:

• Quando nuovi file sono aggiunti ad un nuovo file system o accodati ad un file system esistente, mksquashfs rinomina automaticamente i file che hanno lo stesso nome: se due o più file con nome text compaiono nella stessa directory finale, il secondo file verrà rinominato text_1, il terzo text_2 e così via.

• I file duplicati vengono rimossi, così da avere una sola istanza fisica. (Dalla versione SquashFS 2.x, è possibile disabilitare l'individuazione/rimozione dei file duplicati con l'opzione -no-duplicates ).

• Se la destinazione è un file system SquashFS pre-esistente, per default, i nuovi elementi sorgente vengono accodati alla directory root esistente. Consultare la tabella delle opzioni che segue per richiedere a mksquashfs di sovrascrivere interamente la destinazione o cambiare la modalità in cui elementi nuovi vengono aggiunti.

• Se viene indicata una singola directory o file sorgente, essa diviene la root del nuovo file system creato. Se vengono indicati due o più file o directory, essi divengono sotto-directory della root del nuovo file system.

• Il file system risultante viene arrotondato per eccesso ad un valore multiplo di 4 Kb: ciò è richiesto per file system da utilizzare su dispositivi a blocchi. Nel caso si sia certi di non averne bisogno, usare l'opzione -nopad per disabilitare l'operazione.

Si veda la prossima sezione maggiori dettagli su tutte le opzioni possibili.

3.2. Opzioni per la riga di comando

Tutte le opzioni possibili di mksquashfs sono mostrate nella tabella sotto.

Nella maggior parte dei casi, le opzioni predefinite per compressione e blocchi, permettono a mksquashfs di ottenere il miglior rapporto di compressione possibile.

3.3. Utilizzo di unsquashfs

Il programma unsquashfs è lo strumento che serve ad estrarre dati dal file system compresso. Il forma generale della riga di comando per unsquashfs è:

unsquashfs [opzioni] target [file/directory da estrarre]

• target è il file system compresso da estrarre.

Note per il comportamento di unsquashfs:

• Non specificando alcun percorso di destinazione, unsquashfs estrae il file system compresso nella directory ./squashfs-root .

• Lo strumento non estrae un file system compresso su una directory già esistente a meno che non venga specificata l'opzione -f.

• Si può specificare sulla riga di comando, un numero a piacere di file o directory da estrarre e gli oggetti da estrarre possono essere anche indicati in file con l'opzione -e [file].

Le possibili opzioni per unsquashfs sono mostrate nella tabella sotto.

Nota che a partire dal rilascio 3.x è possibile estrarre anche file system creati con la versione 1.x o 2.x di mksquashfs.

4.1. Passi base

Per creare un file system compresso a partire da una singola directory (si assuma, /some/dir), e scriverlo su un file regolare (producendo così un file-immagine del file system), basta dire una sola frase magica:

	bash# mksquashfs /some/dir dir.sqsh

Il programma mksquashfs eseguirà  la compressione, stamperà il numero di inode, le dimensioni dei dati scritti e il rapporto di compressione medio. Ora, si avrà la directory /some/dir sul file-immagine dir.sqsh, e si potrà quindi usare il comando mount per montarlo utilizzando un dispositivo di loopback:

	bash# mkdir /mnt/dir
	bash# mount dir.sqsh /mnt/dir -t squashfs -o loop

Per verificare che si abbia quanto atteso:

	bash# ls /mnt/dir

Se si vuole scrivere il file system direttamente su un dispositivo (ad esempio il proprio floppy su /dev/fd0):

	bash# mksquashfs /some/dir /dev/fd0

Eseguire poi il mount del dispositivo:

	bash# mount /dev/fd0 /mnt/floppy -t squashfs

Quindi verificare se tutto è andato a buon fine:

	bash# ls /mnt/floppy

4.2. Compressione dei file system

Le operazioni qui descritte corrispondono alla maggior parte dei casi di utilizzo di un file system compresso in sola lettura, sia che si voglia utilizzarlo su un dispositivo a blocchi che su un file. Potrebbe trattarsi di qualsiasi cosa, da grandi archivi di server FTP/HTTP, il cui contenuto non viene modificato spesso, all'utilizzo di una partizione /usr compressa o altre cose simili.

	bash# mksquashfs /var/arch /var/arch.sqsh
	bash# mkdir /mnt/tmp
	bash# mount /var/arch.sqsh /mnt/tmp -t squashfs -o loop
	bash# ls /mnt/tmp

	/var/arch.sqsh	/var/arch	squashfs	ro,defaults	0 0

	bash# umount /mnt/tmp
	bash# mount /var/arch

	bash# ls /var/arch

	/dev/hda7	/var/arch	reiserfs	defaults	0 0

	bash# mksquashfs /var/arch /var/arch.sqsh
	bash# mkdir /mnt/tmp
	bash# mount /var/arch.sqsh /mnt/tmp -t squashfs -o loop
	bash# ls /mnt/tmp

	bash# umount /dev/hda7
	bash# dd if=/var/arch.sqsh of=/dev/hda6

	/dev/hda6	/var/arch	squashfs	ro,defaults	0 0

	bash# mount /var/arch
	bash# ls /var/arch

	bash# rm /var/arch.sqsh

4.3. Creazione di sistemi mininimali/integrati

Per sistemi "minimali/integrati", si vuole intendere sistemi Linux fatti per essere avviati da floppy disk, flash disk IDE/USB, CD-ROM iso9660, hard drive di piccole dimensioni e simili. Sia che si voglia il proprio file system di root interamente su un singolo media (una singola partizione, o un singolo floppy), oppure un sistema modulare (diversi floppy o partizioni), il procedimento è quasi lo stesso. La creazione di tali sistemi Linux è al di fuori della finalità di questo HOWTO - per questo esistono HOWTO e guide dedicati (come il Bootdisk HOWTO e Linux From Scratch - visita www.tldp.org per ottenere questi documenti).

	bash# cd /home/user
	bash# mksquashfs floppylinux root.sqsh -e usr
	bash# mksquashfs floppylinux/usr usr.sqsh

	bash# mount /mnt/floppy
	bash# cp root.sqsh /mnt/floppy/boot

	bash# dd if=usr.sqsh of=/dev/fd0

4.4. Rendere il file system scrivibile

Come accennato, un altro utilizzo interessante di SquashFS è insieme al file system Unionfs, che fornisce semantica copy-on-write per i file system in sola lettura, migliorando le possibilità . (Per Unionfs si veda http://www.filesystems.org/project-unionfs.html, il sito del progetto)

Per fare un esempio, si potrebbe voler comprimere la propria directory utente (home/user1), per creare una copia compressa dei propri file senza perdere la possibilità di eseguire cambiamenti o scrivere nuovi file.

Creare il file system compresso ro.fs e la directory rw.fs.

bash# mksquashfs /home/user1 ro.fs
bash# mkdir /home/rw.fs

Montare il file system compresso ro.fs utilizzando un dispositivo di loopback.

bash# mount -t squashfs ro.fs /mnt -o loop

Montare il file system Unionfs, che rende /mnt e /home/rw.fs apparentemente fusi sotto il punto di mount /home/user1

bash# cd /home
bash# mount -t unionfs -o dirs=rw.fs=rw:/mnt=ro unionfs user1

Come si vede, ora è possibile creare nuovi file in /home/user1.

bash# cd /home/user1
bash# touch file1
bash# ls

smontare il file system Unionfs e SquashFS ed elencare il contenuto delle directory /home/user1 e /home/rw.fs.

bash# cd ..
bash# umount /home/user1
bash# umount /mnt

bash# ls /home/user1
bash# ls /home/rw.fs 

Come si nota, il nuovo file1 è stato creato in /home/rw.fs che è il ramo scrivibile del file system unificato.

Quando si voglia aggiungere i nuovi file creati al file system SquashFS stabile e compresso, si potranno accodare a quello esistente.

bash# mksquashfs /home/rw.fs /home/ro.fs

Ora, per montare la directory utente compressa all'avvio del sistema, si può fare come segue:

Far caricare i moduli del kernel squashfs e unionfs all'avvio.

bash# echo squashfs >> /etc/modules
bash# echo unionfs >> /etc/modules

Cambiare il proprietario del ramo scrivibile, in modo che corrisponda all'utente.

chown user1 /home/rw.fs

Aggiungere queste righe al file /etc/fstab per montare SquashFS and UnionFS all'avvio.

...
/home/ro.fs  /mnt squashfs loop 0 0
unionfs /home/user1 unionfs dirs=/home/rw.fs=rw:/mnt=ro 0 0