Image default
Софт

Разработана уникальная файловая система с рекордной степенью сжатия данных

Разработана уникальная файловая система с рекордной степенью сжатия данных

Файловая система-архиватор

Разработчик Маркус Холланд-Мориц (Marcus Holland-Moritz), также известный под никнеймом mhx, создал новую файловую систему (ФС) DwarFS. Она предназначена для максимального уровня сжатия файлов и позволяет записывать гигантские объемы данных на носители с небольшой емкостью.

Над DwarFS автор трудится, по его словам, с 2013 г. Спустя семь лет с момента старта проекта он опубликовал одну из первых публичных его версий. Дистрибутив распространяется по лицензии GPLv3 и доступен для свободного скачивания с принадлежащего Microsoft портала GitHub.

Как работает DwarFS

Файловая система DwarFS, по словам автора, работает исключительно в режиме «только для чтения» (Read Only), что не позволяет изменять имеющиеся или добавлять новые файлы в созданные с ее помощью образы. Ее код написан на C++, и она подходит, к примеру, для использования во встраиваемых (embedded) устройствах. В такой (ФС) может храниться основная часть операционной системы подобных устройств, не подлежащая изменению и за счет алгоритмов самой DwarFS занимающая минимум дискового пространства.

Процесс создания образа

Еще один пример использования, пишет портал OpenNet – это создание LiveCD-образа операционной системы для последующей записи на оптический диск, поддерживающий однократную запись – CD-R или DVD-R. DwarFS позволит разместить на таком диске больше информации – программ, документации и др.

У DwarFS есть два основных преимущества. В дополнение к высокой степени сжатия, система также обеспечивает высокую скорость доступа к ним. Согласно документации, опубликованной Холландом-Морицем, в своей файловой системе он использует библиотеки Folly и Boost, алгоритмы сжатия файлов ZSTD и LZMA вместе с LZ4 и библиотеку frozen для хранения метаданных.

Несмотря на то, что значительная часть кода ФС была написана еще семь лет назад, она умеет использовать возможности современных ПК. В частности, при создании образов задействуются все имеющиеся ядра процессора для снижения затрачиваемого на весь процесс времени.

fs601.jpg

Автор DwarFS, Маркус Холланд-Мориц

В дополнение к этому DwarFS позволяет быстро менять алгоритм сжатия на уже готовом образе. К примеру, если он был создан при помощи LZMA, то система может переупаковать его с использованием LZ4 или ZSTD.

Для работы с DwarFS потребуются две штатные программы. Первая, получившая название Mkdwarfs, используется непосредственно для создания образа, тогда как за его монтирование отвечает утилита Dwarfs.

Сравнение с конкурентами

Творение Маркуса Холланда-Морица – не единственное, способное экстремально сжимать файлы при создании readonly-образа. Аналогичные действия выполняют файловые системы SquashFS, CramFS и CromFS (Compressed ROM file system), но DwarFS имеет ряд преимуществ перед ними.

Репозиторий DwarFS на GitHub

Так, DwarFS и SquashFS, несмотря на то, что последняя существует еще с 2002 г., почти не отличаются по быстроте обращения к информации в образе, но вот само создание этого образа DwarFS осуществляет быстрее, показывая при этом еще более высокую степень сжатия. Например, итоговый размер образа для корневой файловой системы Raspberry Pi OS при использовании DwarFS был создан за 1 минуту 36 секунд и весил порядка 298 МБ, тогда как результат SquashFS – 364 МБ и 1 минута 54 секунды.

Еще один пример – «архивация» образа, в составе которого было почти 1140 установок языка Perl. DwarFS смогла сжать его с первоначальных 47 ГБ до 587 МБ, SquashFS – до 4,7 ГБ, притом последняя потратила на выполнение процесса почти в пять раз больше времени – около 70 минут против 15 минут у DwarFS.

Как выяснилось, это не пиковые результаты DwarFS – при смене алгоритма сжатия с ZSTD на LZMA объем образа уменьшился до 479 МБ, но при этом уменьшилась скорость доступа к нему. В сравнении с CromFS система Холланда-Морица тоже демонстрировала более высокие показатели стабильности работы и скорости подготовки архива.

2020-12-01 14:32:19

Источник

Related posts

Число активных пользователей сервиса «ВТБ мои инвестиции» удвоилось за месяц

super_user

Canon анонсировал обновление прошивки камеры PowerShot G7 X Mark III

super_user

Мегазакупка ПО Microsoft для «Росатома» сорвана. За 2,4 миллиардами не пришел никто

super_user

Leave a Comment