Журнал LinuxFormat - перейти на главную

LXF134:par2

Материал из Linuxformat
Версия от 11:20, 1 сентября 2011; Crazy Rebel (обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Подписка на печатную версию
Весь 2015 год (12 номеров)
Первое полугодие (6 номеров)
Второе полугодие (6 номеров)
Подписка на электронную версию
Весь 2015 год (12 номеров)
Первое полугодие (6 номеров)
Второе полугодие (6 номеров)
Подшивки старых номеров журнала (печатные версии)
Весь 2014 год (12 номеров)
Первое полугодие (6 номеров)
Второе полугодие (6 номеров)
par2 Ус­та­но­ви­те сте­пень по­вре­ж­де­ния – и вос­кре­шай­те дан­ные

Содержание

par2: Про­верь и по­чи­ни фай­лы

Бен Мар­тин рас­ска­жет, как с по­мо­щью par2 со­брать ма­лень­кую ар­мию вос­ста­но­ви­тель­ных фай­лов, ко­то­рая не даст про­пасть ва­шим дан­ным.

Мно­гим из­вест­но, что кон­троль­ные сум­мы CRC32, SHA-1 и MD5 по­зво­ля­ют с вы­со­кой сте­пе­нью ве­ро­ят­но­сти су­дить о со­хран­но­сти круп­ных фай­лов. С по­мо­щью par2 мож­но оп­ре­де­лить ко­ли­че­ство ко­да для кор­рек­ции оши­бок, а при необ­хо­ди­мо­сти пой­ти даль­ше и реаними­ро­вать слег­ка под­пор­чен­ные фай­лы. Кто зна­ет: мо­жет быть, ви­зит par2 на ста­рый флэш-на­ко­пи­тель или вто­рой DVD с ре­зерв­ной ко­пи­ей дис­сер­та­ции од­на­ж­ды спа­сёт ва­ши тру­ды за 10 лет!

Эле­гант­ность про­грам­мы в том, что мож­но за­ранее соз­дать для ар­хи­ва «де­ре­во» кор­рек­ти­рую­щих фай­лов, и в слу­чае пор­чи ар­хи­ва доста­точ­но бу­дет толь­ко за­гру­зить та­кое ко­ли­че­ство «ре­монт­ных» дан­ных, ко­то­рое со­от­вет­ству­ет уров­ню по­вре­ж­дения, что­бы ар­хив был по­чинен. То есть, ес­ли в 5‑ги­га­байт­ный Live-DVD за­те­са­лась па­роч­ка оши­бок, мож­но за­гру­зить все­го один, очень ма­лень­кий файл для восста­нов­ления ис­прав­ной вер­сии.

Су­ще­ству­ет три основ­ных ре­жи­ма ра­бо­ты par2: соз­дание, про­вер­ка и восста­нов­ление. Па­кет par2 на ма­шине Fedora Linux на­зы­ва­ет­ся par2cmdline и со­сто­ит из коман­ды par2 и трёх команд-псев­донимов: par2create, par2verify и par2repair. Вы­зов лю­бой коман­ды оформ­ля­ет­ся оди­на­ко­во, тут не за­пу­та­ешь­ся: par2create par2‑file file1 file2 и т. д., где file1 file2 и им по­доб­ные – име­на фай­лов для соз­дания, про­вер­ки или восста­нов­ления.

За де­ло...

Од­ной коман­дой par2create мож­но сгенери­ро­вать восста­но­ви­тель­ные фай­лы аж для 32 000 фай­лов. Про­грам­ма стро­ит пи­ра­ми­ду сво­их фай­лов, при­сваи­вая им име­на с пре­фик­сом par2‑file. Фай­лы в со­ста­ве пи­ра­ми­ды про­грес­сив­но уве­ли­чи­ва­ют­ся в объ­ё­ме. Ес­ли по­вре­ж­дение незна­чи­тель­но, то неболь­шо­го фай­ла ока­жет­ся доста­точ­но, что­бы спа­сти по­ло­жение. Ка­та­ст­ро­фи­че­скую по­те­рю дан­ных мо­жет за­ле­чить толь­ко круп­ный восста­но­ви­тель­ный файл.

Для де­мон­ст­ра­ции я взял файл Fedora-12‑x86_64 DVD.iso. Его объ­ём око­ло 3,3 ГБ, а кон­троль­ная сум­ма md5sum вы­гля­дит как 6dd31e292cc2eb1140544e9b1ba61c56. Тести­ро­вание вы­пол­ня­лось на ма­шине с про­цес­со­ром 2,4 ГГц Intel Q6600 и мас­си­вом RAID. Что­бы соз­дать MD5, по­на­до­би­лось 39 се­кунд, а par2 со стан­дарт­ны­ми па­ра­мет­ра­ми ра­бо­та­ла око­ло вось­ми ми­нут. Для соз­дания восста­но­ви­тель­ных фай­лов ISO-об­раза я ис­поль­зо­вал коман­ду par2create в сле­дую­щей фор­ме: 

par2create Fedora12Par2 Fedora-12-x86_64-DVD.iso

Основ­ной па­ра­метр команд­ной стро­ки, ин­те­ре­сую­щий нас при соз­дании фай­лов par2 – это -r. По умол­чанию вы­став­ля­ет­ся -r5, для соз­дания из­бы­точ­но­сти в 5 %. Этот па­ра­метр оп­ре­де­ля­ет раз­мер восста­но­ви­тель­ных фай­лов и ко­ли­че­ство оши­бок, ко­то­рые с их по­мо­щью мож­но ис­пра­вить.

Вре­мя, за­тра­чи­вае­мое на соз­дание фай­лов, за­ви­сит от ко­ли­че­ства генери­руе­мых дан­ных. На­при­мер, ес­ли вы хо­ти­те по­лу­чить из­бы­точ­ность 10 %, то вре­мени на это уй­дёт вдвое боль­ше, чем на фай­лы с 5 %‑й до­бав­кой.

Восста­но­ви­тель­ные фай­лы занима­ют ме­сто и тре­бу­ют вре­мени для генера­ции, по­это­му непло­хо бы вы­яснить оп­ти­маль­ный объ­ём из­бы­точ­но­сти. Весь­ма по­лез­ная функ­ция par2 – вы­ра­ба­ты­вать до­полнитель­ный код для восста­нов­ления, ко­то­рый мож­но ис­поль­зо­вать в со­че­тании с го­то­вы­ми фай­ла­ми par2.

На­при­мер, из­на­чаль­но вы сгенери­ро­ва­ли фай­лы par2 с из­бы­точ­но­стью 5 %, но вам со­об­щи­ли о 7 %‑м по­вре­ж­дении. В этом слу­чае с па­ра­мет­ром -r5 -fNNN мож­но сгенери­ро­вать 5 %‑ю до­бав­ку, на­чи­ная с бло­ка NNN. Блок NNN дол­жен быть сле­дую­щим за имею­щи­ми­ся бло­ка­ми. Что­бы най­ти NNN, най­ди­те наи­боль­ший файл par2 – ска­жем, F12.vol063+37.par2. В нем со­дер­жит­ся 37 бло­ков, на­чи­ная с бло­ка 63. То есть из­на­чаль­но бы­ло соз­да­но 100 бло­ков, и мож­но соз­дать до­полнитель­ный 5 %‑й код для вос-ста­нов­ления, на­чи­ная со сле­дую­ще­го бло­ка с па­ра­мет­ра­ми -r5 -f101 при за­пуске par2create.

Най­ти и по­чинить

Что­бы уз­нать, не из­менил­ся ли DVD-об­раз со вре­мени генера­ции фай­лов par2, скоман­дуй­те: 

par2verify Fedora12Par2.par2 Fedora-12-x86_64-DVD.iso

Ес­ли всё в по­ряд­ке, вы­ве­дет­ся стро­ка ‘All files are correct, repair is not required [Фай­лы в по­ряд­ке, ис­прав­лений не тре­бу­ет­ся]’. За­да­ча par2 – восста­нов­ление по­вре­ж­дён­ных файлов, по­это­му я наме­рен­но на­ру­шил часть ISO-об­раза и восста­но­вил ори­ги­нал. Для встав­ки пря­мо в файл слу­чай­но­го на­бо­ра бай­тов, с за­дан­ным сме­щением от на­ча­ла фай­ла, мож­но ис­поль­зо­вать коман­ду dd. А что­бы dd не об­ре­за­ла файл до ну­ля байт, необ­хо­ди­мо до­ба­вить клю­чи seek и conv=notrunc. Коман­ды bs (раз­мер бло­ка) и count уста­нав­ли­ва­ют на­чаль­ную по­зи­цию и объ­ём ко­пи­ро­вания. Сле­дую­щим на­бо­ром команд мы вве­дем 4 КБ слу­чай­ных дан­ных в ISO-об­раз, на­чи­ная со сме­щения 16 КБ от на­ча­ла фай­ла. 

dd \
if=/dev/urandom \
of=Fedora-12-x86_64-DVD.iso \
bs=1 count=4096 seek=16384 \
conv=notrunc

По­сле раз­ру­ше­ния 4 КБ дан­ных ко­ман­да par2verify долж­на со­об­щить о по­вре­ж­де­нии и ко­ли­че­ст­ве бло­ков, не­об­хо­ди­мом для его уст­ра­не­ния. 

par2repair Fedora12Par2.par2 Fedora-12-x86_64-DVD.iso
...
Repair is required.[Не­об­хо­ди­мо ис­прав­ле­ние]
1 file(s) exist but are damaged. [1 файл(ы) су­ще­ст­ву­ет, но по­вре­ж­ден]
You have 1999 out of 2000 data blocks available.[Вам дос­туп­но 1999 из 2000 бло­ков]
You have 100 recovery blocks available.[У вас есть 100 вос­ста­но­ви­тель­ных бло­ков]
Repair is possible.[Вос­ста­нов­ле­ние воз­мож­но]
You have an excess of 99 recovery blocks.[У вас 99 из­бы­точ­ных вос­ста­но­ви­тель­ных бло­ков]
1 recovery blocks will be used to repair.[1 вос­ста­но­ви­тель­ный блок бу­дет ис­поль­зо­ван для ис­прав­ле­ния]

Итак, для восста­нов­ления по­на­до­бит­ся все­го один блок.

Как мы уже зна­ем, наи­боль­ший восста­но­ви­тель­ный файл мо­жет иметь на­звание F12.vol063+37.par2; он со­дер­жит 37 бло­ков, на­чи­ная с 63‑го. Нет ну­ж­ды стар­то­вать все бло­ки с пер­во­го – в слу­чае ка­та­ст­ро­фи­че­ско­го по­вре­ж­дения, тре­бую­ще­го 30 бло­ков для восста­нов­ления, доста­точ­но за­гру­зить толь­ко этот, са­мый боль­шой файл F12.vol063+37.par2. Ес­ли уда­лось по крайней ме­ре вы­яснить ко­ли­че­ство восста­но­ви­тель­ных бло­ков, ис­пра­вить по­вре­ж­дение ско­рее все­го уда­ст­ся.

Коман­да на ис­прав­ление поч­ти не от­ли­ча­ет­ся от про­ве­роч­но­го ва­ри­ан­та: доста­точ­но вме­сто par2verify на­брать par2repair. Про­вер­ка дли­лась ми­ну­ту, а на восста­нов­ление по­на­до­би­лось око­ло че­ты­рёх ми­нут. По за­вер­шении ра­бо­ты вы об­на­ру­жи­те ста­рый файл, пе­ре­име­но­ван­ный в Fedora-12‑x86_64‑DVD.iso.1, и восста­нов­лен­ный Fedora-12‑x86_64‑DVD.iso. Это немно­го сби­ва­ет с тол­ку: ло­гич­но пред­по­ло­жить, что до­бав­ку «1» по­лу­чит но­вый, восста­нов­лен­ный файл. В ито­ге кон­троль­ная сум­ма MD5 спа­сён­но­го фай­ла со­от­вет­ству­ет ис­ход­ной, а это здо­ро­во.

Недаль­но­вид­но­му поль­зо­ва­те­лю par2, конеч­но, не по­мо­жет. Од­на­ко неболь­шие за­тра­ты сил и вре­мени на по­строй­ку пи­ра­ми­ды вос­ста­но­ви­тель­ных фай­лов мно­го­крат­но оку­пят­ся, ко­гда на­ста­нет час спа­сать свои тру­ды.

Ин­тер­нет-стра­те­гия

Вос­ста­нав­ли­вая файл, по­лу­чен­ный из Ин­тер­не­та, луч­ше на­чать с за­груз­ки фай­ла par2 и наи­мень­ше­го по объ­ё­му volXX.YY.par2. Ес­ли оши­бок не­мно­го, то par2repair тут же ис­пра­вит их; в про­тив­ном слу­чае вы уз­нае­те, сколь­ко до­пол­ни­тель­ных бло­ков не­об­хо­ди­мо для вос­ста­нов­ле­ния. Воо­ру­жив­шись этим зна­ни­ем, за­гру­жай­те столь­ко до­пол­ни­тель­ных фай­лов vol.par2, сколь­ко нуж­но для вос­ста­нов­ле­ния дан­ных.

Как по­вы­сить ско­рость

Ко­ли­че­ст­во ис­поль­зуе­мой па­мя­ти оп­ре­де­ля­ет­ся па­ра­мет­ром -m. Стан­дарт­ное зна­че­ние -m16 по­зво­ля­ет ис­поль­зо­вать толь­ко 16 МБ ОЗУ, что для со­вре­мен­ных ма­шин не­ак­ту­аль­но. На­при­мер, имея 8 ГБ ОЗУ, я ис­поль­зую зна­че­ние -m512, и вме­сто вось­ми ми­нут нуж­ное ко­ли­че­ст­во вос­ста­но­ви­тель­ных фай­лов ге­не­ри­ру­ет­ся за семь.

Источник — «http://wiki.linuxformat.ru/wiki/index.php?title=LXF134:par2&oldid=12530»
Персональные инструменты
купить
подписаться
Яндекс.Метрика