Comments on: Заговор от битых кластеров (добавляем информацию для восстановления архивов с помощью par2) http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/ Тамада. Программист. Услуги. Fri, 16 Sep 2011 20:32:02 +0000 hourly 1 http://wordpress.org/?v=3.3.1 By: AndreiF http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-31589 AndreiF Tue, 28 Sep 2010 23:56:16 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-31589 Испытал с помощью hexedit - хаотично прописывал блоки нулей во все 3 файла. Когда брал маленький исходный файл - всё было нормально. Взял большое видео (887Мб), сделал par2 c -m100 -n1 -r10 -b10000 видео Потом потрудился hexedit-ом, запустил par2 v - говорит, всё нормально, из 10000 9997 нормальные, могу восстановить. par2 c - восстанавливает, проверяет - говорит, обшибся, 9996 нормальных куска только у меня получилось... Хотя при проигрывании вроде ошибки исправились. Проверять контрольную сумму я не стал - очевидно, что она не совпадёт. Что интересно - пробовал запускать циклично - ещё раз применять к файлу результатов - в одном из проходов 9999 целых кусков нашла. Но в следущем снова 9996. Похоже, пора сдавать баг разработчику. Испытал с помощью hexedit – хаотично прописывал блоки нулей во все 3 файла. Когда брал маленький исходный файл – всё было нормально. Взял большое видео (887Мб), сделал par2 c -m100 -n1 -r10 -b10000 видео

Потом потрудился hexedit-ом, запустил par2 v – говорит, всё нормально, из 10000 9997 нормальные, могу восстановить. par2 c – восстанавливает, проверяет – говорит, обшибся, 9996 нормальных куска только у меня получилось…

Хотя при проигрывании вроде ошибки исправились. Проверять контрольную сумму я не стал – очевидно, что она не совпадёт.

Что интересно – пробовал запускать циклично – ещё раз применять к файлу результатов – в одном из проходов 9999 целых кусков нашла. Но в следущем снова 9996.

Похоже, пора сдавать баг разработчику.

]]> By: nuclight http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-510 nuclight Wed, 16 Apr 2008 05:50:00 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-510 Программы типа isobuster могут читать диск и при (по крайней мере частичном) повреждении таблицы метаданных. Так что аргумент насчет пользы непрерывности остается в силе. Программы типа isobuster могут читать диск и при (по крайней мере частичном) повреждении таблицы метаданных. Так что аргумент насчет пользы непрерывности остается в силе.

]]> By: Alexey Sveshnikov http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-472 Alexey Sveshnikov Mon, 14 Apr 2008 14:05:53 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-472 согласен :) согласен :)

]]> By: arcman http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-471 arcman Mon, 14 Apr 2008 13:53:59 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-471 если метаданные повредятся диск может не восприниматься приводом, так что конкретные выводы можно сделать лишь досканально изучив доки... но в целом уже прикольно получается, если после таких дыр выживает, то это уже РЕЗУЛЬТАТ :) если метаданные повредятся диск может не восприниматься приводом, так что конкретные выводы можно сделать лишь досканально изучив доки…
но в целом уже прикольно получается, если после таких дыр выживает, то это уже РЕЗУЛЬТАТ :)

]]> By: Alexey Sveshnikov http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-470 Alexey Sveshnikov Mon, 14 Apr 2008 13:11:42 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-470 Пока кажется нечем. И все-таки, при наличии фрагментированных файлов возрастает роль метаданных диска. Повредили какую-нибудь системную таблицу и все, прощайте, файлики. А если писать файлы по порядку, как это делается сейчас, то всегда можно с помощью dd прочитать то, что читается и затем уже думать, что делать с недостающими частями. Так что это тоже палка о двух концах. Пока кажется нечем.

И все-таки, при наличии фрагментированных файлов возрастает роль метаданных диска. Повредили какую-нибудь системную таблицу и все, прощайте, файлики.
А если писать файлы по порядку, как это делается сейчас, то всегда можно с помощью dd прочитать то, что читается и затем уже думать, что делать с недостающими частями.

Так что это тоже палка о двух концах.

]]> By: arcman http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-469 arcman Mon, 14 Apr 2008 12:53:48 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-469 неее :) файлы фрагментировать не путём разрезания на части, а путём записи на диск в фрагментированном ввиде в перемешку с фрагментами pak2. Для обычного пользователя логическая структура диска окажется такой же - файл оригинал и pak2 - фрагментирование нужно на уровне ISO-9660 осуществлять (там в 3ем слое есть такая возможность). Вот только чем образ готовить :) неее :)
файлы фрагментировать не путём разрезания на части, а путём записи на диск в фрагментированном ввиде в перемешку с фрагментами pak2.
Для обычного пользователя логическая структура диска окажется такой же – файл оригинал и pak2 – фрагментирование нужно на уровне ISO-9660 осуществлять (там в 3ем слое есть такая возможность).
Вот только чем образ готовить :)

]]> By: Alexey Sveshnikov http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-467 Alexey Sveshnikov Mon, 14 Apr 2008 11:08:37 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-467 Да, наверное, это идеальный вариант. Можно даже изобразить что-нибудь такое с помощью split и tar, но это уже немного попахивает параноей :) Но.. цитирую: <blockquote>Так вроде даже удобнее - никакого доп. ПО не нужно если всё впорядке, ну а коль беда - ставишь par2 и пытаешься восстановить.</blockquote> Да, наверное, это идеальный вариант. Можно даже изобразить что-нибудь такое с помощью split и tar, но это уже немного попахивает параноей :)

Но.. цитирую:

Так вроде даже удобнее – никакого доп. ПО не нужно если всё впорядке, ну а коль беда – ставишь par2 и пытаешься восстановить.

]]> By: arcman http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-466 arcman Mon, 14 Apr 2008 10:29:55 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-466 > А par2-файлы могут быть физически расположенными в другом конце диска, и это уже совершенно другая степень защиты. Вот тут тогда ещё одна интересная фича может вылезти :) А что будет если "размазывать" данные par2 файла по диску, вперемежку с данными оригинала? Т.е. записывать фрагмент оригинала, потом случайный фрагмент восстановления, потом опять оригинал, и т.д. Это позволит уменьшить размер непрерывной области теряемой в случае повреждения и также уменьшит вероятность потери данных для восстановления :) > А par2-файлы могут быть физически расположенными в другом конце диска, и это уже совершенно другая степень защиты.

Вот тут тогда ещё одна интересная фича может вылезти :)
А что будет если “размазывать” данные par2 файла по диску, вперемежку с данными оригинала?
Т.е. записывать фрагмент оригинала, потом случайный фрагмент восстановления, потом опять оригинал, и т.д.
Это позволит уменьшить размер непрерывной области теряемой в случае повреждения и также уменьшит вероятность потери данных для восстановления :)

]]> By: Alexey Sveshnikov http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-463 Alexey Sveshnikov Mon, 14 Apr 2008 08:56:35 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-463 Про процент избыточности - мне кажется, что тут нужно ориентироваться только на минимальный размер блока данных. который можно потерять. Для диска - это потери от одной глубокой царапины, для винчестера - это два-три кластера ФС или сектора диска (в зависимости от того, что больше). Ну и умножить эту цифру на количество возможных повреждений. Избыточность на самом диске - это, имхо, совершенно другая история. На диске данные и информация для восстановления хранятся в пределах одного сектора. Секторов на диске - 300 тысяч, поэтому одной царапиной легко можно унчитожить десять секторов вместе с данными для восстановления. Так что это может спасти только от мельчайших царапин или микротрещин. А par2-файлы могут быть физически расположенными в другом конце диска, и это уже совершенно другая степень защиты. Про процент избыточности – мне кажется, что тут нужно ориентироваться только на минимальный размер блока данных. который можно потерять. Для диска – это потери от одной глубокой царапины, для винчестера – это два-три кластера ФС или сектора диска (в зависимости от того, что больше).
Ну и умножить эту цифру на количество возможных повреждений.

Избыточность на самом диске – это, имхо, совершенно другая история. На диске данные и информация для восстановления хранятся в пределах одного сектора. Секторов на диске – 300 тысяч, поэтому одной царапиной легко можно унчитожить десять секторов вместе с данными для восстановления. Так что это может спасти только от мельчайших царапин или микротрещин. А par2-файлы могут быть физически расположенными в другом конце диска, и это уже совершенно другая степень защиты.

]]> By: Alexey Sveshnikov http://alexey.sveshnikov.ru/blog/2008/04/10/broken-cd-parchive/comment-page-1/#comment-459 Alexey Sveshnikov Mon, 14 Apr 2008 08:36:03 +0000 http://alexey.sveshnikov.ru/blog/2008/04/10/%d0%b7%d0%b0%d0%b3%d0%be%d0%b2%d0%be%d1%80-%d0%be%d1%82-%d0%b1%d0%b8%d1%82%d1%8b%d1%85-%d0%ba%d0%bb%d0%b0%d1%81%d1%82%d0%b5%d1%80%d0%be%d0%b2-%d0%b4%d0%be%d0%b1%d0%b0%d0%b2%d0%bb%d1%8f%d0%b5%d0%bc/#comment-459 юникс-вей :) Только что проверил - если бьется par2-файл, то просто некоторые блоки данных для восстановления теряются (но не все). Таким образом, чтобы окончательно потерять какую-либо часть файла, нужно чтобы вместе с ней побился соответствующий блок данных в *.par2-файле (кстати, таких блоков там может быть несколько). Вобщем, в моих искуственных тестах (сверление дисков, sed) окончательно убить файл было сложно. юникс-вей :)

Только что проверил – если бьется par2-файл, то просто некоторые блоки данных для восстановления теряются (но не все). Таким образом, чтобы окончательно потерять какую-либо часть файла, нужно чтобы вместе с ней побился соответствующий блок данных в *.par2-файле (кстати, таких блоков там может быть несколько). Вобщем, в моих искуственных тестах (сверление дисков, sed) окончательно убить файл было сложно.

]]>