Страница 1 из 1

Архиваторы и 4ядра.

Добавлено: 07 мар 2015, 03:40
Vochatrak
Проблема состоит в следующем:
Любой архиватор - архивирует только одним ядром (из 4 имеющихся).
Естественно pgzip, pbzip2, pxz, и.т.д. установлены.
По совету одного "гентушника" пробовал удалять бинари gzip-а сотоварищи и заменять их симлинками с параллельных архиваторов.
RPMDrake-у это очень не понравилось... :evil:
Да и способ не помог.
Скажите пожалуйста - как заставить архиваторы использовать все 4 ядра?

P.S. При создании SqashFS все 4 ядра работают. Через ark - только одно.

Rosa R5 x64 KDE 3.18.x Q8300@3Ghz 6Gb DDR2@900 Geforce GTX650 2Gb

Re: Архиваторы и 4ядра.

Добавлено: 07 мар 2015, 03:51
keleg
p7zip

Re: Архиваторы и 4ядра.

Добавлено: 07 мар 2015, 21:53
Vochatrak
p7zip
Установлен, не помогает.

Re: Архиваторы и 4ядра.

Добавлено: 08 мар 2015, 16:24
keleg
В смысле "не помогает"? Если использовать его из командной строки (7za a имяархива чтоархивировать), он задействует все ядра процессора (ну, по крайней мере об этом говорит и пытается)
Но нужно понимать, что параллелизация сильно зависит от алгоритма сжатия.
Очень многие алгоритмы не параллелятся принципиально и хоть на суперкомпьютере запускай - будет работать одно ядро (или два, как для 7z.).
Читайте подробнее на https://ru.wikipedia.org/wiki/7-Zip

Re: Архиваторы и 4ядра.

Добавлено: 09 мар 2015, 00:33
Vochatrak
В смысле "не помогает"? Если использовать его из командной строки (7za a имяархива чтоархивировать), он задействует все ядра процессора
Да, если через консоль, то многопоточность есть. Если пользоваться ark-ом - нагружается только одно ядро. Не только 7zip, так же xz, bzip2, gzip, и.т.д...
Не один алгоритм не использует больше одного ядра.
Это собственно видно в системном мониторе (диаграмма загрузки процессора) и по удручающей скорости.

Re: Архиваторы и 4ядра.

Добавлено: 03 апр 2015, 05:27
Vochatrak
Господа, неужели нет никакого способа помочь моему горю? :O:
Проверял на другом компьютере - ark использует только одно ядро, через консоль все нормально. Но пользоваться консольным архиватором крайне не хотелось бы... :(

Re: Архиваторы и 4ядра.

Добавлено: 03 апр 2015, 14:10
VictorR2007
Попробовал упаковать каталог из контекстного меню.
Zip и rar с 7z сжимает на четырёх ядрах.
А остальные варианты, tar.gz, tar.xz, tar,bz2 на одном.

Re: Архиваторы и 4ядра.

Добавлено: 03 апр 2015, 17:32
PastorDi
VictorR2007 писал(а):Попробовал упаковать каталог из контекстного меню.
Zip и rar с 7z сжимает на четырёх ядрах.
А остальные варианты, tar.gz, tar.xz, tar,bz2 на одном.
У меня на одном ядре только пакует так.

Re: Архиваторы и 4ядра.

Добавлено: 03 апр 2015, 18:08
VictorR2007
PastorDi писал(а):У меня на одном ядре только пакует так.
Фик знает.
С одной стороны интересно и хочется помочь пользователю.
А с другой стороны, так мне нечего упаковывать в таких объёмах, что это было бы для меня проблемой.

Re: Архиваторы и 4ядра.

Добавлено: 03 апр 2015, 22:41
Vochatrak
У меня и распаковка, и упаковка - идет только одним ядром. Без разницы какой формат архива использую.
А с другой стороны, так мне нечего упаковывать в таких объёмах, что это было бы для меня проблемой.
Везет, мне приходится распаковывать/упаковывать архивы по нескольку десятков гигабайт.

Может это глюк ark-а? Попробуйте, у кого есть Роса Гном - файл роллер ведет себя так же?

Re: Архиваторы и 4ядра.

Добавлено: 03 апр 2015, 23:22
PastorDi
Vochatrak писал(а):У меня и распаковка, и упаковка - идет только одним ядром. Без разницы какой формат архива использую.
А с другой стороны, так мне нечего упаковывать в таких объёмах, что это было бы для меня проблемой.
Везет, мне приходится распаковывать/упаковывать архивы по нескольку десятков гигабайт.

Может это глюк ark-а? Попробуйте, у кого есть Роса Гном - файл роллер ведет себя так же?
Попробовал file-roller в KDE. Тоже самое, один процессор использует.

Re: Архиваторы и 4ядра.

Добавлено: 04 апр 2015, 08:41
VictorR2007
Проверил на krusader.
Все форматы сжимает на четырёх ядрах.
Правда, при упакрвке в tar.xz на одно ядро идет загрузка 100%, он периодически происходит смена загруженного ядра.

Re: Архиваторы и 4ядра.

Добавлено: 04 апр 2015, 18:16
PastorDi
Попробовал в Krusader. Архивы и arj и zip и 7zip - бесполезно. Всегда одно ядро 100% (меняется) остальные ядра 5-10% заняты. Т.е. всего на ОДНО ядро идет загрузка.
Это надо ковырять Ark и другие архиваторы, которые бы через pgzip, pbzip2, pxz давали им параметры упаковки в 4 потока. Но где в Ark настройки для каждого архиватора, я фиг знает, все перерыл, не нашел.

Re: Архиваторы и 4ядра.

Добавлено: 04 апр 2015, 18:19
VictorR2007
PastorDi писал(а):Попробовал в Krusader. Архивы и arj и zip и 7zip - бесполезно. Всегда одно ядро 100% (меняется) остальные ядра 5-10% заняты. Т.е. всего на ОДНО ядро идет загрузка.
Это надо ковырять Ark и другие архиваторы, которые бы через pgzip, pbzip2, pxz давали им параметры упаковки в 4 потока. Но где в Ark настройки для каждого архиватора, я фиг знает, все перерыл, не нашел.
Может от железа зависит?
Слишком разные варианты при тесте.

Re: Архиваторы и 4ядра.

Добавлено: 04 апр 2015, 18:26
PastorDi
VictorR2007 писал(а): Может от железа зависит?
Слишком разные варианты при тесте.
Нет. Если в консоли архиваторы в 4 потока работают, а в Гуи нет, значит проблема с Гуи прогами. А не с железкой.
А можете скринкаст записать, как у вас 4 потока работают в htop при упаковке архивов?

Re: Архиваторы и 4ядра.

Добавлено: 04 апр 2015, 18:29
VictorR2007
PastorDi писал(а):
VictorR2007 писал(а): Может от железа зависит?
Слишком разные варианты при тесте.
Нет. Если в консоли архиваторы в 4 потока работают, а в Гуи нет, значит проблема с Гуи прогами. А не с железкой.
А можете скринкаст записать, как у вас 4 потока работают в htop при упаковке архивов?
:D

Re: Архиваторы и 4ядра.

Добавлено: 04 апр 2015, 18:38
VictorR2007
PastorDi писал(а):А можете скринкаст записать, как у вас 4 потока работают в htop при упаковке архивов?
При запуске, секунд десять идет на одном ядре (видно в начале шкалы), потом переходит на четыре.

Re: Архиваторы и 4ядра.

Добавлено: 04 апр 2015, 18:42
VictorR2007
Это при сжатии в zip.

Re: Архиваторы и 4ядра.

Добавлено: 04 апр 2015, 23:30
PastorDi
Хааа! :D
Прикольно!! 8) У меня почему-то, если я пакую архив НА ntfs раздел - работает 4 потока. Если я пакую архив НА ext4 раздел - 1 поток.

Re: Архиваторы и 4ядра.

Добавлено: 05 апр 2015, 00:12
PastorDi
Ну вот немного перехитрил Krusader и использовал pbzip2. :)
Все 4 потока идут. :Yahoo!:
Надеюсь разберетесь сами как я сделал. На скринах все видно. Если устроит такое, конечно.

Re: Архиваторы и 4ядра.

Добавлено: 05 апр 2015, 00:19
Vochatrak
Ну вот немного перехитрил Krusader и использовал pbzip2. 
Все 4 потока идут. 
Надеюсь разберетесь сами как я сделал. На скринах все видно. Если устроит такое, конечно.
Использовать файловый менеджер вместо архиватора? Мне бы, что-то менее радикальное. :wink:

Re: Архиваторы и 4ядра.

Добавлено: 05 апр 2015, 15:47
notauser
Изображение
Но на загрузку CPU можно не смотреть, главное время

Re: Архиваторы и 4ядра.

Добавлено: 05 апр 2015, 17:13
сибиряк
может эта статья поможет: http://habrahabr.ru/company/xakep/blog/210480/

Re: Архиваторы и 4ядра.

Добавлено: 05 апр 2015, 18:30
PastorDi
сибиряк писал(а):может эта статья поможет: http://habrahabr.ru/company/xakep/blog/210480/
Дык человек же напсиал, что пробовал. Но все это для КОНСОЛИ. Ему нужно в графике все это. В консоли и так все рапараллеливается.

Re: Архиваторы и 4ядра.

Добавлено: 06 апр 2015, 02:14
Vochatrak
Хм... Я тут попробовал удалить бинарник gzip-а, и ark все равно распаковал (одним ядром и никак иначе) архив tar.gz.
Походу ark использует что-то другое, но что?

Re: Архиваторы и 4ядра.

Добавлено: 10 апр 2015, 23:42
Vochatrak
Видимо придется прибегнуть к радикальным методам. :evil:
Не подскажете - как во всей системе подменить gzip на pgzip (и.т.д.)?

Re: Архиваторы и 4ядра.

Добавлено: 11 апр 2015, 00:21
PastorDi
Vochatrak писал(а):Видимо придется прибегнуть к радикальным методам. :evil:
Не подскажете - как во всей системе подменить gzip на pgzip (и.т.д.)?
:)
1. Удалить gzip, сделать в /usr/bin ссылку gzip -> /usr/bin/pgzip и в /bin сделать gzip -> /bin/pgzip
или
2. Удалить gzip, переименовать в /usr/bin/pgzip на gzip и так же переименовать /bin/pgzip в gzip
жестокий метод, но тоже должен работать.

Re: Архиваторы и 4ядра.

Добавлено: 11 апр 2015, 01:28
Vochatrak
Сделал. :evil:
Теперь еще страньше.
При распаковке - загружены 2-3-4 (когда-как) ядра, вроде вот оно, работает.
Только вот что меня смущает:
Нагрузка на графике есть, а в списке процессов ничего "жрущего процессор" нет.
Коньки показывают нагрузку около 30%
Время распаковки не уменьшилось. :cry:

Правда распаковывал (когда перетаскиваешь архив, вылазит менюшка "копировать-переместить-распаковать" вот через нее) и с ntfs раздела, но не могло же это повлиять?