Архиваторы и 4ядра.

Ответить
Аватара пользователя
Vochatrak
Сообщения: 801
Зарегистрирован: 22 сен 2014, 01:21
Operating system: Rosa fresh R5

Архиваторы и 4ядра.

Сообщение Vochatrak »

Проблема состоит в следующем:
Любой архиватор - архивирует только одним ядром (из 4 имеющихся).
Естественно pgzip, pbzip2, pxz, и.т.д. установлены.
По совету одного "гентушника" пробовал удалять бинари gzip-а сотоварищи и заменять их симлинками с параллельных архиваторов.
RPMDrake-у это очень не понравилось... :evil:
Да и способ не помог.
Скажите пожалуйста - как заставить архиваторы использовать все 4 ядра?

P.S. При создании SqashFS все 4 ядра работают. Через ark - только одно.

Rosa R5 x64 KDE 3.18.x Q8300@3Ghz 6Gb DDR2@900 Geforce GTX650 2Gb
keleg
Сообщения: 4930
Зарегистрирован: 15 сен 2011, 01:58

Re: Архиваторы и 4ядра.

Сообщение keleg »

p7zip
Аватара пользователя
Vochatrak
Сообщения: 801
Зарегистрирован: 22 сен 2014, 01:21
Operating system: Rosa fresh R5

Re: Архиваторы и 4ядра.

Сообщение Vochatrak »

p7zip
Установлен, не помогает.
keleg
Сообщения: 4930
Зарегистрирован: 15 сен 2011, 01:58

Re: Архиваторы и 4ядра.

Сообщение keleg »

В смысле "не помогает"? Если использовать его из командной строки (7za a имяархива чтоархивировать), он задействует все ядра процессора (ну, по крайней мере об этом говорит и пытается)
Но нужно понимать, что параллелизация сильно зависит от алгоритма сжатия.
Очень многие алгоритмы не параллелятся принципиально и хоть на суперкомпьютере запускай - будет работать одно ядро (или два, как для 7z.).
Читайте подробнее на https://ru.wikipedia.org/wiki/7-Zip
Аватара пользователя
Vochatrak
Сообщения: 801
Зарегистрирован: 22 сен 2014, 01:21
Operating system: Rosa fresh R5

Re: Архиваторы и 4ядра.

Сообщение Vochatrak »

В смысле "не помогает"? Если использовать его из командной строки (7za a имяархива чтоархивировать), он задействует все ядра процессора
Да, если через консоль, то многопоточность есть. Если пользоваться ark-ом - нагружается только одно ядро. Не только 7zip, так же xz, bzip2, gzip, и.т.д...
Не один алгоритм не использует больше одного ядра.
Это собственно видно в системном мониторе (диаграмма загрузки процессора) и по удручающей скорости.
Аватара пользователя
Vochatrak
Сообщения: 801
Зарегистрирован: 22 сен 2014, 01:21
Operating system: Rosa fresh R5

Re: Архиваторы и 4ядра.

Сообщение Vochatrak »

Господа, неужели нет никакого способа помочь моему горю? :O:
Проверял на другом компьютере - ark использует только одно ядро, через консоль все нормально. Но пользоваться консольным архиватором крайне не хотелось бы... :(
Аватара пользователя
VictorR2007
Сообщения: 7739
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2023.1

Re: Архиваторы и 4ядра.

Сообщение VictorR2007 »

Попробовал упаковать каталог из контекстного меню.
Zip и rar с 7z сжимает на четырёх ядрах.
А остальные варианты, tar.gz, tar.xz, tar,bz2 на одном.
PastorDi
Сообщения: 2649
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург

Re: Архиваторы и 4ядра.

Сообщение PastorDi »

VictorR2007 писал(а):Попробовал упаковать каталог из контекстного меню.
Zip и rar с 7z сжимает на четырёх ядрах.
А остальные варианты, tar.gz, tar.xz, tar,bz2 на одном.
У меня на одном ядре только пакует так.
Аватара пользователя
VictorR2007
Сообщения: 7739
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2023.1

Re: Архиваторы и 4ядра.

Сообщение VictorR2007 »

PastorDi писал(а):У меня на одном ядре только пакует так.
Фик знает.
С одной стороны интересно и хочется помочь пользователю.
А с другой стороны, так мне нечего упаковывать в таких объёмах, что это было бы для меня проблемой.
Аватара пользователя
Vochatrak
Сообщения: 801
Зарегистрирован: 22 сен 2014, 01:21
Operating system: Rosa fresh R5

Re: Архиваторы и 4ядра.

Сообщение Vochatrak »

У меня и распаковка, и упаковка - идет только одним ядром. Без разницы какой формат архива использую.
А с другой стороны, так мне нечего упаковывать в таких объёмах, что это было бы для меня проблемой.
Везет, мне приходится распаковывать/упаковывать архивы по нескольку десятков гигабайт.

Может это глюк ark-а? Попробуйте, у кого есть Роса Гном - файл роллер ведет себя так же?
PastorDi
Сообщения: 2649
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург

Re: Архиваторы и 4ядра.

Сообщение PastorDi »

Vochatrak писал(а):У меня и распаковка, и упаковка - идет только одним ядром. Без разницы какой формат архива использую.
А с другой стороны, так мне нечего упаковывать в таких объёмах, что это было бы для меня проблемой.
Везет, мне приходится распаковывать/упаковывать архивы по нескольку десятков гигабайт.

Может это глюк ark-а? Попробуйте, у кого есть Роса Гном - файл роллер ведет себя так же?
Попробовал file-roller в KDE. Тоже самое, один процессор использует.
Аватара пользователя
VictorR2007
Сообщения: 7739
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2023.1

Re: Архиваторы и 4ядра.

Сообщение VictorR2007 »

Проверил на krusader.
Все форматы сжимает на четырёх ядрах.
Правда, при упакрвке в tar.xz на одно ядро идет загрузка 100%, он периодически происходит смена загруженного ядра.
PastorDi
Сообщения: 2649
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург

Re: Архиваторы и 4ядра.

Сообщение PastorDi »

Попробовал в Krusader. Архивы и arj и zip и 7zip - бесполезно. Всегда одно ядро 100% (меняется) остальные ядра 5-10% заняты. Т.е. всего на ОДНО ядро идет загрузка.
Это надо ковырять Ark и другие архиваторы, которые бы через pgzip, pbzip2, pxz давали им параметры упаковки в 4 потока. Но где в Ark настройки для каждого архиватора, я фиг знает, все перерыл, не нашел.
Аватара пользователя
VictorR2007
Сообщения: 7739
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2023.1

Re: Архиваторы и 4ядра.

Сообщение VictorR2007 »

PastorDi писал(а):Попробовал в Krusader. Архивы и arj и zip и 7zip - бесполезно. Всегда одно ядро 100% (меняется) остальные ядра 5-10% заняты. Т.е. всего на ОДНО ядро идет загрузка.
Это надо ковырять Ark и другие архиваторы, которые бы через pgzip, pbzip2, pxz давали им параметры упаковки в 4 потока. Но где в Ark настройки для каждого архиватора, я фиг знает, все перерыл, не нашел.
Может от железа зависит?
Слишком разные варианты при тесте.
PastorDi
Сообщения: 2649
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург

Re: Архиваторы и 4ядра.

Сообщение PastorDi »

VictorR2007 писал(а): Может от железа зависит?
Слишком разные варианты при тесте.
Нет. Если в консоли архиваторы в 4 потока работают, а в Гуи нет, значит проблема с Гуи прогами. А не с железкой.
А можете скринкаст записать, как у вас 4 потока работают в htop при упаковке архивов?
Аватара пользователя
VictorR2007
Сообщения: 7739
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2023.1

Re: Архиваторы и 4ядра.

Сообщение VictorR2007 »

PastorDi писал(а):
VictorR2007 писал(а): Может от железа зависит?
Слишком разные варианты при тесте.
Нет. Если в консоли архиваторы в 4 потока работают, а в Гуи нет, значит проблема с Гуи прогами. А не с железкой.
А можете скринкаст записать, как у вас 4 потока работают в htop при упаковке архивов?
:D
Аватара пользователя
VictorR2007
Сообщения: 7739
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2023.1

Re: Архиваторы и 4ядра.

Сообщение VictorR2007 »

PastorDi писал(а):А можете скринкаст записать, как у вас 4 потока работают в htop при упаковке архивов?
При запуске, секунд десять идет на одном ядре (видно в начале шкалы), потом переходит на четыре.
Вложения
zip.jpeg
zip1.jpeg
Аватара пользователя
VictorR2007
Сообщения: 7739
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2023.1

Re: Архиваторы и 4ядра.

Сообщение VictorR2007 »

Это при сжатии в zip.
Вложения
zip2.jpeg
PastorDi
Сообщения: 2649
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург

Re: Архиваторы и 4ядра.

Сообщение PastorDi »

Хааа! :D
Прикольно!! 8) У меня почему-то, если я пакую архив НА ntfs раздел - работает 4 потока. Если я пакую архив НА ext4 раздел - 1 поток.
Вложения
ss6.png
ss8.png
PastorDi
Сообщения: 2649
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург

Re: Архиваторы и 4ядра.

Сообщение PastorDi »

Ну вот немного перехитрил Krusader и использовал pbzip2. :)
Все 4 потока идут. :Yahoo!:
Надеюсь разберетесь сами как я сделал. На скринах все видно. Если устроит такое, конечно.
Вложения
ss13.png
ss11.png
ss12.png
Аватара пользователя
Vochatrak
Сообщения: 801
Зарегистрирован: 22 сен 2014, 01:21
Operating system: Rosa fresh R5

Re: Архиваторы и 4ядра.

Сообщение Vochatrak »

Ну вот немного перехитрил Krusader и использовал pbzip2. 
Все 4 потока идут. 
Надеюсь разберетесь сами как я сделал. На скринах все видно. Если устроит такое, конечно.
Использовать файловый менеджер вместо архиватора? Мне бы, что-то менее радикальное. :wink:
notauser
Сообщения: 1246
Зарегистрирован: 06 май 2012, 21:00

Re: Архиваторы и 4ядра.

Сообщение notauser »

Изображение
Но на загрузку CPU можно не смотреть, главное время
сибиряк
Сообщения: 7
Зарегистрирован: 15 сен 2013, 17:25
Operating system: ROSA Fresh 2012

Re: Архиваторы и 4ядра.

Сообщение сибиряк »

может эта статья поможет: http://habrahabr.ru/company/xakep/blog/210480/
PastorDi
Сообщения: 2649
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург

Re: Архиваторы и 4ядра.

Сообщение PastorDi »

сибиряк писал(а):может эта статья поможет: http://habrahabr.ru/company/xakep/blog/210480/
Дык человек же напсиал, что пробовал. Но все это для КОНСОЛИ. Ему нужно в графике все это. В консоли и так все рапараллеливается.
Аватара пользователя
Vochatrak
Сообщения: 801
Зарегистрирован: 22 сен 2014, 01:21
Operating system: Rosa fresh R5

Re: Архиваторы и 4ядра.

Сообщение Vochatrak »

Хм... Я тут попробовал удалить бинарник gzip-а, и ark все равно распаковал (одним ядром и никак иначе) архив tar.gz.
Походу ark использует что-то другое, но что?
Аватара пользователя
Vochatrak
Сообщения: 801
Зарегистрирован: 22 сен 2014, 01:21
Operating system: Rosa fresh R5

Re: Архиваторы и 4ядра.

Сообщение Vochatrak »

Видимо придется прибегнуть к радикальным методам. :evil:
Не подскажете - как во всей системе подменить gzip на pgzip (и.т.д.)?
PastorDi
Сообщения: 2649
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург

Re: Архиваторы и 4ядра.

Сообщение PastorDi »

Vochatrak писал(а):Видимо придется прибегнуть к радикальным методам. :evil:
Не подскажете - как во всей системе подменить gzip на pgzip (и.т.д.)?
:)
1. Удалить gzip, сделать в /usr/bin ссылку gzip -> /usr/bin/pgzip и в /bin сделать gzip -> /bin/pgzip
или
2. Удалить gzip, переименовать в /usr/bin/pgzip на gzip и так же переименовать /bin/pgzip в gzip
жестокий метод, но тоже должен работать.
Аватара пользователя
Vochatrak
Сообщения: 801
Зарегистрирован: 22 сен 2014, 01:21
Operating system: Rosa fresh R5

Re: Архиваторы и 4ядра.

Сообщение Vochatrak »

Сделал. :evil:
Теперь еще страньше.
При распаковке - загружены 2-3-4 (когда-как) ядра, вроде вот оно, работает.
Только вот что меня смущает:
Нагрузка на графике есть, а в списке процессов ничего "жрущего процессор" нет.
Коньки показывают нагрузку около 30%
Время распаковки не уменьшилось. :cry:

Правда распаковывал (когда перетаскиваешь архив, вылазит менюшка "копировать-переместить-распаковать" вот через нее) и с ntfs раздела, но не могло же это повлиять?
Ответить

Вернуться в «Обсуждение ROSA Fresh R4 - R8 (платформа 2014.1)»