[решено] Вопросы по репозиториям

[Галахов Роман]

Решил, себе, сделать локальную копию репозиториев Marathon. Постепенно закачиваю.
Но, глядя на репизиторий (структуру FTP хранилища), возникают вопросы:
1) Что такое i386 - это от intel 80386, тоесть по производительности ниже i586? Или что-то другое?
2) Зачем одинаковые репозитории находятся и в основной папке и в media?
3) Зачем в i586 и в х64-86 в контрибе repository/ххх/contrib/ 2-е,практически одинаковых, папки update и updates, хотя в других репах (main и т.д.) только updates?

[d_uragan]

1 - это рудимент; iirc, эти папки пусты. 3 - это тоже издержки производства, смотрите только на updates:)

2 - это, видимо, просто ссылки.

[Галахов Роман]

1 - это рудимент; iirc, эти папки пусты. 3 - это тоже издержки производства, смотрите только на updates:)

2 - это, видимо, просто ссылки.

По п. 2, 3- Программе закачки не объяснишь, что это ссылки, она качает все, Если, только, вручную, указывать каждую нужную папку. А, когда трафик лимитирован, как у меня, это, при такой структуре становится необходимостью (вручную, указывать каждую нужную папку).
Как вы думаете, если отправить эти вопросы на Helpdesk, смогут они навести порядок в структуре репозиториев (марафон) или это настраивается, где-то на этапе альфы и в дальнейшем изменению неподлежит?

[Галахов Роман]

Заявка на Helpdesk №3216.

[Галахов Роман]

Запрос по структуре зеркал от Helpdesk http://bugs.rosalinux.ru/show_bug.cgi?id=778

[d_uragan]

По п. 2, 3- Программе закачки не объяснишь, что это ссылки, она качает все, Если, только, вручную, указывать каждую нужную папку. А, когда трафик лимитирован, как у меня, это, при такой структуре становится необходимостью (вручную, указывать каждую нужную папку).

А это смотря какую программу использовать. Можно качать через rsync, он ссылки понимает:

Код: Выделить всё

rsync -avH --partial --delete-after --delay-updates --exclude '.*'  rsync://mirror.rosalinux.com/rosa/rosa2012.1/repository/i586/ /куда-складывать

[VictorR2007]

Был скрипт для синхронизации используя rsync. Переделал для Росы. Что-бы не парились сделал разные для архитектур и релизов.
После запуска скрипта он создаст в домашнем каталоге папку mirror.
Периодически запуская скрипт можно поддерживать локальные репозитории в актуальном состоянии.

[Галахов Роман]

Был скрипт для синхронизации используя rsync. Переделал для Росы. Что-бы не парились сделал разные для архитектур и релизов.
После запуска скрипта он создаст в домашнем каталоге папку mirror.
Периодически запуская скрипт можно поддерживать локальные репозитории в актуальном состоянии.

Подскажи, пожалуйста:
1) Скрипт синхронизирует всю папку "rosa2012lts/repository/x86_64/" или работает, только, по определенным папкам? Это важно, так как в репозиториях идут задвоения (смотри тему), а у меня лимитный интернет. Иначе я бы по папкам, вручную, неработал бы, да и Тотал, пока, справляется (запускаю по отдельным папкам, чтобы не качал лишнее) с синхронизацией, только постоянно запрашивает, несуществующий пароль анонимуса.
2) Как переделать скрипт, чтобы он работал не в домашней папке а, на внешнем диске: "media\Elements"

P.S. Плохо, что у скрипта нет графической оболочки, например, наподобие синхронизатора Тотал Коммандер, с ней было бы, для пользователей, намного удобней.

[VictorR2007]

Ничего лишнего не скачает, можно не переживать.
Только release и updates для main, contrib, non-free и restricted.
Можно все делать одним любым скриптом для всех вариантов, меняя команду запуска.
Но для облегчения использования сделал варианты по умолчанию для разных версий.
Вообще можно запустить скрипт с ключем --help, там будут подсказки. В основном все верно.
Если действительно это нужно и в таком виде неудобно, могу еще переправить.
Там просто есть лишние функции, но они просто не будут работать при попытке запуска с этим ключем.
Helpё`ом удобно пользоваться. Если нужно, я здесь добавлю все нужные вараинты синхронизации, если не все нонятно в help.

[VictorR2007]

P.S. Плохо, что у скрипта нет графической оболочки, например, наподобие синхронизатора Тотал Коммандер, с ней было бы, для пользователей, намного удобней.

Удобнее бы не было. Привязал на кнопку меню и забыл он нем.
Понадобилось, шелкнул и он сам все сделает.
А так есть Krusader, но он вроде при синхронизации кеширует файлы.
Если вам удобнее вид Тотал Коммандера, то в Роса доступен doublecmd,
правда на мой взгляд он менее функцианален. И не помню, допилен ли в нем поиск
по содержимому тексту в файлах.
Так же удобен grsync. В нем удобно создавать и сохранять разные варианты
для синхронизации, если много вариантов.
Удобен для синхронизации файлов между компами в сети.
Только в нем при синхронизации нужно смотреть пути по внимательнее,
а то вместо синхронизации он может создать ещё один вложенный каталог
внутри синхнонизируемого. Если память не изменяет, входный путь должен
быть на один каталог короче.

[VictorR2007]

Вчера поленился, напишу сейчас как добавить кнопку в меню.
Жмем Alt+F2 и в появившемся krunner пишем kmenuedit и запускаем редактирование меню.
Выбираем удобную для себя категорию и в ней жмем кнопку с зеленым плюсом
и вводим нужное название и ОК.
Появится незаполненное поле с меню. Ставим иконку
и в поле команда вбиваем "sh имя скрипта", на скрине команда sh 2012.1_rosa_mirror_script_x86_64.sh
Теперь жмем кнопку "Дополнительно" и поле "Рабочая папка:" указываем путь к каталогу, в котором лежит скрипт.
Отмечаем чекбокс "Запускать в терминале" и жмем Сохранить.
Все, теперь можно пользоваться кнопкой синхронизации в SimpleWelcome.

[PastorDi]

Есть еще такая программка как devicesync в репах.
Работает. Но по сети не смог заставить ее работать, так же как с мобильником. Она тупо просто папки синхронизирует и все.
Ну может пригодится...

[PastorDi]

Можно еще поставить GUI для rsync.
Пакет наывается grsync

[PastorDi]

Можно еще поставить пакет ftpsync
Он правда тоже консольный, однако не использует rsync (бывает что rsync не поддерживается серваками)

Код: Выделить всё

[root@mindlife dima]# ftpsync --help

usage: /usr/bin/ftpsync [options] SOURCE DESTINATION

SOURCE      is a local  directory
DESTINATION is a remote directory or an ftp URI (see example).

--host       <string>  : Host to contact. Mandatory unless URI used.
--port       <int>     : Port to connect. Default is 21.
--user       <string>  : User to login.   Default is anonymous.
--password   <string>  : Password for the user. Dangerous, use --passfile
--passfile   <string>  : Password file for the user. contains the password.
--pattern    <string>  : Update only files that matches regex pattern.
                         default is '.*' 
                         It is a classical perl regular expression matching
                         the whole local file name. Ex1: '.*.html$'
                         to update only files ending with extention .html
                         Ex2: '^.*/[^/.][^/]+ 2006/04/19 04:12:52 gilles Exp $  
                         to avoid files starting with a dot "."
--excludelist <file>   : File contains a list of files or directory
                         to be excluded from transfert.
--hash                 : Print hash marks (#) on STDERR every 1024 bytes.
--force                : Force update.
--delete               : Delete files and directories on the remote host 
                         that have been  deleted from the source directory.
                         norecursive option is ignored when removing, 
                         so be careful.
--sizeonly             : Do not use the timestamp of files, only the size.
--norecursive          : Do not recurse (one directory depth).
--dry                  : Do nothing, just print what would be done.
--nostat               : Do not print stats at the end.
--debug                : Debug mode.
--debugftp             : ftp debug mode.
--version              : Print sotfware version.

Example: to copy recursively directory d1/ on remote ftp server ftp.foo.org:

/usr/bin/ftpsync --user bob --passfile /etc/secret \
         dir1 ftp://ftp.foo.org/pub/mystuff

Then, you will have /pub/mystuff/dir1/ on the remote server.

 $Id: ftpsync,v 1.80 2006/04/19 04:12:52 gilles Exp $ 
      ftpsync copyleft is the GNU General Public License.

[PastorDi]

Можно еще поставить пакет qtrsync чисто КДЕшная обертка для rsync

[PastorDi]

Можно еще попробовать поставить rpmsync
Правда консольная но синхронит репы и с функцией сжатия. Вообщем пробовать надо.
Что удобнее.

Код: Выделить всё

[root@mindlife dima]# rpmsync --help
/usr/bin/rpmsync (C) 2003 David Walser <luigiwalser@yahoo.com>
: rpmsync.pl 189535 2008-03-22 23:00:41Z fhimpe 0: svn+ssh://svn.mandriva.com/svn/packages/cooker/rpmsync/current/SOURCES/rpmsync.pl 0
- Script to rsync update an RPM repository mirror; most useful for
  frequently updated distributions, like Mandriva Cooker, RedHat Rawhide
  or security updates for a specific version of an RPM-based distribution
- Moves RPMs so you can rsync between package versions
- Supports mirroring directories and individual files

/usr/bin/rpmsync comes with ABSOLUTELY NO WARRANTY.  This is free software, and you
are welcome to redistribute it under certain conditions.  See the GNU
LGPL <http://www.gnu.org/licenses/lgpl.html> for details.

Usage:  /usr/bin/rpmsync [OPTIONS] [rsync://[HOST]/[SRC] [DEST]]
  or    /usr/bin/rpmsync [OPTIONS] --source=SRC [rsync://[HOST]/[PATH] [DEST]]

No command-line arguments are required, and defaults can be changed by editing
the variables that appear at the top of the script.

Script Options (default ones can be disabled by preceding long option with no
                 Ex: --nocompress)
 -z, --compress         Compress file data during transfer      (default)
 -H, --hard-links       preserve hard links
 -q, --quiet            Don't show rsync progress and stats
 -v, --verbose          Say what will be done before executing rsync   (default)
 -n, --dryrun           Show what will be done, w/out doing anything
 --loop                 loop through sources until fully synced

Rsync Options
 --bwlimit=KBps         Limit download bandwidth during rsync, KBytes per second
                                (If KBps argument is not given, e.g. --bwlimit,
                                 rate will be set to 4 KBps)
 --include-from=File    file include patterns for rsync listed in File
 --exclude-from=File    file exclude patterns for rsync listed in File
 -h, --help             show this help screen

Source option
 --source=SRC           Specify directory(s) or file(s) to download
                        Option may be called multiple times, or you can give
                        one call a comma seperated list of sources.
                        Do not put leading or trailing slashes on directories.
                        Files are downloaded from the rsync HOST given,
                        from the SRC location relative to the PATH given,
                        and saved under SRC relative to the local DEST.

[PastorDi]

Можно попробовать использовать пакет zsync, работает как rsync но по протоколу http. Т.е. на стороне сервера не требуется rsync сервис.
http://zsync.moria.org.uk/

[Галахов Роман]

Спасибо всем! Будет время попробую.

[PastorDi]

Вообщем завел баги в багзилле, по выкапонным программкам. В основном локлизация.
У Багзиллы опять касяк, опять мыло не приходит от нее. Поэтому сюда картинку, чтоб видели.

[ДроноваЮ]

wtf "выкапонным"...

У Багзиллы опять касяк, опять мыло не приходит от нее.

хм, у меня тоже второй день почти пусто, хотя обычно валом валит по несско десятков в день

[VictorR2007]

Удалил сообщение.

[Галахов Роман]

Подскажите, пожалуйста, ведутся ли какие-то работы по репозиториям? Попробовал синхронизировать программы показали ошибки.

[VictorR2007]

Просто у вас все не правильно.
Запустите скрипт и увидите что все работает.

[Галахов Роман]

Просто у вас все не правильно.
Запустите скрипт и увидите что все работает.

Завтра вечером проверю. Но смутило меня то, что total не захотел подключаться, хотя, раньше он подключался нормально.

[VictorR2007]

А разве тотал работает по http?

[PastorDi]

Просто у вас все не правильно.
Запустите скрипт и увидите что все работает.

Завтра вечером проверю. Но смутило меня то, что total не захотел подключаться, хотя, раньше он подключался нормально.

У вас Тотал подключается по ftp а ссылку вы ему даете на http. Это два разных протокола.

rsync - это протокол такой. Вы в прогах везде пишите (опять) http, а надо писать rsync://
Например:

Код: Выделить всё

rsync -avz rsync://mirror.rosalinux.com/rosa/rosa2012lts/repository/x86_64/media/main/release/ /home/PastorDi/

Тогда будет все рабоатть.

[Галахов Роман]

А разве тотал работает по http?

У вас Тотал подключается по ftp а ссылку вы ему даете на http. Это два разных протокола.

rsync - это протокол такой. Вы в прогах везде пишите (опять) http, а надо писать rsync://
Например:

Код: Выделить всё

rsync -avz rsync://<a class="linkification-ext" href="http://mirror.rosalinux.com/rosa/rosa2012lts/repository/x86_64/media/main/release/" title="Linkification: http://mirror.rosalinux.com/rosa/rosa2012lts/repository/x86_64/media/main/release/">mirror.rosalinux.com/rosa/rosa2012lts/repository/x86_64/media/main/release/</a> /home/PastorDi/

Тогда будет все рабоатть.

Раньше я копировал в тотал строчку адреса из браузера (см. скрин) и давал название - он ее подхватывал (видимо сам определял протокол). А, сейчас нет. Так как и другие программы дали ошибку (я думал, они тоже, автоматически определяют протокол) подумал на репозиторий.

Скрипты, возможно, хорошо, но, почему, неработают программы (см. скрины). Или я не те настройки делаю, или у них проблеммы, не только, с локализацией.
P.S Grsync, пока, не проверял, но думаю, с ним будет подобное

[VictorR2007]

Или я не те настройки делаю, или у них проблеммы, не только, с локализацией.

Да вроде вы вообще никаких настроек не делаете. На скринах во всяком случае ничего нет.
А grsync не отличается от вашего qtrsync, только есть русский.
Значит проблемы останутся.

[Галахов Роман]

Просто у вас все не правильно.
Запустите скрипт и увидите что все работает.

Переделал под себя:
Нужно было сделать репозитории на внешнем диске "main\Elements" - сделал ссылку на Elements в home.
Изменил в скрипте

Код: Выделить всё

DefaultRoot=${CFGRoot:-"$HOME/mirror"}

на

Код: Выделить всё

DefaultRoot=${CFGRoot:-"$HOME/Elements/mirror"}

Запустил скрипт, всё подтянулось.
После создания каталогов, я остановил процесс для переноса, ранее загруженных файлов, в созданный репозиторий. Но, почему-то, в contrib перенесся, только release, а updates нет - там ссылка куда-то (остальное, пока, не пробовал). Может скрипт делает всё последовательно: сначало отрабатывает contrib, потом main и т.д.? Буду постепенно разбираться.

[VictorR2007]

Может скрипт делает всё последовательно: сначало отрабатывает contrib, потом main и т.д.?

Естественно. Как и любая другая синхронизация. Все по алфавиту.
Если перенесете локальные файлы во вновь созданные каталоги и у них
не изменилась контрольная сумма, они не будут загружаться.
Когда разберетесь, все будет легко и просто.

[PastorDi]

Раньше я копировал в тотал строчку адреса из браузера (см. скрин) и давал название - он ее подхватывал (видимо сам определял протокол). А, сейчас нет. Так как и другие программы дали ошибку (я думал, они тоже, автоматически определяют протокол) подумал на репозиторий.

Скрипты, возможно, хорошо, но, почему, неработают программы (см. скрины). Или я не те настройки делаю, или у них проблеммы, не только, с локализацией.
P.S Grsync, пока, не проверял, но думаю, с ним будет подобное

[VictorR2007]

PastorDi, похоже Роман не внимательно читает длинные ответы.
Во всяком случае позавчера (вроде) вы все подробно подсказали.
И еще возникает сомнение что Роман понимает, как это работает.
По второму снимку, так похоже там просто делается попытка открыть
ссылку с помощья qtrsync. И естественно что номер не проходит.
Если программа и в графике, это ни сколько не снимает обязанности
вбивать данные как при использовании консоли.
Можно было бы расписать в теме разные варианты синхронизации
с пошаговыми действиями, но зачем. Проще прикрепить скрипт.
Не думаю что это многим нужно.

[VictorR2007]

Если у вас есть уже скачанный образ установичного диска и он битый или вы просто
хотите его проверить, можно сделать так.
С её помощью можно просто скачать образ.
Я привел команду для альфы и для примера свои локальные пути.
Как изменить команду для других образов в будущем или свои локальные пути, думаю разберетесь.

Код: Выделить всё

rsync -vPz rsync://mirror.rosalinux.com/rosa/rosa2012.1/iso/ROSA.2012.1.Alpha/ROSA.2012.1.Alpha.x86_64.iso /home/victor/Загрузки/ROSA.2012.1.Alpha.x86_64.iso

[Галахов Роман]

PastorDi, похоже Роман не внимательно читает длинные ответы.
Во всяком случае позавчера (вроде) вы все подробно подсказали.
И еще возникает сомнение что Роман понимает, как это работает.
По второму снимку, так похоже там просто делается попытка открыть
ссылку с помощья qtrsync. И естественно что номер не проходит.
Если программа и в графике, это ни сколько не снимает обязанности
вбивать данные как при использовании консоли.
Можно было бы расписать в теме разные варианты синхронизации
с пошаговыми действиями, но зачем. Проще прикрепить скрипт.
Не думаю что это многим нужно.

Вы правы, раньше, я недопонимал принцип работы, тогда вы показали использование rsync в скрипте. Я подумал, что в скрипте нужно, а программа сама должна определять протокол.
Сегодня сделал синхронизацию 64-86х через скрипт, еще раз прочитал его + это ваше замечание, дошло, что нужно и в программах вписывать rsync вместо http.
Сейчас проверил QtRsync - все работает.
P.S. Еще, эта запарка на работе (даже сегодя пришлось выйти) - сложно сразу везде успеть вникнуть в суть.
Спасибо, что помогли разобраться.
И еще: про изменение HTTP/FTP на rsync, думаю нужно отразить в описании программ, так как не только у меня может возникнуть подобный вопрос - переходящим с windows легче общаться с программой в графике, чем пытаться понять и настроить под себя скрипт (не укаждого home такой большой, чтобы вместить зеркало репозитория, обычно большие объемы сразу отсылают на другой раздел или внешний диск).

[VictorR2007]

И еще: про изменение HTTP/FTP на rsync, думаю нужно отразить в описании программ, так как не только у меня может возникнуть подобный вопрос - переходящим с windows легче общаться с программой в графике, чем пытаться понять и настроить под себя скрипт (не укаждого home такой большой, чтобы вместить зеркало репозитория, обычно большие объемы сразу отсылают на другой раздел или внешний диск).

Да это просто вы не сразу разобрались с протоколами. Я специально не стал давать явные подсказки
и как итог, вы во многом разобрались и получили дополнительные знания. Извините за вредность.
А для внешних дисков можно сделать симлинк
ln -s /путь-от_корня к исходному каталогу /путь к каталогу на внешнем диске.
Ну и при использовании тотал или krusader просто используйте эти ссылки
ftp://mirror.yandex.ru/rosa/
ftp://mirror.rosalinux.com/rosa/

[Галахов Роман]

И еще: про изменение HTTP/FTP на rsync, думаю нужно отразить в описании программ, так как не только у меня может возникнуть подобный вопрос - переходящим с windows легче общаться с программой в графике, чем пытаться понять и настроить под себя скрипт (не укаждого home такой большой, чтобы вместить зеркало репозитория, обычно большие объемы сразу отсылают на другой раздел или внешний диск).

Да это просто вы не сразу разобрались с протоколами. Я специально не стал давать явные подсказки
и как итог, вы во многом разобрались и получили дополнительные знания. Извините за вредность.
А для внешних дисков можно сделать симлинк
ln -s /путь-от_корня к исходному каталогу /путь к каталогу на внешнем диске.
Ну и при использовании тотал или krusader просто используйте эти ссылки
<a class="linkification-ext" href="ftp://mirror.yandex.ru/rosa/" title="Linkification: ftp://mirror.yandex.ru/rosa/">ftp://mir ... u/rosa/</a>
<a class="linkification-ext" href="ftp://mirror.rosalinux.com/rosa/" title="Linkification: ftp://mirror.rosalinux.com/rosa/">ftp:/ ... m/rosa/</a>

Вы правильно делаете - лучше учиться на своих ошибках, так быстрее приходит понимание .
Про симлинк - думаю, что нужно давать скрипт и описание (readme) как с ним работать, и в нём отразить наиболее возможные варианты, в том числе с использованием симлинка.

[VictorR2007]

Ой, да вы немного усложняете. Это все интересно только вам, больше никто из заинтерисованных в глаза не бросается.
И нафига кому-то тратить пол жизни вбивая в скрипт все возможные варианты.
Фигня какая-то. Давайте не усложняйте и не выдумывайте.
А по конкретным проблемам постараюсь ответить подробно, если конечно они возникнут.

[Галахов Роман]

Запрос на Helpdesk (№3295) по ошибкам в отражении названия локальных репозиториев на Русском языке.

[Галахов Роман]

Запрос на Helpdesk (№3295) по ошибкам в отражении названия локальных репозиториев на Русском языке.

Ответили по запросу, что там можно использовать, только, латинский алфавит. Получается, что, как минимум, эта часть дистрибутива, локализации/русификации неподлежит.

[ans]

Запрос на Helpdesk (№3295) по ошибкам в отражении названия локальных репозиториев на Русском языке.

Ответили по запросу, что там можно использовать, только, латинский алфавит. Получается, что, как минимум, эта часть дистрибутива, локализации/русификации неподлежит.

Ага, в глобальном инете кириллические домены работают, а в отражении названия локальных репозиториев проблема...

[ДроноваЮ]

Думаю, проблема не в русском языке. А в том, что от drak-утилит постепенно отказываются и допиливать их никто не хочет.

Тут дело не в хотелке, а в том, что это морально устаревший, неуклюжий код. Разработчики делают ставку на современные решения и на будущее дистрибутива.

[akdengi]

Всем кто хочет конфиги на русском - 1С в подарок...

Речь именно о том, что в конфигах использовать русский проблематично и называть метки по русски - ну тогда только графика, забудьте об сетевой части, консоли, доступе по ssh и т.п.
Метки репозиториев - это метки конфигов для кучи системных файлов. Ради интереса попробуйте что нибудь не по аглицки назвать в конфигах CUPS, Samba, shorewall.

С точки зрения usercase обычного пользователя ему это не надо - он подключил, максимум галочки поставил. А продвинутый и по аглицки напишет. Задача не стоит решения из-за пары человек, которым "вот так хочется на исконно-посконном".

P.S. И кто пользуется кириллическими доменами? Маразм еще тот.
P.P.S. Кто все таки считает, что проблема может быть решена - на ABF найдите проекты import/urpmi и soft/drakx и попробуйте сделать. Если не вы, то кот...

[VictorR2007]