Записки о поддержке речевого ПО в РОСА

[Константин]

Я решил покопать всё что есть в РОСА для TTS (чтение текста) и распознавания речи и контроля компьютера
Раз Пульфер приближается к сборке Simon'а, ему некоторые сопутствующие заметки.

TTS

Espeak - Устаревшая версия. Не критично, но в новой есть некоторые подвижки в лучшую сторону. И! как всегда, поддержка руского там обычная, а автор рекомендует добавить расширенные правила http://espeak.sourceforge.net/data/ И хотелось бы Espeakedit в репозитории, иначе поддержкой русского так никто и не займётся.
Festival и festvox - поддержки русского не наблюдается в репозитории. И в добавок проблема с пульсом. Как всегда надо лезть глубоко в настройки.
Speech-dispatcher - Последняя версия, но у него как всегда проблема с festival - он не запускает его, а просто думает что сервер уже должен быть запущен. Больше претензий нет
Jovie - программа чтения в KDE - Полубесполезная вещь. Он не запускает speech-dispatcher, который не запускает festival, Глобальные настройки клавиш не настроены, чтец не установлен - всё неочевидно. Но это проблема Jovie.
ORCA - Как всегда, слишком много говорит Займусь копаниями позже.
Прочие русские TTS - в репозитории нет, но их надо перепробовать все (раньше было невозможно пользоваться)

Распознавание речи

Sphinx - в репозитории сфинкс2 и сфинкс3 - последние версии, но без русского и других языков.
Julius - отсутствует. Используется (уже не обязателен) в Simon listens
Simon listens - Пока ждём, но русских переводов вообще нет (и ещё пары, нужных мне). Пока собираю, посмотрю, займусь переводами, потом завалю Дронову своими кракозябрами

По мере накопления информации буду дополнять, но если у кого есть опыт и мысли, не молчите. Пишите.
Тема ОЧЕНЬ нужная, но кроме двух-трёх спец. дистрибутивов никто не занимается. Инвалиды люто негодуют

[AVB]

Вопрос затронут интересный и важный.

...

В общем, я двумя руками за "Горыныча" под линукс!
Ау, программисты! ... ... ... ... .. .. .. . . .

[ДроноваЮ]

AVB
При всём уважении, давайте в технических темах отписываться сухо и по делу. Это насчёт покупателей футбольных команд и прочее. Не надо этого всего тут.

[AVB]

AVB
При всём уважении, давайте в технических темах отписываться сухо и по делу. Это насчёт покупателей футбольных команд и прочее. Не надо этого всего тут.

Да без проблем , а то, я паче чаяния, решил, что раз "курилка" ...

[ДроноваЮ]

Да, ваша правда, переношу в "общие вопросы по РОСЕ", там гораздо уместнее.

[Константин]

Кто подтёр второе сообщение! я прочитать не успел
И я в курилке завёл именно потому, что хотел в дискуссии раскрутить когонить на участие
Так. Первые опыты с Симоном - повесил систему, из-за него systemd-journald съел весь процессор, я хотел посмотреть что он там пишет, но не хватило терпения ждать отзыва - перезагрузил комп

[VictorR2007]

Кто подтёр второе сообщение! я прочитать не успел

Вы что, с луны свалились? Тут стереть может только один человек (и это женщина),
не считая автора сообщения.
Несколько раз возился с этим. Результат 0.
Если по мере развития темы смогу помочь участием, я тут.
Но думаю что все не так просто (мой энтузиазм излишний), нужны
совсем другие знания. Иначе все уже бы сделали.

[ДроноваЮ]

Сообщение отредактировал автор сообщения.

надпись о редактировании только мне что-ли видна?

[Константин]

Так, я снова тут, нашёл проблему в работе Simon'а - В архиве лежал скрипт build.sh который просто объединяет команды cmake/make/make install. Я по глупости запустил, cmake отрапортовал о недостающих библиотеках, а сверху сразу накатил make и пошёл компилиться, а я пропустил вывод об ошибках. Сколько раз на такие грабли наступаю - и опять двадцатьпять. Оказалось, что ему нужен именно Pocketsphinx! и ещё libkdeaccessibilityclient и KDE PIM (не обязательный, но поставил) и OpenCV для работы с лицом!
Блин, трудно ему было это описать заранее, или он считает, что всё это установлено на каждом компе и у его build.sh не возникнет проблем? Я ему напишу....
Вопрос к KDE'шным пакетосборщикам:
Саймону требуется libkdeaccessibilityclient который позволяет работать с kwin. В РОСЕ его нету, я скомпилил, поставил, а теперь что надо будет kwin пересобирать? или он "сбоку" прилепится?

А помощь нужна в обучении Саймона русскому. И доведении русского в espeak до ума.
И в переводе интерфейса на русский. короче, работы много

[VictorR2007]

А помощь нужна в обучении Саймона русскому. И доведении русского в espeak до ума.
И в переводе интерфейса на русский. короче, работы много

А нельзя скинуть нужные файлы в личку?
Или исходники?
Что-то не выходит нужное найти.
Интересно порыться. И если разберусь с интерфейсом, то положу файлы сюда
https://www.transifex.com/projects/p/rosa_comm_transl/.
У Юли скорее всего работы выше крыши, а так может совместно сделаем.

[Константин]

Так, исходники тут:
https://projects.kde.org/projects/playg ... repository
https://projects.kde.org/projects/playg ... repository
или или архивом
http://download.kde.org/stable/simon/0. ... .0.tar.bz2 - я с него собирал

Пока разбираюсь с simond - он собака бажный и молчит как партизан - собрался на ура, запускается нормально, а как работать, так он мне всё systemd-coredump процессами systemd-journald вешает. Не могу понять, куда дампит-то? Я с этими систед не дружу. и gdb молчит, но откопаю, застрелю.

[ДроноваЮ]

Все переводы только через мою проверку, иначе удушу.

[VictorR2007]

Все переводы только через мою проверку, иначе удушу.

Ой, да это у меня давно прописано в голове.
Разбуди в любое время и спроси. Вы же вышколили.

[ДроноваЮ]

[Константин]

Отучил гада падать. Иду дальше.
Сразу заметка - Pulseaudio идёт нафиг сразу. Он при записи на входе постоянно поднимает mic boost и из-за этого комп вообще ничего не понимает.
(ну, это весточки с поля бытвы )
А Дроновой перевод переделывать принесём Как мастера Хозяйке Медной Горы на поклон придём с каменным цветком и большими глазами

[Константин]

Ой, а я пакетики не прицепил, которые собрал, можете попробовать:
http://yadi.sk/d/TrJV1HOk2EugX
http://yadi.sk/d/3aUSoGSN2EueL

[VictorR2007]

Ой, а я пакетики не прицепил, которые собрал, можете попробовать:
http://yadi.sk/d/TrJV1HOk2EugX
http://yadi.sk/d/3aUSoGSN2EueL

А нет src? Мне нужно собрать для x86_64.
Если не получится собрать, поставлю эти.

[Константин]

Так. Пакеты удалю. После пройдённого курса обучения Симы, он зараза отказался работать со sphinxtrain который в репах стоит. так что теперь надо бы и сфинкс весь пересобрать. Ух потянул за ниточку... Блин, а сразу нельзя было все требования представить? Сколько ещё препонов будет?

[tverskoy]

В Festival есть поддержка русского языка, а в репозитории нет наверно потому что пакет получается слишком большой, около 700Мб. Я при помощи этого фестиваля когда-то заставил компьютер произносить при включении "здравствуй, хозяин", но пришлось выключить- жена пугалась При разряде батареи тоже молвил человеческим голосом "батарея разряжена"

[VictorR2007]

И в переводе интерфейса на русский. короче, работы много

Да, там есть с чем работать. Для перевода 27 файлов.
Самый большой 700 строк, потом в 550 строк и 240 строк.
А потом далее по нисходящей.
Для русского ничего нет. Пока сделаю файлы для перевода на русский,
а потом уже будет видно.

[Константин]

пересобрал весь сфинкс (sphinxbase, sphinxtrain и pocketsphinx) снова пересобрал simon. Теперь всё до чего добрался работает. Надо будет пересмотреть в исходниках, как он sphinxtrain ищет, почему с тем что в репозитории не стал работать?
Сейчас пробую готовую английскую речевую модель и контроль мыши (правда слово "control" пришлось перезаписать - отказывается понимать). Прикольно но, потом попробую русскую с foxvorge прикрутить.
А у фестиваля вроде поменьше русский пакет был, мегов так 280 (в убунтах) Но всёравно смешно сравнивать с английским, который в несколько мегов умещается.
А для перевода за основу возьми украинский, всё-же ближе

[tverskoy]

Русский язык для festival http://prdownload.berlios.de/festlang/m ... .5.tar.bz2
сайт http://festlang.berlios.de/docu/doku.php?id=russian
настройка http://execbit.ru/2011/09/26/festival/

[Константин]

Так! раз народ по тихоньку стал сползаться, такая просьба - попробуйте espeak с расширенным русским скрестить. В начале я ссылку давал (только версию не перепутайте)
Что-то не слышу разницы, может чего не так делаю? всё равно как пьяный американец болтает.

[VictorR2007]

А для перевода за основу возьми украинский, всё-же ближе

Не. Нужно делать с нуля. А то потом не понятно ничего при ошибках.
А брать за основу лучше французский, у них обычно более новые и полные файлы.
Там сильные переводчики и следят за обновлением локализации.
Если судить по http://fr.l10n.kde.org/apps/translators.php. ИМХО конечно.

[Константин]

Итоги вчерашних копаний:
Пересобрал sphinx, всё с официального сайта, пересобрал Саймона, импортировал словарь и речевую модель русского с Voxforge, сегодня начну обучать.
Если хотите для перевода иметь "прототип", вот ссылки на готовые исправленные пакеты для i586:
http://yadi.sk/d/SH4onZqZ2FXt2
http://yadi.sk/d/VGHYsIv62FXyC
http://yadi.sk/d/bAfsCpf32FXzm
http://yadi.sk/d/_BUJL24F2FY1G
http://yadi.sk/d/hJeCVFdm2FY2O
Перед тем как устанавливать удалите все ранее установленные пакеты sphinx, я не пытался их разбивать на стотыщмильён пакетиков как в репозиториях.
Если хотите сами компилировать Вот ссылки на исходники:
http://download.kde.org/stable/simon/0. ... .0.tar.bz2 (там и переводы есть)
http://sourceforge.net/projects/cmusphi ... z/download
http://sourceforge.net/projects/cmusphi ... z/download
http://sourceforge.net/projects/cmusphi ... z/download
Для сборки потребуются дополнительные неуказанные в описаниях пакеты:

bison
opencv-devel
kdepim4-devel
libkdeaccessibilityclient

Речевую модель пока не публикую, Можно импортировать с VoxForge, я сам так и сделал, но пока я додумался что и куда и как... В этом смысле очень хороша система распространения контента в KDE, когда сделаем нормальную модель и сценарии, которые будут приемлемо работать, просто опубликуем встроенными инструментами и каждый сможет этим пользоваться и плюс отошлётся на VoxForge для усовершенствования их модели - Вот как надо было делать уже сто лет назад, Линукс щас был бы вперде!
Также надо с нуля создавать сценарии использования: у них нет нормального переключения между окнами, для навигации в окне не используют классического метода контроля с клавиатуры (почему?) а тупо играют с разделением окна на сектора - не практично. И тот плагин что требуется для Firefox тоже не очень - каждый элемент на странице получает свой номер, это хорошо, переключаемся по номерам, но они написаны таким мелким шрифтом, что я с нормальным зрением долго не выдержал вглядываться. Попробую пользоваться Konqueror'ом, его вариант контроля с клавиатуры выглядит более подходящим.

Ещё один вопрос, а как-же пользоваться читалкой? Вроде он запрашивает jovie, но как заставить его читать? Будем искать.

[Shura]

Тема интересная, готов присоединиться на выходных, особенно с переводом. Только покажите откуда и докуда копать, что делать.
Кстати, по опыту, очень полезным бывает выложить файл, требующий перевода на гугл докс с публичным доступом, чтобы все желающие могли зайти и подредактировать.

[Константин]

А гуглдокс умеет работать с переводами? Я так никогда не делал.
Пока создавать "инфраструктуру" не окупается, Давайте просто поделимся, кто и куда:
Я занялся ковырянием сценариев и речевой модели.
Тверской и Виктор2007, вроде изъявили желание попереводить, надо у них спросить что они переводят и брать что-то другое.

Так, а где Дронова? Может там на Росовских ресурсах и с Вашим опытом что-то развернёте? А то я всё-таки любитель, и отпуск скоро закончится, а когда на работу вернусь, там уж я и головы не высуну...
Можно Вам на шею ещё хомут набросить?

[Shura]

Там конечно нет никакого специального инструментария для работы с переводом, там просто аналог ms Word, но этого обычно достаточно. Просто стираем английское значение и вместо него вписываем русское. Зато в гуглодоксах все правки отображаются интерактивно, т.е. сразу видно кто что перевел, а что еще осталось непереведенным, это очень удобно, появляется синхронизация между участниками и можно избежать двойной работы.

[d_uragan]

Попробовал обновить espeak в репах, кто хочет - попробуйте отсюда:
(32bit) http://abf.rosalinux.ru/downloads/rosa2 ... ner/940158
(64bit) http://abf.rosalinux.ru/downloads/rosa2 ... ner/940159

Если больших косяков нет, отправлю на QA. Расширенные правила в пакеты попозже добавлю.

[Константин]

Шура, может я и ретроград, но мне кажется, что штатных средств для работы с переводами вполне достаточно, и самое главное - к переводам в KDE'шном репозитории допускаются только авторизированные люди, которые работают аккуратно.
А любители попереводить (вроде меня) могут сделать это и на своём компьютере и попросить переводчиков проверить и протолкнуть в "апстрим".
Но допускать повального доступа, да ещё как к простому текстовому файлу? А потом искать кто там напереводил того чего не надо?

d_uragan - а почему не добавили правила сразу? хотите проверить "в чистом виде"?

[Shura]

На локальном компе достаточно, только где мне взять оригинальные файлы для перевода? Я готов переводить прямо сейчас, у меня на работе выдалась свободная минутка, но у меня тет нет мандривы чтобы поставить rpm пакеты и потом выискивать какие где там файлы прячутся и что из этого надо переводить.

[Константин]

Я же дал ссылку на архив Simon и приписал что там есть переводы (других языков).
Если хотите переводить, в архиве лежит папка po, и папки по языкам. Создайте папку ru и скопируйте из другого перевода файл над которым собираетесь работать, так потихоньку переводите, только вот я не знаю, tverskoy VictorR2007 переводили что-нибудь?
Если берётесь переводить файл, напишите здесь какой, чтобы путаницы не было.
Если перевели ссылочку сюда или Дроновой на проверку, она грозилась что проконтроллирует.

[VictorR2007]

Если удобно и чтоб не валить все в одну кучу, тут пока про перевод simon http://forum.rosalab.ru/viewtopic.php?f ... 882#p12882

[Константин]

Так, а у меня затычка новая с моделями языка, написал авторам, жду связи. Попробую пока с espeak поиграться

[d_uragan]

Собрал обновленный espeak с доп правилами. Подождем, что qa скажут:
http://bugs.rosalinux.ru/show_bug.cgi?id=1555

[Константин]

d_uragan
А китайцев обидели? Вы там только про русский говорите, тогда уж все собрать, чтобы два раза не ходить.
Мало ли, китайцев много, пакет то от этого всё равно сильно не потяжелеет, да и при запуске espeak без нужды за ними не полезет.

[Константин]

Добрался до этой страницы при помощи голоса, по русски и полностью на своём сценарии. Писать пока не могу, но, если немцы ответят или разберусь сам с одной проблемой, то завтра начну выкладывать модель и сценарии.

[AVB]

Писать пока не могу

А голосом, голосом?
Можно ли будет диктовать, а буковки сами на экране в слова и предложения выстраиваются (боюсь мечтать - прямо в LO)?
Или всё это мечты, мечты ...?

[Константин]

Надо буит забацать "пасхальное яйцо" - скажешь "сделать всё... красиво" И выполнит команду

Код: Выделить всё

 rm -rf /

[AVB]

Ну, НАСТОЯЩИЙ экспериментатор проверяет всё на себе. Весточку потом скиньте, как оно прошло

[Константин]

Дык пока перекаНпелируешь потом всё
А получается трудновато. Не пойму, толи у меня произношение не такое, толи..
Те команды на которые он срабатывает сразу, сын говорит - он всё не так понимает, когда я не могу добиться от него чего хочу, сын подходит, раз и попал.
А вроде сфинкс стоит во многих железяках и нормально всё понимает. Эх, вот она лицензия BSD... прогу себе поставили, намоделировали себе получше а в проект не возвращают...

[VictorR2007]

Собрал обновленный espeak с доп правилами. Подождем, что qa скажут:
http://bugs.rosalinux.ru/show_bug.cgi?id=1555

Я ставил отсюда http://abf.rosalinux.ru/downloads/rosa2 ... er/940234/
Русский не работал. Посмотрел в пакет. Там при сборке не распаковывался ru_dict-46.zip.
Попробовал пересобрать заменив в спеке строку

Код: Выделить всё

cp %SOURCE2 espeak-data && unzip espeak-data/ru_dict*zip

на

Код: Выделить всё

cd espeak-data/
unzip %SOURCE2

Так стало нормально. Теперь читает по русски.

[d_uragan]

Ага, спасибо, проглядел.

Пересобрал пакет, заодно китайский впихнул.

[Константин]

Ну раз глаз "Большого Брата" заглядывает сюда, то помогите пожалуйста с проблемой:
В ходе экспериментов периодически перезапускаю, стираю настройки этого Саймона. Очень часто систему вешает simond - вдруг всё съедает systemd-journald, который пытают сотни systemd-coredump, а в /var/log/syslog забит сообщениями типа

Jan 31 21:22:55 rosalab [28839]: Process 28838 (simond) dumped core.

При этом никаких дампов я не нахожу, да и невозможно чего-то найти, я даже не всегда могу вырубить simond и все эти systemd-coredump - тупо висит всё. И это не единственная экспериментальная программа с которой у меня такие проблемы, в других дистрах такого не замечал, если вешалась программа, то всё аккуратненько было. Тут очевидно что-то в РОСА настроено слишком агрессивно на дебаги?
Ещё вопрос:
В системе установлена библиотека А. Она нужна программе Б. В репозиториях А устаревшая, для проверки я собираю А в домашней папке и запускаю программу Б с LD_LIBRARY_PATH. Поэкспериментировал, закрыл консоль, запускаю программу Б в обычном режиме и она опять обращается к той что в домашней папке. Это как?
Завершаю сессию, Захожу обратно, опять работает с той что в домашней папке. И так пока не переназначу путь или не перезагружу комп. Что за бред? ведь эти переменные должны работать в рамках консоли в которой я их запускаю?
В результате не могу понять, проблемы в саймоне из-за этой каши или у него свои жуки?

[d_uragan]

Ну раз глаз "Большого Брата" заглядывает сюда, то помогите пожалуйста с проблемой:
В ходе экспериментов периодически перезапускаю, стираю настройки этого Саймона. Очень часто систему вешает simond - вдруг всё съедает systemd-journald, который пытают сотни systemd-coredump, а в /var/log/syslog забит сообщениями типа

Jan 31 21:22:55 rosalab [28839]: Process 28838 (simond) dumped core.

При этом никаких дампов я не нахожу, да и невозможно чего-то найти, я даже не всегда могу вырубить simond и все эти systemd-coredump - тупо висит всё. И это не единственная экспериментальная программа с которой у меня такие проблемы, в других дистрах такого не замечал, если вешалась программа, то всё аккуратненько было. Тут очевидно что-то в РОСА настроено слишком агрессивно на дебаги?

Код: Выделить всё

echo "core" > /proc/sys/kernel/core_pattern

должно избавить от systemd-coredump и вернуть привычные core-файлы

http://www.linuxhowtos.org/Tips%20and%2 ... redump.htm

Ещё вопрос:
В системе установлена библиотека А. Она нужна программе Б. В репозиториях А устаревшая, для проверки я собираю А в домашней папке и запускаю программу Б с LD_LIBRARY_PATH. Поэкспериментировал, закрыл консоль, запускаю программу Б в обычном режиме и она опять обращается к той что в домашней папке. Это как?
Завершаю сессию, Захожу обратно, опять работает с той что в домашней папке. И так пока не переназначу путь или не перезагружу комп. Что за бред? ведь эти переменные должны работать в рамках консоли в которой я их запускаю?
В результате не могу понять, проблемы в саймоне из-за этой каши или у него свои жуки?

Навскидку не скажу. Возможно, загруженная библиотека остается в памяти и ldconfig ее просто переиспользует. Soname у новой и старой версий одинаковый? (readelf -Wa файл_библиотеки | grep -i SONAME)?

[Константин]

За

echo "core" > /proc/sys/kernel/core_pattern

спасибо, я без совета не хотел трогать, тут у вас всё по своему, боялся, что через всякие мандряческие настройки поломается

А насчёт библиотек, да, я сейчас тоже не могу проверить soname, как в следующий раз буду копаться, посмотрю, Сейчас уже удалил эти библиотеки, не на чем проверить. об этом я не подумал
Но всё равно, даже пусть soname тот-же, такие вещи должны "уходить" когда пользователь закончил сеанс, нет? Это первый раз когда я с таким сталкиваюсь с незапамятных времён. Сколько компилял, особенно в дебьяне, когда хочешь новую версию. Что-то не то. Но, это так, когда всплывёт опять на багзилу отнесу.

Есть ещё кое что, забавное
При открытии диалога выбора значков в Саймоне (очевидно и в других программах тоже) в консоли появляется это:

libpng warning: Duplicate iCCP chunk
couldn't create image from "/home/anton/Изображения/apps/48/cifrivaya_camera_48_Images\cifrivaya_camera_48_ImgID1.png"
libpng warning: Malformed iTXt chunk

Ну, который из вас Антон с червивой камерой? и почему ЭТО в дистрибутиве? и сколько ещё таких вот, невидимых глазу багов? Может из-за этого Роса медлительнее других?

[VictorR2007]

В пакете что-то не все верно. Сегодня поставил Росу i586.
Установил пакеты приложенные выше. Так как для перевода нужно смотреть по контексту,
а в пакете нет локалей, подумал что языки компилятся в бинарники.
Попробовал скомпилить. Кстати, выше вы писали список зависимостей. Там еще один пакт нужен.
Имя уже не помню, не записал сразу.
Оказывается локали идут в /usr/share/locale.
Ладно, зашел в каталог ~/rpmbuild/simon-0.4.0/build/po/ru/ и дал make install.
Пробую запустить, но нифига. Приложу картинку.
Посмотрел в ~/rpmbuild/simon-0.4.0/build/lib/. Там куча симлинков которые не вошли в пакет.
Ладно, скопировал их в /usr/lib, вроде начало работать.
Но после настройки программа вылетает. Видимо еще что-то потерялось

[VictorR2007]

Да, дал make install и все заработало.
Можно пока и так. Та ОС установлена только для simon.

[Константин]

Так, не понял, в итоге Вы пересобрали Simon? Или ошибки с тем что я выложил? Я пакет собирал "побырику" checkinstall'ом Может lddconfig и kbuildsycoca4 не хватает?
Все ошибки что у меня есть связаны только с импортом русской модели и зависаниями в результате ошибки импорта. Сейчас вышел на связь с одним из разработчиков, надеюсь разберёмся.

Пересоберите из исходников. И прилепите перевод.

На Вашем скриншоте видно Speech Model Compillation - там проверьте все настроеки sphinxtrain

[VictorR2007]

Ошибки в вашем пакете.
Я ничего не собирал.
Я в каталоге с исходниками дал

Код: Выделить всё

mkdir build 2> /dev/null
cd build && cmake -DCMAKE_INSTALL_PREFIX=`kde4-config --prefix` .. && make

и потом смотрел что в каталогах с файлами.
Перевода пока нет. Там в одном файле процентов 15 может есть.
Но я буду делать медленно. Я по английски знаю только "Exit", остальное по словарику.
Я очень надеюсь что Pulfer, как обещал, сделает пробный пакет.
(Но надежды мало, судя по сборочной. Там у всех работы в два раза больше стало.
Теперь еще добавилась сборка Мандривы.)
Я бы его забрал. Приделал патч с русскими картинками, с русским переводом и с переводом
файлов для меню и systemsettings. Ну и потихоньку переводить.
Еще выложу файлы с именами simon_имя_файла (раз нельзя там сделать контейнер)
на https://www.transifex.com/projects/p/rosa_comm_transl/

[Константин]

А кстати, там в исходниках не было svg "исходников" картинок?
И да, я совсем не занимался переводами, "моделирую"

Тут нужы идеи как эффективнее реализовать работу именно для людей с ограниченными ... (способностями или возможностями?).
Пока такая мысль: нажимаю кнопку (или как-то иначе) активизирую Simon. Говорю ключевое слово, которое определяет нужный сценарий, например:
- Окна - активизируется сценарий работы с окнами, в зависимости от выбранного окна выбирается следующий сценарий.
- печатать - и начинаем по быквам набирать текст (до набора по словам он ещё не дорос)
- дельфин - запускается дельфин и включается сценарий дельфина.
Эта идея заложена в Simon'е, но не реализована так как надо, вместо этого есть менее внятное переключение контекстов. Но тут, как мне кажется, не много делать придётся.
Авторы не особо ориентируются, чего хотят. На первый взгляд всё логично, но нет одной вещи, которая портит всё. (ну, не считая багов )
Но идея правильная, разбить на сценарии и работать в каждой ситуации с маленьким словарём а не всем вместе.
В результате, в каждом конкретном случае уменьшается вероятность ложных - не нужных срабатываний.

Пыс.Пыс. А espeak всё такой-же компьютерный , просто меньше окает и всё. Разберусь с Саймоном, надо будет espeak заняться, если никто не возьмётся. Пора кончать с этим безобразием
Народ! навались! кончайте там палёные диски в алкоголях монтировать! давай espeak и festival русскому учить!

[VictorR2007]

А кстати, там в исходниках не было svg "исходников" картинок?

Svg нет. Я компилил эти исходники http://dl.dropbox.com/u/51074522/simon-0.4.0.tar.gz2
Туда запихнул картинки, что сделал Shura
и пустые ( почти все ) файлы русского. Файлы CMakeLists.txt уже все поправил..
Картинки и локаль ru компилятся и уходят при инсталляции правильно.

[Константин]

Ну, я имел в виду на основном серваке с переводами, хотя да, о такиз вещах не особо задумываются.
Ну, после непонятно какого решения, после повторного импортирования повторного импортирования (это не описка, а так и есть)
Модель начала работать на пустом профиле. Значит ей уже можно поделиться! Вот я и делюсь:
http://yadi.sk/d/xq70HAWA2IFIs базовая языковая модель
http://yadi.sk/d/ad_GQTe72IFMK - управление окнами
http://yadi.sk/d/Oymsklvc2IFOa - управление с клавиатуры

Управление окнами и клавиатурой простенькие, просто на попробовать. Ключевые слова:
Окна
Предыдущее
Следующее
Закрыть
Ввод
Отмена
Вверх
Вниз
Вправо
Влево
Вконец (именно слитно)
Вначало (тоже)
Обучать не требуется, сразу определяет, достаточно хорошо. Произносить просто, не затягивать и не пытаться Окать и Вкать - фканец, атмена, Окна.
Для работы команды "окна" (выводит все окна) нужно чтобы были активны Эфекты рабочего стола и включен эффект Все окна Ну, это так, у немцев скопировал Потом без эфектов проработаем, а пока "на побаловаться"

Остальных заготовок не выкладываю, так как работаю над ними. Доведу до ума - выложу сразу на kde-files.org откуда сможете импортировать прямо в Саймон.
Об этом сообщу дополнительно. Напишу инструкцию как удобно настроить компьютер для использования как простым пользователем так и парализованным.
Ну и в конце испытаю на своём друге, он полупарализованный, но сойдёт

Как заставить всё это работать? Если запускаете в первый раз, то просмотрите этот ролик: https://www.youtube.com/watch?v=ghfMMYNOwXo Но! Импортируйте не из интернета и не из файлов а просто путкик "импорт"
Если не в первый раз, то вот подсказка: (Open - Import)

[Константин]

Обновил файл речевой модели, теперь ДОЛЖЕН работать.

[Shura]

Еще вопрос. Там постоянно упоминаются prompts. Как их перевести? Пример:

Could not modify prompts file

[ДроноваЮ]

http://www.multitran.ru/c/m.exe?&s=prompts&l1=1&l2=2
есть подходящие значения, но тут точно надо выбрать, это к Константину, поскольку он этой прогой уже пользовался

[Константин]

Да, с переводом проблема,
Смысл такой: prompt - это некий описательный файл - подсказка для движка распознавания. Как это назвать по русски? я даже не могу найти в материале по речевым моделям. Везде так и пишут - prompt и никак не переводят (хотя разработки есть чисто русские)
Вот по аглицки про САймона
http://docs.kde.org/development/en/extr ... ement.html
Ну и вообще, поглядывайте в эту инструкцию, там много описано (правда главного нет, но это как всегда)
А термин русский может и есть, но глубоко спрятан в недрах русского сознания и забит англизмами Я бы на Вашем месте оставил prompt (если будут недовольные, можно будет перевести), слишком специфично, заменишь русским словом и объясняй потом, куда промпты совать

[VictorR2007]

Да, с переводом проблема,
Смысл такой: prompt - это некий описательный файл - подсказка для движка распознавания. Как это назвать по русски? я даже не могу найти в материале по речевым моделям.

Возможно типа слова "реплика" или какие синонимы.

[VictorR2007]

Svg нет. Я компилил эти исходники http://dl.dropbox.com/u/51074522/simon-0.4.0.tar.gz2
Туда запихнул картинки, что сделал Shura

Фик знает что я выложил по ссылке.
Пытался почистить лишние дубли. В итоге удалил все.
Загрузил ссылку, там чистые изначальные файлы.
Моя ошибка. Обычно для изменений создаю папку с добавлением к имени приставки patched.
И в нею захожу только через krusader, добавляя изменения.
Так удобно для создания патча. Ничего лишнего не создается.
Тут пока не сделал. Ладно, не много пока изменений, нет повода для расстройства.
Я в 2007, весной, делал русский для себя к программе System Mechanic 6.
Там можно было сделать правильно только через WinHex.
Ну тыкаю в клавиши, один раз в час сохраняю и запускаю на тест на другом компе.
Для проверки что не сломал чего. И так по 18 часов в день. Личный бзик был, вместо игр.
Ну вот, через неделю работы захожу при проверке на вкладку "О программе"
и вижу номер предыдущей версии. А я ее уже делал, убил на неё полтора месяца,
переведя кучу картинок и тыкая в hex редакторе.
Как же я верещал, когда увидел что ошибся.
До сих пор неприятно. Там было 4 000 строк, половина по 300 символов и более.
Через Winhex редактор уже не помню по сколько символов можно было заменить, вроде по 15.
Вот и подбирал текст, а остальное забивал нулями.
Ну повыл немного, потом все начал снова. Сделал в итоге.
Но до сих пор помнится тот шок.

[Константин]

Игений парадоксафдрук - так я в детстве слышал эту фразу

[VictorR2007]

Игений парадоксафдрук - так я в детстве слышал эту фразу

Убил наповал. Насмеялся от души.

[AVB]

Смысл ... prompt

здесь http://slovari.yandex.ru/prompt/en/#lingvo/ не подходит?

[Shura]

Какой именно вариант оттуда подходит?

[Shura]

Еще один термин institution. Применяется где-то в дебрях интерфейса к ssc. Что это такое? Действительно "учреждение"?

[Константин]

Про prompt

Не пытайтесь перевести это слово дословно. Тут такое не прокатит.
Смысл этого prompt файла - описательный файл хранящий строки - слова или фразы. На их основе Саймон пытается найти зауковой файл с тем-же названием что и строка.
Как это перевести? надо глубоко лезть в специализированную русскую литературу по синтезц и распознаванию речи. Но не факт что Вы найдёте перевод я не нашёл.
А если всё-таки переведёте, представьте себе человека, который видит файл prompt перед собой и не понимает куда его пихать. Поэтому, оставьте без перевода, пока.
Я сам русофилл (неграмотный), но в этом случае я за то чтобы оставить без перевода.

institution
Я пока не лазил в эти страшные программы... Вот ссылка на инструкцию http://docs.kde.org/development/en/extr ... index.html
согласно документации, institution - это некоторые логические группы на которые можно разбивать голоса чтецов. Но разработано это было для лечебных заведений. Так что "институты" подойдёт

[Константин]

А ктонибудь пробовал речевую модель вставить? Для этого предварительно настроить вот это:http://forum.rosalab.ru/viewtopic.php?f ... 036#p12964
а потом вот это http://forum.rosalab.ru/viewtopic.php?f ... 036#p12976
А то я тут тоже, пилю и не знаю, а вдруг у вас не настроится или не сработает.

[Shura]

У меня вообще не получилось скомпилировать этого Сайсона, ему нужны devel библиотеки kde4, а они не ставятся, Росовцы что-то напортачили в репозитории.

[Константин]

а я после обновления уже три раза пересобирал его. Странно. а что конкретно не встаёт?

[AVB]

Смысл этого prompt файла - описательный файл хранящий строки - слова или фразы.

Ну, так тогда по смыслу: файл подсказок, файл строк, файл фраз

[ДроноваЮ]

У меня вообще не получилось скомпилировать этого Сайсона, ему нужны devel библиотеки kde4, а они не ставятся, Росовцы что-то напортачили в репозитории.

Во-первых да, это странно, во-вторых надо бы открыть по этой проблеме отдельную тему, чтобы не валить всё в кучу.
зы — пользуясь случаем©, приветствую старинных юзеров ещё прежнего Линуксфорума у нас в РОСЕ

[Константин]

А я до каНпелировался... в смысле с речевой моделью, опять всё лежит... Немцы разбираются какой я свинтус

[Shura]

Про неустановку писал вот тут: http://forum.rosalab.ru/viewtopic.php?f ... 702#p12940

зы — пользуясь случаем©, приветствую старинных юзеров ещё прежнего Линуксфорума у нас в РОСЕ

Спасибо! К сожалению костяк на линуксфоруме давно уже сменился и я теперь там не часто бываю

[Константин]

Код: Выделить всё

$ rpm -qa | grep kdelibs4-devel
kdelibs4-devel-4.9.5-1-rosa2012.1.i586

обнови списки. Или опять рассинхронизация зеркал?

[Shura]

Всё обновил, ничего не помогает. У меня x64 система

[Константин]

Вот вы любите кактусы

[Константин]

Радостная новость. Ошибка, которая так долго колом ставила мой комп найдена! Она пряталась в sphinx. Проблемой занялись и есть надежда, что скоро её решат. Так что, в скором времени можно будет начать реально пользоваться (ну, когда я сценарии допишу до нормального состояния)

[Pulfer]

Всё обновил, ничего не помогает. У меня x64 система

А если запустить urpmi с ключом debug?

1) urpmi.update -a
2) urpmi --debug kdelibs4-devel 2>log.txt

А потом файлик log.txt выложить куда-нибудь для анализа.

[Shura]

Сделал. Петрушка возникла из-за lib64kidletime. Только что теперь делать?

parsing: /etc/urpmi/mediacfg.d/rosa2012lts-current-x86_64
loading mirrors cache
using mirror http://mirror.rosalab.ru/rosa2012.1/repository/x86_64/
using mirror http://mirror.rosalab.ru/rosa2012.1/repository/x86_64/
using mirror http://mirror.rosalab.ru/rosa2012.1/repository/x86_64/
using mirror http://mirror.rosalab.ru/rosa2012.1/repository/x86_64/
using mirror http://mirror.rosalab.ru/rosa2012.1/repository/x86_64/
search_packages: found kdelibs4-devel-4.9.4-1-rosa2012.1.x86_64 matching kdelibs4-devel
opening rpmdb (root=, write=)
selecting kdelibs4-devel-4.9.4-1-rosa2012.1.x86_64
requiring automoc4,cups-devel[>= 1.2],devel(libXss(64bit)),devel(libXtst(64bit)),devel(libacl(64bit)),devel(libattica(64bit)),devel(libattr(64bit)),devel(libbz2(64bit)),devel(libdbusmenu-qt(64bit)),devel(libfam(64bit)),devel(libgif(64bit)),devel(libjpeg(64bit)),devel(libphonon(64bit)),devel(libsoprano(64bit)),devel(libsopranoclient(64bit)),devel(libstreamanalyzer(64bit)),devel(libudev(64bit)),devel(libutempter(64bit)),gdbm-devel,kde4-macros,kdelibs4-core[== 5:4.9.4-1:2012.1],krb5-devel,lib64kcmutils4[== 5:4.9.4-1:2012.1],lib64kde3support4[== 5:4.9.4-1:2012.1],lib64kdeclarative5[== 5:4.9.4-1:2012.1],lib64kdecore5[== 5:4.9.4-1:2012.1],lib64kdefakes5[== 5:4.9.4-1:2012.1],lib64kdesu5[== 5:4.9.4-1:2012.1],lib64kdeui5[== 5:4.9.4-1:2012.1],lib64kdewebkit5[== 5:4.9.4-1:2012.1],lib64kdnssd4[== 5:4.9.4-1:2012.1],lib64kemoticons4[== 5:4.9.4-1:2012.1],lib64kfile4[== 5:4.9.4-1:2012.1],lib64khtml5[== 5:4.9.4-1:2012.1],lib64kidletime4[== 5:4.9.4-1:2012.1],lib64kimproxy4[== 5:4.9.4-1:2012.1],lib64kio5[== 5:4.9.4-1:2012.1],
lib64kjs4[== 5:4.9.4-1:2012.1],lib64kjsapi4[== 5:4.9.4-1:2012.1],lib64kjsembed4[== 5:4.9.4-1:2012.1],lib64kmediaplayer4[== 5:4.9.4-1:2012.1],lib64knewstuff2_4[== 5:4.9.4-1:2012.1],lib64knewstuff3_4[== 5:4.9.4-1:2012.1],lib64knotifyconfig4[== 5:4.9.4-1:2012.1],lib64kntlm4[== 5:4.9.4-1:2012.1],lib64kparts4[== 5:4.9.4-1:2012.1],lib64kprintutils4[== 5:4.9.4-1:2012.1],lib64kpty4[== 5:4.9.4-1:2012.1],lib64krosscore4[== 5:4.9.4-1:2012.1],lib64ktexteditor4[== 5:4.9.4-1:2012.1],lib64kunitconversion4[== 5:4.9.4-1:2012.1],lib64kunittest4[== 5:4.9.4-1:2012.1],lib64kutils4[== 5:4.9.4-1:2012.1],lib64nepomuk4[== 5:4.9.4-1:2012.1],lib64nepomukquery4[== 5:4.9.4-1:2012.1],lib64nepomukutils4[== 5:4.9.4-1:2012.1],lib64plasma3[== 5:4.9.4-1:2012.1],lib64solid4[== 5:4.9.4-1:2012.1],lib64threadweaver4[== 5:4.9.4-1:2012.1],libsasl-devel,pam-devel,pkgconfig(OpenEXR),pkgconfig(avahi-client),pkgconfig(avahi-compat-libdns_sd),pkgconfig(enchant),pkgconfig(jasper),pkgconfig(libart-2.0),pkgconfig(libxslt),pkgconfig(mad),pkgconfig(shared-
desktop-ontologies),pkgconfig(vorbis),pkgconfig(xft),pkgconfig(xpm),tiff-devel,ungif-devel for kdelibs4-devel-4.9.4-1-rosa2012.1.x86_64
chosen lib64kidletime4-4.9.4-1-rosa2012.1.x86_64 for lib64kidletime4[== 5:4.9.4-1:2012.1]
the more recent lib64kidletime4-4.9.5-1-rosa2012.1.x86_64 is installed, but does not provide lib64kidletime4[== 5:4.9.4-1:2012.1] whereas lib64kidletime4-4.9.4-1-rosa2012.1.x86_64 does
selecting lib64kidletime4-4.9.4-1-rosa2012.1.x86_64
unselecting lib64kidletime4-4.9.4-1-rosa2012.1.x86_64
unselecting kdelibs4-devel-4.9.4-1-rosa2012.1.x86_64
scheduled sets of transactions:
EXITING (pid=18875)

[Shura]

Наткнулся еще на некий синтезатор речи voiceman. Никто не пробовал?

[Константин]

На сколько я знаю, это тоже что и speech-dicpatcher.
Их есть несколько таких низкоуровневых серверов, которые облегчают использование разных движков. Единственное что они действительно делают - это предоставляют единый метод для разных движков. Но, в реальности потом ещё надо найти программу которая с этой прослойкой работает. В результате, берём, например Simon - он работает с Jovie, который работает со speech-dicpatcher. Толку прикручивать ещё одну прослойку?
Если писать проект с нуля, то да, можно повыбирать, Но пока я не видел проектов на voiceman. Из консольки побаловаться...


Ну и вдогонку Last Update: 2010-11-08

[VictorR2007]

Тут архив со всеми изменениями на 19 часов, что сделал Shura и переведенными файлами .desktop
Компилится все отлично. При попытке работать в программе выскакивают русские картинки.
http://dl.dropbox.com/u/51074522/simon- ... hed.tar.gz

[Константин]

Здорово!, только я сегодня уже не осилю Замучился с управлением.
Распознаёт хорошо, но KDE'шники жабу подсунули, управление с клавиатуры не такое как у всех. И для переброски внимания между элементами не осталось ничего кроме Tab. Для интереса, попробуйте открыть дельфин и поуправлять им с клавиатуры. А управление мыши голосом - не солидно...

[Shura]

А программа может только клавиатуру эмулировать? Нельзя сказать типа "нажми кнопку Далее"?

[Константин]

Нет, не только клавиатуру, можно ещё через D-Bus сигналы посылать и принимать и запускать внешние скрипты, Но!
Это означает что сценарии вообще намертво привязываются к конкретной программе и конкретной платформе и вторая проблема - нет возможности внутри сценария писать полноценные скрипты, что сводит работу с D-Bus чисто к посылке-приёму сигнала. Как я передам сигнал именно активному окну? Нету в D-Bus аморфного активного окна с универсальными параметрами.
В KDE3 была возможность "немышиного" управления, в KDE4 её если не выкинули, то сильно покоцали "за ненадобностью". И та библиотека что нужна Симону для работы с окнами (libkdeaccessibility) Это попытка вернуть былой функционал.
Если есть опытные D-Bus'овщики - отзовитесь!

Нельзя сказать типа "нажми кнопку Далее"?

Просто сказать можно, но как это реализует Симон - вот в чём вопрос. С простыми диалоговыми кнопками, всё довольно просто - подтверждение и отмена, тут не проблема послать команду Enter или Escape. Но если кнопок несколько и тебе надо выбрать одну - тут становится сложнее. Симон не знает имён кнопок. И не адаптируется к новым условиям. Придётся просто "перепрыгивать" на нужную кнопку.

Короче, того что хотелось-бы реализовать, в полной мере не получается. Но, всё-таки, многое можно сделать и с кнопками и фильтрами.
Так и копаюсь, пишу - переделываю, но постепенно двигаюсь. разгребаю кашу из Gtk/Qt/KDE разнообразия. До печатанья так и не дошёл пока. Тут ещё вопросы появятся.

[Shura]

Вообще конечно довольно странная схема.
Нет ли возможности прикрутить такой модуль, который бы понимал, какое окно активно в настоящий момент, брал бы с текущего окна все контролы (ну или хотя бы кнопки), читал бы их названия и по ним бы уже ориентировался.

[Константин]

Ну, чтением элементов окна занимается orca - отдельный проект. И это для незрячих.
Simon - проект для речевого контроля и он пытается быть кроссплатформенным, отсюда и грабли. Винда, маки, линукс, Qt/Gtk/KDE - всю эту петрушку не охватишь на низком уровне. Это получается - несколько раз написать один и тот-же функционал. Поэтому они и решили не сильно залезать в дебри и сконцентрировали внимание на клавишных комбинациях и пр. Но проект развивается и в этом и сила опенсорса - если сильно захотеть, а потом сильно попросить... Но надо конкретно знать, что нужно, для чего нужно и точно ли такое не реализуемо на том функционале что есть сейчас. А для этого нужно реально его использовать.
Вот тут наша с вами роль - вы переводите, я пишу сценарий который позволит пользоваться множеством функций в среде KDE (поскольку проект кдешный) ну и конечно файрфокс, за его популярностью. Мы даём только первый толчок к использованию в русскоязычной среде. А дальше - дело сообщества.
Саймон требует доработки во многих местах, НО! Саймон на данный момент является единственным (известным мне) проектом работающий в этом направлении, который не "незкоуровневый уровень низкоуровневых абстракций для построения платформ для разработки абстракций низкого уровня" а конкретно что-то делает.

И пользуясь случаем:
Люди... молитесь. Меня вызывают на работу. Чую дело пахнет керосином.

[Shura]

Всё ясно. Но вообще под словом "Читать" я имел ввиду, что программа берет надписи с кнопок и знает какая кнопка как называется, чтобы когда пользователь сказал "нажми Далее", Simon знал что именно вот эта вот кнопка и называется "Далее".
Но в общем понятно. Сценари для конкретных программ в принципе тоже выход, хотя и не такой универсальный.

[Константин]

Так! Пакетоукладчикам на замету!
Сломали orca - не запускается, пишет

No module named pyatspi

Проверил - pyatspi не установлен установлен, установлен python-atspi, при попытке установить pyatspi - сносит orca и python-atspi

[Константин]

Спасибо Шуре, опять начал копать интернет и докопался до того что плагин ATSPI для Симочки всё-таки остался (единственное упоминание об этом модуле у них 2011 года). Вечером буду разбираться, почему о нём молчат даже разракботчики Симона, почему он не скомпилировался с остальными плагинами и может быть даже получится его "заюзать"
хихиии, ежели не уволят

[ДроноваЮ]

Так! Пакетоукладчикам на замету!
Сломали orca - не запускается, пишет

No module named pyatspi

Проверил - pyatspi не установлен установлен, установлен python-atspi, при попытке установить pyatspi - сносит orca и python-atspi

На багзиллу, на багзиллу, а не блондинистым шрифтом на форуме. Там разберутся.

[Константин]

На багзиллу, на багзиллу

я не донесу, потеряю по дороге,

а не блондинистым шрифтом на форуме

Ну извините, какой ШРИФТ поставили, таким и пишу

(Ну хоцца мне пофулюганить)
Не рабочий настрой, реки трясутся после разговора с начальством...

[Shura]

Еще вопрос по пререводу.
Phone и monophone. Первое точно не телефон и скорее всего как-то связано с monophone. Это именно существительные, а не прилагательные, т.е. вариант "монофонический" отпадает.

[ДроноваЮ]

Еще вопрос по пререводу.
Phone и monophone. Первое точно не телефон и скорее всего как-то связано с monophone. Это именно существительные, а не прилагательные, т.е. вариант "монофонический" отпадает.

Контекст какой? В примечании с решёточкой разрабы чего-нить написали?
UPD — http://www.multitran.ru/c/m.exe?l1=1&l2=2&s=monophone

monophone сущ. | Вебстер | g-sort
ж.д., амер. микро-телефонная трубка
свз. переговорно-вызывающее устройство
телеком. микротелефонная трубка
тех. мононаушник; переговорно-вызывное устройство

[Shura]

В примечаниях ничего нет, то, что предлагает мультитран нет ничего похожего по смыслу. Контекст такой:

Failed to generate monophones. Please check that you have installed the
program HDMan correctly and that the lexicon contains all words referenced
by your training corpus.

А еще нашёл такое:

Generating triphone...

[ДроноваЮ]

Так, ну это так и будет «монофоны» и «трифоны». См. пруф здесь: http://intsys.msu.ru/study/courses/speech.htm (6 пункт)
Ещё из гугла:

Проведены исследования влияния характеристик телефонного канала связи на точность распознавания контекстно-независимых (монофонов) и контекстно-зависимых (трифонов) фонем слитной речи в зависимости от вида параметризации речевого сигнала. Получены оценки точности распознавания фонем, при различных условиях записи обучающей и тестовой выборок.

[Shura]

ok

[Константин]

Монофоны, дифоны м трифоны (если не больше) - соответственно однозвучные, двухзвучные и трёхзвучные обозначения букв. Например буква я.

[Константин]

Так, а куда VictorR2007 пропал?
Я собрал Симон с переводами. из его архива. Переводы упорно не хотят появляться, хотя, вроде, стоят на своих местах в /usr/local/share/locale


Пока не получается уделить времени на Simon, постараюсь завтра с самого утра. По крайней мере на этой неделе хочу добить сценарии, так как потом кандалы - кирка - шахта - медные рудники.

[VictorR2007]

Переводы упорно не хотят появляться, хотя, вроде, стоят на своих местах в /local/share/locale

У меня нормально отображаются.

[Константин]

Да? Странно, они есть на месте, но даже принудительно не включаются.
Я подумал, что надо будет набросать небольшую инструкцию для новичков, со скриншотами. Но это попозже, пока не критично.

И ещё использовать atspi в Симоне тоже не получится пока.