ROSA Forum

Высокое качество программного обеспечения, входящего в дистрибутив—один из главных принципов разработчиков ROSA. Однако ROSA содержит несколько тысяч приложений, библиотек, утилит и прочих программных компонентов, и контроль их качества—непростая задача.
Безусловно, тестирование многих используемых в нашем дистрибутиве приложений производится их непосредственными разработчиками, но далеко не всегда это тестирование является полным и всеобъемлющим - ведь многие программы в мире свободного ПО создаются энтузиастами, у которых зачастую нет ни ресурсов, ни интереса заниматься тщательными (и нередко рутинными) проверками. Поэтому тщательное тестирование ПО, входящего в дистрибутив, производится и непосредственно разработчиками и тестировщиками ROSA.
Большим подспорьем при тестировании ПО большого объема являются автоматизированные тесты, чье выполнение не требует вмешательства человека. В частности, мы используем разрабатываемый под патронажем международного консорциума The Linux Foundation набор тестов стандарта Linux Standard Base (LSB)- один из наиболее крупных наборов автоматизированных тестов в мире Linux. Тесты нацелены преимущественно на анализ соответствия API системных библиотек требованиям стандарта LSB, а также содержат ряд проверок для окружений Perl/Python и системных утилит. Успешное прохождение тестов означает соответствие дистрибутива стандарту LSB.
Отмечу, что мы работаем в тесном сотрудничестве с инженерами Linux Foundation и не просто используем тесты LSB, но и занимаемся их доработкой и совершенствованием. Мы предлагаем патчи для исправления проблем как в самих тестах (например, в LSB devchk, тестах LSB Perl и Qt4-Azov,так и в инструментарии их запуска и анализа результатов - LSB Distribution Checker.Также мы передаем в LSB наши собственные наработки - например, тесты для проверки наличия в дистрибутиве требуемых LSB модулей Python.
В настоящее время тесты LSB запускаются при тестировании предварительных сборок ROSA, создаваемых с помощью ABF. В будущем мы планируем внедрить запуск тестов LSB (а также ряда других автоматических проверок) непосредственно в процесс сборки пакетов внутри ABF, что позволит сократить время между появлением ошибки и ее обнаружением.


ДЕНИС СИЛАКОВ(C)РОСА

Любопытно)
Используется исключительно LSB или применяются и другие удобные штуки (скажем, Google Tests)?
Позволяет ли LSB тестировать интерфейс пользователя?

И раз уж речь пошла о поиске ошибок: подвергается ли исходный код програм какому-либо статическому/динамическому анализу?

Многие "другие штуки" в процессе рассмотрения/интеграции. Сейчас в ABF внедряются различные тесты для проверки структуры пакетов (rpmlint с различными дополнениями, инструментарий контроля целостности репозитория и полноты зависимостей пакетов и т.п.); со временем доберемся и до анализа кода.

В случае с LSB удобство в том, что уже есть много готовых полностью автоматизированных тестов, которые надо только запустить. Эти тесты рассчитаны, в основном, на достаточно низкоуровневые системные библиотеки, интерфейс пользователя они практически никак не затрагивают.

Спасибо за ответ.

d_uragan писал(а): интерфейс пользователя они практически никак не затрагивают.

Очень жаль(

AL_ писал(а):Спасибо за ответ.

d_uragan писал(а): интерфейс пользователя они практически никак не затрагивают.

Очень жаль(

А для чего мы с вами если комп сам всё тестить будет?

skok писал(а): А для чего мы с вами если комп сам всё тестить будет?

Ну не все, но хотя бы часть. А мы в это время чем-нибудь другим займемся)
Вся беда в том, что, по-хорошему, надо заново все-все проверять после изменений в коде, а это часто весьма нудный процесс)