Bug 6271

Summary:	Научится парсить результаты тестов
Product:	[Свободные проекты (Open source projects)] WINE-tests	Reporter:	Виталий Перов <vitperov>
Component:	Общее	Assignee:	Виталий Перов <vitperov>
Status:	DEFERRED ---	QA Contact:
Severity:	minor
Priority:	P4	CC:	lav
Version:	не указана
Target Milestone:	---
Hardware:	PC
OS:	All
Whiteboard:
Заявки RT:		Связано с:
Дата напоминания:
Bug Depends on:
Bug Blocks:	6264

Description Виталий Перов 2010-10-22 17:33:04 MSD

Сейчас тесты работают следующим образом:
Запускаются тесты до и после прикладывания патча. Результаты сохраняются в файл. Затем делается diff. Если изменений нет, то мы считаем, что патч ничего не ломает.

Возникают проблемы:
1) Если после применения патча какой-то из тестов больше не показывает ошибку, то патч всё-равно не принимается, хотя он явно полезен
2) Если патч содержит тесты, то он применяется в любом случае

Для правильного решения можно брать только последнюю строчку с результатами тестов и оттуда извлекать необходимые параметры

Comment 1 Виталий Перов 2010-11-03 16:22:33 MSK

Возникла проблема, когда патч исправляет какую-то проблему, и меньшее количество тестов падает.
Сейчас скрипт не пропускает этот патч.
Пока чтобы не тратить время на парсинг результатов тестов предлагаю временное решение:
Смотреть количество строк в файлах *.before и *.after.
Если количество строк в *.after меньше, значит патч исправляет какую-то проблему, и его надо принять.

Comment 2 Виталий Перов 2010-11-03 16:59:02 MSK

Исправил. Проверил. Работает.

Comment 3 Виталий Перов 2010-11-10 18:49:45 MSK

Пока успешно работает, и не мешает.
"Привильное" решение делать пока не планируется