[devel] RFC: test-aboutdialog (GUI)

[devel] RFC: test-aboutdialog (GUI)

[Alexey Tourbin]

[-- Attachment #1.1: Type: text/plain, Size: 2179 bytes --]

Здравствуйте.

Вопрос "примитивного" тестирования GUI, в целом, проработан: найден
способ отслеживания окон и передаче окнам нажатий клавиш -- это умеет
делать перловый модуль X11::GUITest (в сизифе пока нет).

Предлагается создать пакет test-aboutdialog (или с другим похожим
названием), который занимается следующим:

1) Запускает приложение;
2) Вызывает About dialog (Help->About);
3) Закрывает About dialog;
4) Закрывает приложение (File->Exit).

Нужно теперь сформировать список приложений, которые будут тестироваться
таким образом -- их не должно быть слишком много, но и не должно быть
слишком мало.  Сейчас мне удаётся (или почти удается) тестировать таким
образом gedit, gqvew, knoqueror и firefox.  Думаю, что ещё
десяток-другой нужно добавить.

$ DISPLAY=:0 perl test-gedit.pl
ok 1 # launch gedit
ok 2 # found gedit window 16777220
ok 3 # sent %(h)a
ok 4 # found About dialog 16777371
ok 5 # sent %(c)
ok 6 # About dialog 16777371 closed
ok 7 # sent %(f)q
ok 8 # gedit window 16777220 closed
ok 1 # launch gqview
ok 2 # found gqview window 16777220
ok 3 # sent %(h)a
ok 4 # found About dialog 16777372
ok 5 # sent %(c)
ok 6 # About dialog 16777372 closed
ok 7 # sent %(f)x
ok 8 # gqview window 16777220 closed
ok 1 # launch firefox
ok 2 # found firefox window 16777268
ok 3 # sent %(h)a
ok 4 # found About dialog 16777505
ok 5 # sent

ok 6 # About dialog 16777505 closed
ok 7 # sent %(f)q
ok 8 # firefox window 16777268 closed
ok 1 # launch konqueror
kbuildsycoca running...
konqueror: ERROR: Error in BrowserExtension::actionSlotMap(), unknown action : searchProvider
ok 2 # found konqueror window 16777223
ok 3 # sent %(h)a
ok 4 # found About dialog 16777830
QPixmap: Invalid pixmap parameters
ok 5 # sent %(c)
ok 6 # About dialog 16777830 closed
ok 7 # sent %(l)q
ok 8 # konqueror window 16777223 closed
$ xMutex destroy failure: Device or resource busy
ICE default IO error handler doing an exit(), pid = 10042, errno = 0

Как видим, konqueror шлёт нам какие-то проклятия, но не фатальные.
Под Xvfb пока не работает, не знаю точно почему. :(

Кто что думает или может посоветовать/помочь -- пишите.

[-- Attachment #1.2: test-gedit.pl --]
[-- Type: text/plain, Size: 1702 bytes --]

#!/usr/bin/perl

use strict;

use sigtrap qw(die normal-signals);

END {
	local $SIG{TERM} = 'IGNORE';
	kill TERM => -$$;
}

use X11::GUITest qw(StartApp WaitWindowViewable SendKeys WaitWindowClose);

sub testAboutDialog {
	my $app = shift;
	my %args = (
		wname	=> $app,	# window name pattern
		dname	=> 'About',	# dialog name pattern
		dopen	=> '%(h)a',	# Alt-H a (open dialog)
		dclose	=> '%(c)',	# Alt-C (close dialog)
		wclose	=> '%(f)q',	# Alt-F q (close window)
		@_
	);

	StartApp($app) and print "ok 1 # launch $app\n"
		or die "unable to launch $app\n"; sleep 1;

	my ($win) = WaitWindowViewable($args{wname});
	$win and print "ok 2 # found $args{wname} window $win\n"
		or die "unable to find $args{wname} window\n"; sleep 1;

	SendKeys($args{dopen}) and print "ok 3 # sent $args{dopen}\n"
		or die "unable to send $args{dopen}\n"; sleep 1;

	my ($dia) = WaitWindowViewable($args{dname});
	$dia and print "ok 4 # found $args{dname} dialog $dia\n"
		or die "unable to find $args{dname} dialog\n"; sleep 1;

	SendKeys($args{dclose}) and print "ok 5 # sent $args{dclose}\n"
		or die "unable to send $args{dclose}\n"; sleep 1;

	WaitWindowClose($dia) and print "ok 6 # $args{dname} dialog $dia closed\n"
		or die "unable to close $args{dname} dialog $dia\n"; sleep 1;

	SendKeys($args{wclose}) and print "ok 7 # sent $args{wclose}\n"
		or die "unable to send $args{wclose}\n"; sleep 1;

	WaitWindowClose($win) and print "ok 8 # $args{wname} window $win closed\n"
		or die "unable to close $args{wname} window $win\n"; sleep 1;
}

testAboutDialog("gedit");
testAboutDialog("gqview", wclose => "%(f)x");
testAboutDialog("firefox", dclose => "\n");
testAboutDialog("konqueror", wclose => "%(l)q");

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test-aboutdialog (GUI)

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 1255 bytes --]

Hi Alexey!

Saturday 18, at 08:36:36 PM you wrote:

> Здравствуйте.
> 
> Вопрос "примитивного" тестирования GUI, в целом, проработан: найден
> способ отслеживания окон и передаче окнам нажатий клавиш -- это умеет
> делать перловый модуль X11::GUITest (в сизифе пока нет).
> 
> Предлагается создать пакет test-aboutdialog (или с другим похожим
> названием), который занимается следующим:
> 
> 1) Запускает приложение;
> 2) Вызывает About dialog (Help->About);
> 3) Закрывает About dialog;
> 4) Закрывает приложение (File->Exit).
> 
> Нужно теперь сформировать список приложений, которые будут тестироваться
> таким образом -- их не должно быть слишком много, но и не должно быть
> слишком мало.  Сейчас мне удаётся (или почти удается) тестировать таким
> образом gedit, gqvew, knoqueror и firefox.  Думаю, что ещё
> десяток-другой нужно добавить.
круто! такой штукой можно тестировать nightlies firefox по части
корректности перевода.

PS Заодно можно переписать тесты для Perl-Glade.

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test-aboutdialog (GUI)

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1097 bytes --]

On Sat, Jun 18, 2005 at 10:26:41PM +0400, Konstantin A. Lepikhov wrote:
> круто! такой штукой можно тестировать nightlies firefox по части
> корректности перевода.

А что такое "nightlies firefox" и как можно переводы тестировать?
Дело в том, что тестирование идёт на очень примитивном уровне, 
на уровне Xlib.  Примитивные операции здесь -- получить идентификаторы
окон, получить имя окна, послать в окно нажатия клавиш.  То, что в окне
есть какая-то кнопка или написан какой-то текст, узнать никак нельзя.

Нужно это, по моей мысли, в основном для тестирования бинарной
совместимости.  Чтобы можно было собирать сырые/девелоперские версии
библиотек и отправлять из в сизиф, при этом имея некую минимальную
уверенность, что не будет unresolved symbols, сегфолтов и прочих
детских неожиданностей.

Для более серьезного тестирования нужен более глубокий/высокий уровень
понимания того, что именно находится в окне.  Здесь уже, скорее всего,
будет диверсификация по тулкитам.  Интересно, есть что-нибудь такое для
GTK+ и Qt?

> PS Заодно можно переписать тесты для Perl-Glade.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test-aboutdialog (GUI)

[Konstantin A. Lepikhov]

[-- Attachment #1: Type: text/plain, Size: 1855 bytes --]

Hi Alexey!

Saturday 18, at 11:02:31 PM you wrote:

<skip>
> А что такое "nightlies firefox" и как можно переводы тестировать?
nightlies - это то, что собирается из trunk cvs по ночам :)

> Дело в том, что тестирование идёт на очень примитивном уровне, 
> на уровне Xlib.  Примитивные операции здесь -- получить идентификаторы
> окон, получить имя окна, послать в окно нажатия клавиш.  То, что в окне
> есть какая-то кнопка или написан какой-то текст, узнать никак нельзя.
а реакцию на нажатия клавиш тоже узнать нельзя? Смысл в чем - если перевод
что-то ломает - то в любом XUL приложении (типа firefox) появляется желтое
окно с сообщением о недопереводе в таком-то месте. Как правило, если
перевод сильно что-то сломал, то это желтое окошко вылазит просто при
старте приложения и никаких кнопок там нет :) 

> 
> Нужно это, по моей мысли, в основном для тестирования бинарной
> совместимости.  Чтобы можно было собирать сырые/девелоперские версии
> библиотек и отправлять из в сизиф, при этом имея некую минимальную
> уверенность, что не будет unresolved symbols, сегфолтов и прочих
> детских неожиданностей.
да, это понятно.

> 
> Для более серьезного тестирования нужен более глубокий/высокий уровень
> понимания того, что именно находится в окне.  Здесь уже, скорее всего,
> будет диверсификация по тулкитам.  Интересно, есть что-нибудь такое для
> GTK+ и Qt?
собственно для описанного поведения как раз особый уровень не нужен -
достаточно выловить это желтое окно и пожаловаться переводчику, что вот
в таком-то месте (при нажатии таких-то кнопок) вылезла такая гадость.

-- 
WBR, Konstantin	      chat with ==>ICQ: 109916175
     Lepikhov,	      speak  to ==>JID: lakostis@jabber.org
aka L.A. Kostis       write  to ==>mailto:lakostis@pisem.net.nospam

...The information is like the bank... 			  (c) EC8OR

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test-aboutdialog (GUI)

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 249 bytes --]

On Sat, Jun 18, 2005 at 08:36:36PM +0400, Alexey Tourbin wrote:
> Под Xvfb пока не работает, не знаю точно почему. :(

Под Xvfb не работает XKeysymToKeycode() -- возвращает 0.
Это в процессе запроса на нажатие Alt (keysym=65513).

Any ideas?

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test-aboutdialog (GUI)

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 911 bytes --]

On Sun, Jun 19, 2005 at 02:10:26AM +0400, Alexey Tourbin wrote:
> On Sat, Jun 18, 2005 at 08:36:36PM +0400, Alexey Tourbin wrote:
> > Под Xvfb пока не работает, не знаю точно почему. :(
> 
> Под Xvfb не работает XKeysymToKeycode() -- возвращает 0.
> Это в процессе запроса на нажатие Alt (keysym=65513).

$ cat xtest.c
#include <stdio.h>
#include <X11/Xlib.h>
#include <X11/keysym.h>
int main()
{
        Display *display = XOpenDisplay(NULL);
        if (!display)
                return 1;
        KeyCode kc = XKeysymToKeycode(display, XK_Alt_L);
        printf("keycode=%d\n", kc);
        return 0;
}
$ gcc -I/usr/X11R6/include -L/usr/X11R6/lib xtest.c -lX11
$ DISPLAY=:0 ./a.out
keycode=64
$ xvfb-run -a ./a.out
xauth:  creating new authority file /home/at/.Xauthority
keycode=0
$

У кого-нибудь воспроизводится?  Any ideas?

NB: НЕ ЗАПУСКАЙТЕ xfvb-run в домашнем каталоге.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] RFC: test-aboutdialog (GUI)

[Sviataslau Svirydau]

В Сбт, 18/06/2005 в 20:36 +0400, Alexey Tourbin пишет:
> Здравствуйте.
> 
> Вопрос "примитивного" тестирования GUI, в целом, проработан: найден
> способ отслеживания окон и передаче окнам нажатий клавиш -- это умеет
> делать перловый модуль X11::GUITest (в сизифе пока нет).

А где можно взять этот модуль?
И можно чуть подробнее как он отслеживает окна? Корректно ли он
определяет ид окна только что запущенного приложения, если уже имеются
подобные окна?

Меня это интересует в рамках несколько другой задачи, но смысл тот же:
надо запустить программу, выловить ее окно и что-то с ним сделать...

[devel] Re: RFC: test-aboutdialog (GUI)

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1011 bytes --]

On Mon, Jun 20, 2005 at 10:25:53AM +0300, Sviataslau Svirydau wrote:
> В Сбт, 18/06/2005 в 20:36 +0400, Alexey Tourbin пишет:
> > Здравствуйте.
> > 
> > Вопрос "примитивного" тестирования GUI, в целом, проработан: найден
> > способ отслеживания окон и передаче окнам нажатий клавиш -- это умеет
> > делать перловый модуль X11::GUITest (в сизифе пока нет).
> 
> А где можно взять этот модуль?

В сизифе пока нет, потому что мне не удалось сделать "make test" под
xvfb-run (см. другие письма).  Можно пока взять со CPAN
http://search.cpan.org/dist/X11-GUITest/

и запускать в текущем для сборки каталоге:

$ pwd
/home/at/RPM/BUILD/X11-GUITest-0.20
$ perl -Mblib -MX11::GUITest -c -e1
-e syntax OK
$

> И можно чуть подробнее как он отслеживает окна? Корректно ли он
> определяет ид окна только что запущенного приложения, если уже имеются
> подобные окна?

Можно взять список идентификаторов окон, запустить приложение, повторно
взять список идентификаторов окон, отыскать новое окно.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Re: RFC: test-aboutdialog (GUI)

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1670 bytes --]

On Sun, Jun 19, 2005 at 02:58:13AM +0400, Alexey Tourbin wrote:
> On Sun, Jun 19, 2005 at 02:10:26AM +0400, Alexey Tourbin wrote:
> > On Sat, Jun 18, 2005 at 08:36:36PM +0400, Alexey Tourbin wrote:
> > > Под Xvfb пока не работает, не знаю точно почему. :(
> > 
> > Под Xvfb не работает XKeysymToKeycode() -- возвращает 0.
> > Это в процессе запроса на нажатие Alt (keysym=65513).
> 
> $ cat xtest.c
> #include <stdio.h>
> #include <X11/Xlib.h>
> #include <X11/keysym.h>
> int main()
> {
>         Display *display = XOpenDisplay(NULL);
>         if (!display)
>                 return 1;
>         KeyCode kc = XKeysymToKeycode(display, XK_Alt_L);
>         printf("keycode=%d\n", kc);
>         return 0;
> }
> $ gcc -I/usr/X11R6/include -L/usr/X11R6/lib xtest.c -lX11
> $ DISPLAY=:0 ./a.out
> keycode=64
> $ xvfb-run -a ./a.out
> xauth:  creating new authority file /home/at/.Xauthority
> keycode=0
> $
> 
> У кого-нибудь воспроизводится?  Any ideas?

Проблема решилась так:

--- X11-GUITest-0.20/GUITest.xs-	2004-01-16 23:41:42 +0000
+++ X11-GUITest-0.20/GUITest.xs	2005-07-13 01:35:14 +0000
@@ -213,6 +213,15 @@
 	return( GetKeySym(key, sym) );
 }
 
+/* Xvfb lacks XK_Alt_L; fall back to XK_Meta_L */
+#define XKeysymToKeycode(display, sym)			\
+({	Display *d = (display); KeySym s = (sym);	\
+ 	KeyCode kc = (XKeysymToKeycode)(d, s);		\
+ 	if (kc == 0 && s == XK_Alt_L)			\
+ 		kc = (XKeysymToKeycode)(d, XK_Meta_L);	\
+ 	kc;						\
+})
+
 /* Function: PressKeyImp
  * Description: Presses the key for the specified keysym.  Lower-level
  * 				implementation.

> NB: НЕ ЗАПУСКАЙТЕ xfvb-run в домашнем каталоге.

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[devel] Xvfb keyboard

[Alexey Tourbin]

[-- Attachment #1.1: Type: text/plain, Size: 1077 bytes --]

On Wed, Jul 13, 2005 at 08:06:54AM +0400, Alexey Tourbin wrote:
> > > Под Xvfb не работает XKeysymToKeycode() -- возвращает 0.
> > > Это в процессе запроса на нажатие Alt (keysym=65513).

[...]

> Проблема решилась так:
> 
> --- X11-GUITest-0.20/GUITest.xs-	2004-01-16 23:41:42 +0000
> +++ X11-GUITest-0.20/GUITest.xs	2005-07-13 01:35:14 +0000
> @@ -213,6 +213,15 @@
>  	return( GetKeySym(key, sym) );
>  }
>  
> +/* Xvfb lacks XK_Alt_L; fall back to XK_Meta_L */
> +#define XKeysymToKeycode(display, sym)			\
> +({	Display *d = (display); KeySym s = (sym);	\
> + 	KeyCode kc = (XKeysymToKeycode)(d, s);		\
> + 	if (kc == 0 && s == XK_Alt_L)			\
> + 		kc = (XKeysymToKeycode)(d, XK_Meta_L);	\
> + 	kc;						\
> +})
> +
>  /* Function: PressKeyImp
>   * Description: Presses the key for the specified keysym.  Lower-level
>   * 				implementation.

По поводу клавиатуры у Xvfb меня одолевает нехорошее предчувствие:
XK_Meta_L он тоже плохо понимает.  Всё чудесатее и чудесатее.

Вот пока программка, которая выдает на stderr клавиатурные события.

[-- Attachment #1.2: xkev.c --]
[-- Type: text/plain, Size: 992 bytes --]

// gcc -o xkev -Wall xkev.c -L/usr/X11R6/lib -lX11
#include <stdio.h>
#include <assert.h>
#include <X11/Xlib.h>
#include <X11/Xutil.h>

int main(int argc, char **argv)
{
	Display *d = XOpenDisplay(NULL);
	assert(d);

	int s = XDefaultScreen(d);
	Window w = XCreateSimpleWindow(d,
			XRootWindow(d, s), 0, 0, 320, 240, 0,
			XBlackPixel(d, s), XWhitePixel(d, s));
	assert(w);

	XTextProperty title;
	XStringListToTextProperty(argv, 1, &title);
	XSetWMName(d, w, &title);
	XSetWMIconName(d, w, &title);
	XFree(title.value);

	XSelectInput(d, w, KeyPressMask | KeyReleaseMask);
	XMapWindow(d, w);

	while (1) {
		XEvent ev;
		XNextEvent(d, &ev);

		XKeyEvent *evp = &ev.xkey;
		assert(evp->type == KeyPress || evp->type == KeyRelease);

		char *what = (evp->type == KeyPress) ? "press" : "release";
		unsigned int kc = evp->keycode;
		KeySym ks = XKeycodeToKeysym(d, kc, 0);
		char *str = XKeysymToString(ks);

		fprintf(stderr, "%s	%s	(kc=%u ks=%lu)\n",
				what,	str,	kc, ks);
	}
	return 0;
}

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]