Click sur un objet externe a Panoramic

Sujet: Re: Click sur un objet externe a Panoramic Mar 28 Oct 2014 - 8:37

Petit compte rendu après usage de cette dernière version :

Le test sur des champs classiques (autre que ie) fonctionne mais pas dans ie.

J'utilise CREAFICHE avec les lignes suivantes :

Citation :: hnd% = dll_call2("GetObjectUnderPosition",x%,y%) : PAUSE 100
res% = dll_call1("BringWindowToForeground",hnd%) : PAUSE 100
res% = dll_call2("AbsoluteMousePosition",x%,y%) : PAUSE 100
res% = dll_call2("MouseHighlight",200,0) : PAUSE 100
s$ = string$(200," ")
res% = dll_call1("GetSelectedText",adr(s$)) : PAUSE 100

CLEAR n%+24 : TEXT n%+24,TRIM$(s$)

Y a t il quelque chose que je ne fais pas correctement ?

EDIT :

En remplacant la ligne :

Citation :: res% = dll_call1("GetSelectedText",adr(s$)) : PAUSE 100

par celle ci :

Citation :: res% = dll_call1("GetSelectedIEtext",adr(s$)) : PAUSE 100

Cela fonctionne sur internet explorer.

J'ai fais plusieurs dizaine d'essais sans aucun message d'erreur.
Maintenant je dois tester au boulot tout a l'heure sur SIEBEL car là je suis encore chez moi.

Je crois qu'il y a un problème sur ta nouvelle fonction :

Citation :: res% = dll_call1("GetSelectedText",adr(s$))

Sujet: Re: Click sur un objet externe a Panoramic Mar 28 Oct 2014 - 10:08

Bizarre, le coup du IE. Effectivement, ce n'est pas évident dans toutes les situations. Je vais approfondir cela.

En attentant, j'ai modifié le petit code pour avoir Echap...D pour IE - çamarche bien chez moi, alors que Echap...C marche bien pour Firefox et les programmes locaux:

Code:: ' test_recuperer_texte_autre_programme.bas

label touche
dim txt$, res%, hnd%, x%, y%, s$

caption 0,"Récupération de textes"
on_key_down 0,touche

alpha 1 : top 1,10 :left 1,10 : caption 1,"X:"
edit 11 : top 11,10 : left 11,30 : width 11,40 : inactive 11
alpha 2 : top 2,10 :left 2,100 : caption 2,"Y:"
edit 12 : top 12,10 : left 12,130 : width 12,40 : inactive 12
alpha 3 : top 3,10 :left 3,200 : caption 3,"Objet:"
edit 13 : top 13,10 : left 13,250 : width 13,80 : inactive 13

alpha 5 : top 5,40 : left 5,10 : caption 5,"ESC=localiser A=capturer B=Surligner+capturer C=(B) tout sauf pour IE D=(B) pour IE"
memo 31 : top 31,70 : left 31,10 : width 31,400 : height 31,300 : bar_both 31 : inactive 31

dll_on "KGF.dll"
' res% = dll_call1("DebugKGF",2) : ' supprimer cette ligne après les tests !

end

touche:
if key_down_code=27 : ' pour localiser la zone à capter
res% = dll_call2("GetAbsoluteMousePosition",adr(x%),adr(y%))
hnd% = dll_call2("GetObjectUnderPosition",x%,y%)
text 11,str$(x%)
text 12,str$(y%)
text 13,str$(hnd%)
return
end_if
if key_down_code=65 : ' pour capter la zone localisée par ctrl/A - ctrl/C
res% = dll_call2("AbsoluteMouseLeftClick",x%,y%)
pause 100 : ' laisser le temps de l'affichage
res% = dll_call5("SendSingleKey",hnd%,65,1,0,0) : ' ctrl/A
res% = dll_call5("SendSingleKey",hnd%,67,1,0,0) : ' ctrl/C
pause 200 : ' laisser le temps de la copie
clear 31
item_add 31,clipboard_string_paste$
res% = dll_call1("BringWindowToForeground",handle(0))
return
end_if
if key_down_code=66 : ' pour capter la zone localisée par surligner - ctrl/C
res% = dll_call2("AbsoluteMousePosition",x%,y%)
pause 100 : ' laisser le temps de l'affichage
res% = dll_call2("MouseHighlight",200,0)
pause 100 : ' laisser le temps de l'affichage
s$ = string$(3000," ")
res% = dll_call5("SendSingleKey",hnd%,67,1,0,0) : ' ctrl/C
clear 31
item_add 31,trim$(s$)
res% = dll_call1("BringWindowToForeground",handle(0))
end_if : ' pour capter la zone localisée par surligner - copie spéciale IE
if key_down_code=67
res% = dll_call1("BringWindowToForeground",hnd%)
res% = dll_call2("AbsoluteMousePosition",x%,y%)
pause 100 : ' laisser le temps de l'affichage
res% = dll_call2("MouseHighlight",200,0)
pause 100 : ' laisser le temps de l'affichage
s$ = string$(3000," ")
res% = dll_call1("GetSelectedText",adr(s$))
clear 31
item_add 31,trim$(s$)
res% = dll_call1("BringWindowToForeground",handle(0))
end_if
if key_down_code=68
res% = dll_call1("BringWindowToForeground",hnd%)
res% = dll_call2("AbsoluteMousePosition",x%,y%)
pause 100 : ' laisser le temps de l'affichage
res% = dll_call2("MouseHighlight",200,0)
pause 100 : ' laisser le temps de l'affichage
s$ = string$(3000," ")
res% = dll_call1("GetSelectedIEtext",adr(s$))
clear 31
item_add 31,trim$(s$)
res% = dll_call1("BringWindowToForeground",handle(0))
end_if
return

Sujet: Re: Click sur un objet externe a Panoramic Mar 28 Oct 2014 - 13:52

Bonjour Klaus,

Je pense qu'il y a une limitation du copier-coller. regarde le print ecran ci-dessous.

Click sur un objet externe a Panoramic - Page 3 Page_s10

Click sur un objet externe a Panoramic - Page 3 Page_s10

Si tu regarde en haut dans le menu EDIT, Les options copier coller sont grisées.

Pourtant un CTRL+C manuel sur le surlignage (qui lui fonctionne) donne le bon résultat.

Comment peut on contourner ce problème ?

Sujet: Re: Click sur un objet externe a Panoramic Mar 28 Oct 2014 - 22:04

C'est une information intéressante, Minibug. Je suis en train de creuser cela. A priori, cela devrait être possible. Je te tiendrai au courant.

Sujet: Re: Click sur un objet externe a Panoramic Mar 28 Oct 2014 - 22:36

Je viens de mettre une nouvelle mouture de KGF.dll sur le WebDav. Essaie stp avec cette version, en utilisant Echap...C dans mon programme de test. Cela utilise la nouvelle fonction GetSelectedText qui est censée marcher partout, et je l'ai un peu modifiée pour Internet Explorer. Chez moi, elle prend bien les textes de la page affichée, l'URL etc, bien que la ligne "Copier" dans le menu "Edition" soit grisée. Je n'ai pas fait une nouvelle version de KGF.dll encore, pour cela. C'est juste pour faire un test - je ferai quelque chose de plus solide si cela donne quelques résultats. Essaie déjà, dans Internet Explorer, sur d'autres pages que Siebel...

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 7:48

Merci Klaus.

Je test chez moi et dans la journée sur SIEBEL et je te tiens au courant...

EDIT :
Je viens de faire le test chez moi sur logiciel, page internet, edit, etc...
Ca fonctionne parfaitement.

Reste maintenant le test au boulot.
Je t'informe dès que possible.

Encore un grand merci pour ton aide et ta ténacité Klaus !

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 10:36

Plus le défi est grand, plus le plaisir est grand !

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 10:53

Tu ne devrais pas nous tendre la perche comme ça Klaus. Avec une phrase pareil, nous des défis, sinon on va t'en trouver... Smile

Tiens par exemple, intégrer le GUI à l'éditeur, non ça c'est trop simple, mais je trouverais bien une idée sympa. Bon, je vais attendre par ce que là, je pense que tu as déjà de quoi faire...

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 11:59

@Klaus :

Bon, ca se complique...

Avec la DLL KGF téléchargée ce matin (10h30), et ton programme de test voila les résultats :

- Dans une page classique (Editeur Pano par exemple), tout est OK.

- Dans une page internet (IE, Chrome), difficultés a saisir les infos. Je m'explique.

la procédure, ESC puis C ne donne rien et recolle les infos gardées en mémoire de la fois précédente comme ci le C ne copié pas le surlignage... et remet la chaîne gardée dans le copié précédent.
Et pourtant ca fonctionnait ce matin correctement chez moi...
Pour obtenir le bon collage, je doit effectué rapidement et plusieurs fois (5, 10, 15 fois...) l'appuie alterné des touche B et C.

Quant a SIEBEL, rien de rien. aucun résultat ne passe.
Il recolle systematiquement le dernier collé avant l'usage du programme de test.
Par exemple je fais un CTRL+C manuel sur 'minibug'.
ensuite j'ouvre le programme test. Je fais ESC sur un champ de SIEBEL ou il a une info type '1321354564654' par exemple et ensuite C, je récupère 'minibug' dans la fenetre du test.
Et cela dans tous les cas. car là, même l'alternance de B et C rapide ne donne absolument rien !!!

Tu voulais un defi, et bien je crois que là, tu as de quoi faire ! drunken

Bon courage ! Wink

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 13:37

Tu veux bien essayer avec KGF.dll que je viens de placer dans le WebDav, dossier DLls ?

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 15:22

J'ai eu en message d’erreur dès le premier lancement.

voila :

Citation :: Fenetre titre :
Application Error

Message :
Exception EOleExeption in module KGF.DLL at 001D5323

J'ai tenté de reconfigurer le logiciel ACTIONAZ.
Cela ne fonctionne pas non plus sous SIEBEL !!

Je pense qu'il y a bel et bien une limitation du copié-collé.
Je suis bloqué. Je ne vois pas de solutions.

Dernière édition par Klaus le Mer 29 Oct 2014 - 17:58, édité 1 fois

On navigue en terrain relativement inconnu. Surtout sur un site propriétaire qui peut être composé de IFrame avec des caractéristiques spéciaux, etc.

Alors, nouvel essai avec une nouvelle mouture de KGF.dll dans le WebDav. Haut les coeurs - j'espère bien y arriver !

EDIT

Oups, j'ai oublué: il y a aussi une modif dans le programme de test:

Code:: ' test_recuperer_texte_autre_programme.bas

label touche
dim txt$, res%, hnd%, x%, y%, s$

caption 0,"Récupération de textes"
on_key_down 0,touche

alpha 1 : top 1,10 :left 1,10 : caption 1,"X:"
edit 11 : top 11,10 : left 11,30 : width 11,40 : inactive 11
alpha 2 : top 2,10 :left 2,100 : caption 2,"Y:"
edit 12 : top 12,10 : left 12,130 : width 12,40 : inactive 12
alpha 3 : top 3,10 :left 3,200 : caption 3,"Objet:"
edit 13 : top 13,10 : left 13,250 : width 13,80 : inactive 13

alpha 5 : top 5,40 : left 5,10 : caption 5,"ESC=localiser A=capturer B=Surligner+capturer C=(B) tout sauf pour IE D=(B) pour IE"
memo 31 : top 31,70 : left 31,10 : width 31,400 : height 31,300 : bar_both 31 : inactive 31

dll_on "KGF.dll"
' res% = dll_call1("DebugKGF",2) : ' supprimer cette ligne après les tests !

end

touche:
if key_down_code=27 : ' pour localiser la zone à capter
res% = dll_call2("GetAbsoluteMousePosition",adr(x%),adr(y%))
hnd% = dll_call2("GetObjectUnderPosition",x%,y%)
text 11,str$(x%)
text 12,str$(y%)
text 13,str$(hnd%)
return
end_if
if key_down_code=65 : ' pour capter la zone localisée par ctrl/A - ctrl/C
res% = dll_call2("AbsoluteMouseLeftClick",x%,y%)
pause 100 : ' laisser le temps de l'affichage
res% = dll_call5("SendSingleKey",hnd%,65,1,0,0) : ' ctrl/A
res% = dll_call5("SendSingleKey",hnd%,67,1,0,0) : ' ctrl/C
pause 200 : ' laisser le temps de la copie
clear 31
item_add 31,clipboard_string_paste$
res% = dll_call1("BringWindowToForeground",handle(0))
return
end_if
if key_down_code=66 : ' pour capter la zone localisée par surligner - ctrl/C
res% = dll_call2("AbsoluteMousePosition",x%,y%)
pause 100 : ' laisser le temps de l'affichage
res% = dll_call2("MouseHighlight",200,0)
pause 100 : ' laisser le temps de l'affichage
s$ = string$(3000," ")
res% = dll_call5("SendSingleKey",hnd%,67,1,0,0) : ' ctrl/C
clear 31
item_add 31,trim$(s$)
res% = dll_call1("BringWindowToForeground",handle(0))
end_if : ' pour capter la zone localisée par surligner - copie spéciale IE
if key_down_code=67
res% = dll_call1("BringWindowToForeground",hnd%)
res% = dll_call2("AbsoluteMousePosition",x%,y%)
pause 100 : ' laisser le temps de l'affichage
res% = dll_call2("MouseHighlight",200,0)
pause 100 : ' laisser le temps de l'affichage
s$ = string$(3000," ")
res% = dll_call3("GetSelectedText",x%,y%,adr(s$))
clear 31
item_add 31,trim$(s$)
res% = dll_call1("BringWindowToForeground",handle(0))
end_if
if key_down_code=68
res% = dll_call1("BringWindowToForeground",hnd%)
res% = dll_call2("AbsoluteMousePosition",x%,y%)
pause 100 : ' laisser le temps de l'affichage
res% = dll_call2("MouseHighlight",200,0)
pause 100 : ' laisser le temps de l'affichage
s$ = string$(3000," ")
res% = dll_call1("GetSelectedIEtext",adr(s$))
clear 31
item_add 31,trim$(s$)
res% = dll_call1("BringWindowToForeground",handle(0))
end_if
return

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 17:58

Bonsoir Klaus

Toujours pas de possibilité sous SIEBEL. J'ai un Access Violation a chaque fois.

Pas contre petites infos que je ne t'avais pas donné :

SIEBEL s'ouvre sur une VM (Machine virtuelle).
Le serveur n'est pas dans nos locaux et le tout passe par des VPN.

Bref c'est assez compliqué...

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 18:00

Donc, tu mets le petit programme et KGF.dll dans la machine virtuelle, non ? Car sinon, aucune chance...

Invité

J'interviens, et je ne sais pas si je devrais.

Il y a un petit moment que je me pose la question, mais il me manque un élément:
Si avec une image de l'écran, et c'est là le problème, on peut en ligne de commande lancer un ocr, on récupère le contenu.

J'ai fait l'essai avec FreeOCR.exe, mais je ne sais pas si il y a possibilité d'une ligne de commande, je récupère la texte qui est dans l'image.

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 19:15

C'est parce qu'un logiciel OCR est justement fait pour identifier du texte dans une image (scanner, photo, PGF, ...) et reconstruire, c'est bien le mot, la partie du texte reconnaissable. En général, la récupération est plus ou moins complète. Ca dépend du contraste, de la police utilisée, etc. Mais ce n'est pas une "extraction" de texte. C'est la reconstruction du texte par analyse de contrastes, groupes de pixels par groupes de pixels. On est là dans un registre tout à différent.

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 20:04

@cosmos70 :
Effectivement cela pourrait etre une idée mais j'ai besoin d'une solution 'live' car j'utilise cette base a longueur de journée...

@Klaus :
Pour la VM tu as tout compris, sauf que je n'ai aucune possibilité de faire cela.
Nous sommes juste les utilisateurs de la base, donc adieu copié-collé....
silent

Invité

je me retire:

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 20:49

J'ai pensé a une solution 'Semi automatique' :

Voici comment je vois les choses :

Citation :: x%=VAL(MID$(GRID_READ$(4,n%,1),6,4)) : y%=VAL(MID$(GRID_READ$(4,n%,1),17,4))
hnd% = dll_call2("GetObjectUnderPosition",x%,y%) : PAUSE 50
res% = dll_call1("BringWindowToForeground",hnd%) : PAUSE 50
res% = dll_call2("AbsoluteMousePosition",x%,y%) : PAUSE 50
res% = dll_call2("MouseHighlight",200,0) : PAUSE 50
s$=" " : CLIPBOARD_STRING_COPY s$
REPEAT
s$=CLIPBOARD_STRING_PASTE$
PAUSE 200
UNTIL s$<>" "
res% = dll_call1("BringWindowToForeground",handle(0))
TEXT n%+24,CLIPBOARD_STRING_PASTE$

PARTIE AUTOMATIQUE :
1) je récupère la position x et y mémorisé dans mon fichier
2) je récupère le handle de l'edit de la page SIEBEL
3) je mets la page de l'édit de SIEBEL en avant
4) Je positionne le curseur de la souris en x, y
4) Je procéde au surlignage
5) Je passe le clipboard a zéro (chaine vide)

PARTIE MANUELLE:
5) l'appui manuel sur CTRL+C déclenche l'enregistrement de la chaine dans le clipboard
6) Retour automatique a la procédure 1

En résumé, l'appui successif du CTRL+C manuel permettra la récupération des champs séléctionnés.

cheers

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 21:27

Il y a encore quelques imperfections mais je pense que je vais trouver...

Je vais non pas mettre une chaine vide mais plutôt une chaine du type "----------"
car il se peut que le champs soit vide auquel cas, cela pose probleme.

Je vais surement remplacer REPEAT UNTIL par WHILE END_WHILE qui semble plus adapté.
Je te tiens au courant Klaus et lorsque ca fonctionne je partagerai la trouvaille avec vous.

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 22:35

D'accord. En tout cas, par programme, je n'ai aucun moyen d'intervenir dans processus tournant dans une virtualisation. Le handle que je récupère, est celui de la fenêtre de virtualisation et non celui de l'Internet Explorer à l'intérieur de la virtualisation. Celui-ci reste inconnu du système à l'extérieur pour lequel l'ensemble du monde virtualisé n'est qu'un seul processus dont le détail est inaccessible. C'est le principe même de la virtualisation qui impose cela. Si j'avais su cela avant, j'aurais pu trouver l'explication plus facilement.

Ceci dit, sur Internet Explorer du système local (celui où est installé KGF.dll), est-ce que ça marche maintenant ? C'est surtout cela qui m'intéresse dans l'immédiat, pour valider ou éventuellement modifier ma fonction Get SelectedText.

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 23:00

Oui j'aurais du t'en parler avant, mais en fait je pensais pouvoir arriver a un résultat.

C'est après en échangeant avec mes collègues, quand je leurs ai expliqué mon idée, ils m'ont rappeler le fait d'être sur VM.

Concernant les dll, je pense qu'elles sont fonctionnelles car chez moi (Perso) tout fonctionne parfaitement.
D'ailleurs tu vois, je vais en prendre une partie pour la réalisation de ce mode de récupération.

Je te tiendrai au courant du fonctionnement de mon montage.

Encore une fois merci Klaus, et excuses moi de ne pas t'avoir informé suffisamment sur la manière d'opéré de cette base de données. il faut dire que c'est récent, on l'utilise seulement depuis le début de semaine dernière.

En tout cas merci d'avoir 'fait avancer le schmilblick'... sunny

Sujet: Re: Click sur un objet externe a Panoramic Mer 29 Oct 2014 - 23:47

Pas dfe problème, Minibug. Cela fait également progresser ma compréhension de ces mécanismes, et donne accessoirement naissance à quelques fonctions intéressantes pour KGF.dll, ce qui profite finalement à tout le monde.

Au fait, j'y pense: lorsque tu dois intervenir sur une fenêtre à l'intérieur de la virtualisation, tu as peut-être une touche, un raccourci ou autre à frapper, ou un endroit à cliquer, pour "y aller", c'est-à-dire basculer la réception des frappes du clavier du système hôte vers la virtualisation ? Comment fais-tu exactement ? Je pourrais peut-être reproduire cela afin de, justement, basculer dans la virtualisation ?

Sujet: Re: Click sur un objet externe a Panoramic Jeu 30 Oct 2014 - 0:48

Non rien de particulier.
En fait on utilise plusieurs outils dans les pages internet en local ou au travers de VPN et la base de données sur VM.

Pour la base pas de touches particulière hormis enter pour valider et tab pour passer d'un champ a l'autre.
Rien de bien exceptionnel !

ET l'on passe de fenêtre en fenêtre selon les besoins.

Sujet: Re: Click sur un objet externe a Panoramic Jeu 30 Oct 2014 - 1:02

Bien sûr, Minibug, mais ce n'est pas de ça que le parle. Lorsque tu es dans une application sur le système hôte (celui qui n'est pas virtialisé), comment fais-tu pour passer dans le système virtualisé ? Comment fais-tu pour donner le focus à Siebel, supposant qu'au départ, le focus est dans une application, disons Word ou Notepad, sur le système hôte ?

» Click sur un objet externe a Panoramic
» Lecture d'un objet externe à Panoramic.
» Fonctions d'envoyer de touches à un objet interne ou externe
» bizarrerie avec mark_off sur click d'un objet picture
» Fermer un programme externe à PANORAMIC