2.42 du 7 Juin 2013: ajout fonction GetHtmlFromURL

Nouvelle version:
KGF.dll V2.42 du 07/06/2013

Nouveauté:
nouvelle fonction GetHtmlFromURL(adr(url$),handle(memo%),mode%)

Modules modifiés:
KGF.dll
KGF_SUB.bas
KGF.chm, KGF.doc, KGF.pdf

Cette fonction est documentés dans le groupe des fonctions diverses. Elle permet d'extraire le source HTML à partir d'une URL, ou la partie texte épurée sans les codes HTML, ou la liste des liens identifiables. Le résultat est retourné dans un mémo.

Je prends !!! Very Happy

Joli, je testerais ça à l'occasion.

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

Intéressant, comme toujours !
L'utilisation que je pressens, pour moi: récupérer un tuto sur un logiciel quelconque, et le réarranger à ma façon.

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

Je ne comprends pas, si je veux mettre du code en exemple et que je valide, on me répond 'Vous n'êtes pas autorisé à afficher cette page'... et je perds tout ce que j'ai mis.
Donc je ne mets pas d'exemple (pas possible), mais je récupère l'erreur:
Not correct arithmetic expression : Error in function. Line : 6
sur la ligne d'appel à la dll...
J'ai bien la dernière version de KGF.dll, du 17/06 ...

Une remarque concernant KGF.pdf: il y a un ';' au lieu d'une virgule entre adr(url$) et handle, aussi bien dans le texte que dans les exemples.

Et quel est le message de "message" ? le message n'est pas passé et là, je ne vois pas trop ce que tu as voulu dire...

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

On s'est croisés, c'était un test provisoire, comme je disais, chaque fois que je mets un exemple de code enre balises code (j'ai essayé 3 ou 4 fois), au moment de valider mon message j'ai: 'Vous n'êtes pas autorisé à visualiser cette page', et je perds tout !

je me suis dit: tiens, je suis banni...

Je crois comprendre finalement que c'est quelque chose dans mon code qui provoque ça, probablement l'adresse url elle-même... si je mets une adresse bidon:

Code:: DIM url$, res%
url$ = "http://www.uneadresse.html"

MEMO 1
DLL_ON "C:\PANORAMIC\KLAUS\DLLs\KGF.dll"
res% = DLL_Call3("GetHtmlFromUrl",ADR(url$),HANDLE(1),1)
END

apparemment, c'est bien ça.

Mais si je mets dans le code l'exemple donné par Klaus: "http://klauspanoramic.funpic.org/" j'ai la même erreur à l'exécution (erreur ligne 6).

Comme quoi, encore une fois, l'intérieur des balises < code > est analysé et interprété ! ça commence à ne pas trop me plaire.
(l'adresse que j'avais mis n'était pas celle d'un site pornographique, mais d'un tutoriel sur le logiciel Handbrake: conversion de DVD en vidéos AVI)

Attention ! Certaines pages sont protégées et on ne peut afficher le code source.

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

Effectivement il doit y avoir quelque chose comme ça (mais bizarre que ça se traduise par une erreur Panoramic !)
En tout cas, si je reprends l'exemple de Klaus dans la doc (avec la virgule...), ça marche !

Ok ! Tant mieux si cela fonctionne.
le point virgule au lieu de la virgule doit être responsable de " Not arithmétic..."

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

Non c'était pas ça, j'avais bien remplacé le ';' par la virgule, et la ligne était parfaitement correcte.
Je pense plutôt que certaines urls doivent provoquer une erreur interne quelque part...
mais je suis bien incapable d'en dire plus.

Désolé pour les ";" dans la doc de cette fonction. C'est corrigé.

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

Je n'arrive pas à déposer ici l'adresse qui me cause l'erreur 'Not arithmetic...' puisque quelle que soit la façon dont je la dépose ici je récupère l'erreur forum: 'Vous n'êtes pas autorisé à afficher cette page', même en la mettant en plusieurs morceaux, sur plusieurs lignes, je récupère toujours cette satanée erreur...
Tiens, je vais la mettre sous forme d'image, là quand même !

2.42 du 7 Juin 2013: ajout fonction GetHtmlFromURL Url

Je l'ai eu !
(c'est un tutoriel pour le logiciel Handbrake).
Essayez de mettre cette adresse (et ce n'est sûrement pas la seule) n'importe où dans le texte d'un post et vous verrez.

Klaus, si tu essaies ta dll avec cette adresse, tu peux me dire si ça fait pareil pour le 'Not arithmetic...' ? ou alors je n'ai pas le droit de faire ça, mais pourquoi ?

Chez moi, ça donne ceci:
2.42 du 7 Juin 2013: ajout fonction GetHtmlFromURL <a href=

2.42 du 7 Juin 2013: ajout fonction GetHtmlFromURL Aa121

" />

Es-tu certain d'avoir le chemin vers la bonne version de la DLL ? C'est typiquement ce genre d'erreur si l'on charge une version qui n'a pas encore la fonction utilisée..

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

J'y ai vaguement pensé (pourtant je l'ai chargée en début d'am), je vérifie, le pdf est manifestement à jour, bon, je recharge KGF.dll, à tout hasard.
La version que je viens de recharger est la même, même taille...
Je refais un essai, mais sans conviction.

Et j'ai toujours la même erreur, sur cette adresse particulière, j'y perds mon latin (le peu qui me reste).
Et j'ai bien la fonction puisque ça marche si je mets l'adresse de ton exemple.

Quelque chose qui bloque l'accès chez moi (av, parefeu ...) ? pourtant j'y accède sans problème en direct, et puis c'est bizarre que ça se traduise par une erreur panoramic, toujours la 'Not correct arithmetic expression' sur la ligne du dll_call3.

EUREKA !
Ne cherche plus Klaus, j'ai trouvé MON erreur !
Pris par l'habitude, j'écrivais
"GetHtmlFromUrl"
au lieu de:
"GetHtmlFromURL"
C'est idiot de ma part, mais bon, pas évident non plus...!!! je ne savais pas qu'il fallait respecter rigoureusement majuscules et minuscules !

Eh oui, les noms des fonctions DLL sont "case-sensitive"...

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

C'est noté, mais finalement je ne récupère pas grand chose, essentiellement des 'Navigation vers la page web annulée... Essayez la chose suivante...' au milieu d'une trentaine de lignes de code html sans intérêt.
Quand je demande le texte pur, j'ai ceci:
Navigation vers la page Web annulée

Essayez la chose suivante :
Actualisez la page.
et c'est tout (je fais les essais avec l'url donnée dans l'exemple).

C'est ce genre de choses que j'obtiens avec l'URL du Mag De Panoramic. Cela tient au fait que l'outil utilisé par Ygeronimi utilise des scripts localisés ailleurs... Ca marche bien avec mon site, avec http://google.fr etx. Regarde ce programme:

Code:: ' download_une_URL.bas

label charger, html, klaus, mon

dim url$, fic$, dossier$, res%
fic$ = "test.bak"
dossier$ = "C:\Documents and Settings\Klaus\Mes documents\Mes projets Delphi\KGF\"

KGF_initialize("KGF.dll")

full_space 0
edit 1 : top 1,10 : left 1,10 : width 1,400
button 2 : top 2,10 : left 2,420 : caption 2,"Charger" : on_click 2,charger
button 4 : top 4,10 : left 4,520 : caption 4,"HTML" : on_click 4,html
memo 3 : top 3,120 : left 3,10 : bar_both 3
width 3,width(0) - 40 : height 3,400

container_option 10 : top 10,40 : left 10,10 : caption 10,"URL:"
width 10,320 : height 10,70
option 11 : top 11,20 : parent 11,10
left 11,10 : width 11,300 : on_click 11,klaus
caption 11,"http://klauspanoramic.funpic.org/index.html"
option 12 : top 12,40 : parent 12,10
left 12,10 : width 12,300 : on_click 12,mon
caption 12,"http://monpanoramic.funpic.org/index.html"

combo 21 : top 21,40 : left 21,340
item_add 21,"HTML intérieur"
item_add 21,"Texte seulement"
item_add 21,"Liens seulement"
item_add 21,"HTML extérieur"
SelectComboBoxItem(handle(21),1)

end

klaus:
text 1,"http://klauspanoramic.funpic.org/index.html"
return

mon:
text 1,"http://monpanoramic.funpic.org/index.html"
return

charger:
if file_exists(dossier$+fic$)=1 then file_delete dossier$+fic$
url$ = trim$(text$(1))
DownloadFile(url$,dossier$+fic$)
if DownLoadFile=0
clear 3
file_load 3,fic$
else
message "Erreur"
end_if
return

html:
clear 3
item_add 3,"Chargement..."
url$ = trim$(text$(1))
res% = dll_call3("GetHtmlFromURL",adr(url$),handle(3),item_index(21))
if res%=1
clear 3
item_add 3,"++ erreur ++"
end_if
return

#INCLUDE "KGF_SUB.bas"

Clique sur l'option de mon site, puis choisis "Charger" - tu as tout le HTML. Ensuite, par le combo à droite, tu choisie "texte seul" puis clic sur "HTML" et tu as le texte pur de ma page. Puis, tu choisis "Liens seulement" et clic sur HTML, et tu as la liste des liens.

Note bien qu'au lancement de la fonction par la touche HTML, le mémoi est chargé par la lligne "Chargement...". Lorsque la fonction termine, le mémo est effacé et rempli par le résultat.

Effectivement, certaines pages web sont réfractaires à ce traitement. Ce sont les pages dans lesquelles l'essentiel se passe dans des java-script résidant ailleurs, des pages au HTML crypté (obfuscated), etc. Je suis en train de chercher une solution pour ces cas, mais ce n'est pas simple.

Rhoooo....

PIRATES !!!

lol!

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

J'ai essayé ton exemple Klaus mais je n'y arrive pas
Pour 'Charger', je récupère une 'Erreur' sur le DownLoadFile quelle que soit l'url (j'ai bien modifié Dossier$ pour mettre un chemin chez moi: C:\Temp).
Pour Html, toujours pareil, 'Navigation vers la page Web annulée'

Je pense que ça vient de ma configuration à moi qui doit être défaillante (mais du diable si je sais pourquoi), donc ne te casse pas la tête là-dessus, je dois avoir quelque chose qui me bloque quelque part (anti-virus, parefeu, firefox...?)

Invité

Klaus,

Comme je n'avais pas de réponse pour pouvoir sélectionner toute la page, j'ai vu cette fonction, et je l'ai essayé.

res% = DLL_call3("GetHtmlFromURL",adr(url$),handle(17),2)

2 étant pour récupéré le texte pure.

Seulement voila, dans les sites, les séparateurs est le caractère de tabulation, qui a vraiment son utilité, même pour du texte brut.

Y-a-t-il pas possibilité de récupérer tout le texte avec les tabulations?
Ce serait impeccable.

Merci d'avance.

Là, dans l"immédiat, je n'ai pas la réponse. Je vais creuser le sujet.

Invité

Compris, merci.

Invité

Je viens de regarder le html avec envoi: 1 dans la fonction.

Il me semble difficile de récupérer les tabulations.
Dans le code html, les données sont dans un tableau. Ors, lorsqu'on sélectionne l'ensemble des pages, et qu'on copie, cela est transformée en tabulation.

Ce qui serait bien c'est d'avoir une fonction copie de la page, ce serait plus facile à contourner.

Avec ce petit code:

Code:: dim url$, res%

url$ = "http://www.klaus49.5gbfree.com/klauspanoramic/index.html"

memo 17 : bar_both 17

' retourner tous les liens de la page d'accueil du site de Klaus
dll_on "KGF.dll"
res% = DLL_call3("GetHtmlFromURL",adr(url$),handle(17),2)

Voici ce que je récupère en donnant l'URL de mon site:

Citation :: Site cree avec la version gratuite d'XWebDesignor pour un usage exclusivement personnel

Panoramic Copyright 2010 KlausSite perso KlausVersion du 14/11/2013Accès rapide
Bienvenue

Panoramic
EcartEnJours

JoursDeSemaine

DateAdd

Bug_Color

Format_Nombre

Calendrier

Marienbad

PISAM

ClipBoard

KGF.dll

PANEDI

SUDOKU

ForumBrowser

PSA
Pseudo-objets
GLIST

TAB

FAM

FRAME
Externes
Clipbord2Bmp

TextLen

WinTextPrint
Contributions
Coursedescargot

Jeu addition
Contact

Anglais
NewsCe site est dédié aux membres du forum Panoramic !

Sur mon site, je présente toutes les réalisations avec et autour de Panoramic que je mets à libre disposition. Tous les logiciels sont entièrement libres de droit, peuvent être téléchargés gratuitement et peuvent être utilisés librement pour tout usage, qu'il soit privé, professionnel ou à titre d'enseignement.

Certains modules sont réalisés entièrement en Panoramic; ils se trouvent sur la page "Panoramic".

D'autres sont réalisés en Visual Basic V4 (version abandonnée par MicroSoft et entièrement libre de droits), et se trouvent sur la page "Externes"..

Certains modules peuvent utiliser des outils externes; dans ce cas, il s'agit exclusivement de vrais gratuiciels (freeware) qui sont distribués également.

Les modules en VisualBasic V4 ainsi que les compléments freeware se trouvent sur la page "Externes" et sont distribués sour forme d'exécutables .exe . Certains peuvent avoir un mode Windows interactif, mais tous fonctionnent en mode commande DOS et peuvent donc être appelés par Panoramic par execute_wait "xxx".Présentation 14/11/2013 EDIT avec filtres et masques
17/05/2013 liens directs dans page Externes
08/01/2012 Nouveau: Histogrammes: Histo.dll
01/01/2012 Nouveau: PrinterCurrentPagePreview (dans DLL divers Print.dll)
20/11/2011 Nouveau: PrinterPrintText (dans DLL divers Print.dll)
18/11/2011 Exécuter un script VBS
16/11/2011 CompareStrA en ASCII
08/11/2011 Noms de fichiers courts facilement
23/03/2011 Nouvelle fonction AttachWindowToWindow
01/03/2011 Calculer la distance de freinage
27/02/2011 Lecteur PDF en Panoramic
27/01/2011 FF, IE, Chrome en Panoramic
25/01/2011 Nouvel objet WebBrowser
22/01/2011 Designer V1.09
21/01/2011 Designer V1.07
17/01/2011 Utilitaire Designer
16/01/2011 Tri fichier CSV (contribution)
05/01/2011 Forms transparentes
03/01/2011 Nouvelle DLL SetWindowButtons
02/01/2011 Nouvelle DLL IsRunning
20/12/2010 Jeu de Belote
19/12/2010 Version 1.09 de KGF.dll
17/12/2010 Jeu "Télépathie"
16/12/2010 Serveur remplaçant les DLL
12/12/2010 Ajout objet Image à l'IDE
11/12/2010 Ajout objet Container à l'IDE
21/11/2010 Correction d'anomalie dans FRAME
12/11/2010 Nouvel Analyseur de source
07/11/2010 Nouvelle DLL GVL
08/09/2010 Nouvelle DLL Print
04/09/2010 Nouvel objet FRAME
22/08/2010 Nouvel objet FAM
12/08/2010 Nouvel objet TAB
08/08/2010 ItemIndexInString (Strings.dll)
03/08/2010 InString avec offset (Strings.dll)
02/08/2010 StringOverString (Strings.dll)
01/08/2010 Nouvelle DLL Strings
31/07/2010 Plusieurs DLL's (KGF.dll)
28/07/2010 Outils DANS une form (KGF.dll)
17/07/2010 Nouvel objet GLIST
08/07/2010 Ajout fonction FolderSelect
06/07/2010 10 objets VLE et MSKE
02/07/2010 Nouvel objet MaskEdit
01/07/2010 Nouvel objet ValueListEditor
26/06/2010 Ajout fonction RandomValue
24/04/2010 Correction anomalie KGF.dll
23/06/2010 Créer des fenêtres irrégulières
22/06/2010 Nouvelles fonctions pour forms
21/06/2001 Trouer une form dans KGF.dll
20/06/2010 WindowTopMost dans KGF.dll
19/06/2010 Ajout dialogues dans KGF.DLL
14/06/2010 Créer des grilles dans SUDOKU
11/06/2010 Jeu SUDOKU solution
11/06/2010 IDE: duplication d'objet
05/06/2010 IDE dispo en version BETA
18/05/2010 IDE écrit en Panoramic
08/05/2010 Extension fonctions d'impression
04/05/2010 Ajout jeu d'addition
02/05/2010 Ajout impression images
30/04/2010 Gestion d'impression
26/04/2010 Ajout jeu Course d'Escargots
26/04/2010 Ajout "messages" à KGF.dll
25/04/2010 Nouvelles fonctions KGF.dll
17/04/2010 Mise à jour de KGF.dll
22/03/2010 Version anglaise complète
20/03/2010 Ajout page Contributions
19/03/2010 Ajout version anglaise
18/03/2010 Réécriture de mon site
16/03/2010 Crash dissue de mon système
13/03/2010 Extensions KGF.dll
12/02/2010 Ajout test Presse-Papier
05/03/2010 Ajout de PISAM avec Excel
03/03/2010 Ajout du jeu Marienbad
02/03/2010 Création de ce site

Liens utilesForum PANORAMIC Français
Sites des Panoramiciens

Site with XWebDesignor By www.neutssoftware.com

Il n'y a pas de tabulations, qui n'ont effectivement pas de sens dans ce contexte. Mais il y a les retours à la ligne.

Il n'y a pas besoin des fonctions WB_xxx pour cela. La fonction travaille seule, uniquement avec une URL.

» 2.43 du 29 Juin 2013: ajout fonction IsFTPOnline
» 1.96 du 27 Février 2013: ajout ReadBlockFromBinaryFile
» 2.46 du 13/10/2013: ajout function SendSingleCharAsVKCode
» 1.94 du 26 Février 2013: ajout ReplaceStringInBinaryFile
» 2.41 du 3 Juin 2013: corr. bug dans RichEditGetInformation