Sub de conversion Html -> Texte

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

Une petite sub de conversion, j'utilisais un programme externe gratuit (HtmlAsText) mais on peut très bien le faire en Panoramic pur (ni programme externe, ni dll) pour un usage simple.
Le résultat est du texte brut avec suppression des balises, remplacement de quelques caractères spéciaux (à compléter éventuellement), les seules balises prises en compte sont les sauts de ligne, pour la clarté du résultat.
Après, on analyse le résultat pour chercher ce qu'on veut.
(voir une application dans 'présentation et bavardage...', 'surveillance du forum').

L'astuce principale qui facilite bien les choses est de lire intégralement le fichier source dans une seule variable.
C'est possible grâce à la commande FILE_READBUF n,V$,c (lecture de c octets du fichier n dans V$) qui par bonheur n'est pas limitée en taille de lecture et est très rapide. C'est fait en principe pour les fichiers texte, ça marche aussi pour les fichiers binaires, avec l'inconvénient majeur de se bloquer sur le caractère '26' (=&h1A), qu'on ne trouve heureusement pas dans les fichiers html (qui sont des fichiers de type texte).
(pour du binaire, il y a une dll de l'ami Klaus qui fait ça très bien, sans perte).
A partir de là c'est très facile d'analyser le contenu de la variable obtenue avec des INSTR()

Cette sub est très améliorable, je n'ai supprimé que les balises et les scripts, mais il y a des structures html qui passent à travers, il faudrait l'essayer avec divers types de fichiers pour peaufiner.

Voici:

Code:: SUB Html2Txt(f$,ft$)
' conversion fichier html f$ en fichier texte brut dans ft$
DIM_LOCAL a$,s$,ba$,k%,k1%,ns%,csp$(20),crm$(20)
DATA "Carspe": ' caractères spéciaux, à remplacer (à compléter éventuellement)
DATA " ","<",">","&",""","»","F": ' caractère à remplacer
DATA " ","<",">","&",CHR$(34),CHR$(13)+CHR$(10)+CHR$(187): ' caractère(s) de remplacement
ns% = 0: RESTORE: READ a$: WHILE a$<>"Carspe": message a$: READ a$: END_WHILE: READ a$
WHILE a$<>"F": ns%=ns%+1: csp$(ns%) = a$: READ a$: END_WHILE
FOR k% = 1 TO ns%: READ a$: crm$(k%) = a$: NEXT k%
' lecture intégrale du fichier htm dans la variable a$
FILEBIN_OPEN_READ 9,f$: k% = FILEBIN_SIZE(9): FILEBIN_CLOSE 9
FILE_OPEN_READ 9,f$: FILE_READBUF 9,a$,k%: FILE_CLOSE 9
k% = INSTR(a$,"</head>"): IF k%=0 THEN message "Pas de balise </head>": EXIT_SUB
a$ = MID$(a$,k%+7,LEN(a$))
' suppression des balises <script...>...</script> et <style...>...</style> et de
' leur contenu
k% = INSTR(a$,"<script")
WHILE k%>0
k1% =INSTR(a$,"</script>"): a$ = LEFT$(a$,k%-1)+MID$(a$,k1%+9,LEN(a$))
k% = INSTR(a$,"<script")
END_WHILE
k% = INSTR(a$,"<style")
WHILE k%>0
k1% =INSTR(a$,"</style>"): a$ = LEFT$(a$,k%-1)+MID$(a$,k1%+8,LEN(a$))
k% = INSTR(a$,"<style")
END_WHILE
' suppression de toutes les balises (on garde les sauts de lignes, pour lisibilité)
k% = INSTR(a$,"<")
WHILE k% > 0
k1% = INSTR_POS(a$,">",k%): ba$ = MID$(a$,k%,k1%-k%+1): ' balise trouvée
IF LEFT$(ba$,3) = "<br": ' saut de ligne
a$ = LEFT$(a$,k%-1)+CHR$(13)+CHR$(10)+MID$(a$,k1%+1,LEN(a$))
ELSE
a$ = LEFT$(a$,k%-1)+MID$(a$,k1%+1,LEN(a$)): ' suppression
END_IF
k% = INSTR(a$,"<")
END_WHILE
' remplacement des caractères spéciaux
FOR k% = 1 TO ns%
s$ = csp$(k%): k1% = INSTR(a$,s$)
WHILE k1%>0
a$ = LEFT$(a$,k1%-1)+crm$(k%)+MID$(a$,k1%+LEN(s$),LEN(a$))
k1% = INSTR(a$,s$)
END_WHILE
NEXT k%
FILE_OPEN_WRITE 9,ft$: FILE_WRITELN 9,a$: FILE_CLOSE 9
END_SUB

Merci JL35, je n'essayerais pas de l'améliorer cette semaine (on me reproche déjà d'être trop sur l'ordi...) mais dans 10 jours, je pense que je creuserais un peu, c'est une sub très pratique.

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

Bonjour Jicehel, déjà une petite modif: suppression en plus des balises <style...> </style> et de leur contenu, sans intérêt pour le but cherché.
Pour ce qui est de la page d'accueil du forum (= 12 pages imprimées en htm, un vrai fouillis), il n'y a plus de données parasites dans le fichier résultat.

Et puis ils ont raison, profite un peu de tes vacances, tu devrais être à la plage là Very Happy

Je répète que le but est d'obtenir du texte brut, sans mise en page (ou alors minimum pour que ce soit lisible, et surtout facile à analyser. Ça peut effectivement être très pratique, et en plus sous forme de sub.
On peut certainement faire quelque chose de plus subtil et plus joli, mais ça risque de se transformer très vite en usine à gaz !

C'est vrai, après, je pense que l'on peut faire une procédure mère avec des paramètres pour choisir le mode de récupération genre RecuperePageHTML(Chemin,ModeDeSortie), avec ModeDeSortie pouvant être "TexteBrut", "TexteMisEnForme" (Pour la taille de la police, le gras, italique, souligné, ...), "TexteHTML" (Des pavé de texte avec des balises HTML) et je ne sais encore quels autres modes. Le premier "TexteBrut" appelerait ta porcédure

Nombre de messages : 7112 Localisation : 77 Date d'inscription : 29/11/2007

C'est certain qu'on peut faire tout ça, perso je ne le ferai pas, ça me paraît bien complexe a priori de respecter la mise en forme du texte, et de faire tenir ça dans une sub, ça fait un paquet de paramètres à analyser.
Mais bon, c'est possible, et si on en a l'usage, ce qui n'est pas mon cas, toujours a priori, pourquoi pas.

» Conversion PSI <=>BAR
» Conversion texte en rtf
» Conversion de fichiers texte OEM vers ANSI
» Conversion TSL/RVB
» Conversion txt en rtf