exportation de fichiers texte et lettres accentuées

Bonjour,

Lorsque j'importe à partir de tableurs des fichiers .csv (fichiers texte dont les champs sont séparés par des point-virgules) créés par mon programme Panoramic, les lettres accentuées françaises sont remplacées par des points d'interrogation sur fond de losanges noirs.

Sauriez-vous l'origine de ce problème et s'il existe un moyen de créer des fichiers textes dans Panoramic de telle manière que les logiciels les recevant reconnaissent les lettres accentuées françaises ?

Je vous remercie.

Bonjour Ambroise,
Je ne suis pas sur du tout, mais essaye d'utiliser une police de caractères à pas fixes, tel que "Terminal", "Courier", "Fixedsys", "system",etc...
@+

C'est une affaire d'encodage plus que de police, à mon avis. Existe-t-il une fonction d'encodage dans Panoramic ? (comme on a utf-8, iso-8859-1, etc pour le html)

Bonjour,
Au départ, et je m'en excuse, tu nous poses des problèmes, mais tu ne mets pas de code qu'on puisse voir ou essayer. Parfois des lignes, mais on ne voit pas le contexte, le pourquoi de la chose (comme on dit).

Il me semble que tu parles de fichier EXEL, mais je n'ai pas exel.
J'ai un petit programme que j'utilise parfois pour voir l'effet d'une fonte. Essayes-le et vois si il ne s'agit pas d'un mauvais choix de fonte (en dehors du codage que Panoramic n'utilise pas)
Il y a des fonte qui ont des caractères qui ne sont pas standart. Il y en même des graphiques.

Code:

  dim a%,b%,c%,a$
  label voir , copy
  height 0,360:width 0,920
  list 1:width 1,200:height 1,280:font_size 1,12:font_names_load 1:on_click 1,voir
 
  picture 2:left 2,200:width 2,700:font_color 2,255,255,255:2d_target_is 2:print_target_is 2
            height 2,280:color 2,0,0,0:font_size 2,30
  button  3:left 3,100:top 3,290:caption 3,"copy":on_click 3,copy
  end
  copy:
      a$=item_index$(1):clipboard_string_copy a$
  return
  voir:
  color 2,0,0,0
  font_name 2,item_index$(1)
  2d_fill_color 0,0,0
  print_locate 10,00: print "aàâ eéèê iî oô uù y "
  print_locate 10,70: print "bcdfghjklmnpqrstxwxz"
  print_locate 10,140:print "ABCDEFGHIJKLM"
  print_locate 10,210:print "NOPQRSTUVWXYZ"
  return

Peut-être trouveras-tu la réponse. A moins que quelqu'un qui possède Exel te réponde.

Mais pour être efficace face à un problème, mets un code qui puisse être testé. J'ai pas le temps de reconstituer un programme pour connaitre l'erreur. En ce moment, je suis comme Jicehel, je n'arrive pas à me lancer dans les programmes, j'ai la tête ailleurs.

J'y pense. Tu parles de HTML, mais en Html, tu fais un choix de fonte au départ avec par exemple:

Citation :

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />

Ce qui fait que les fontes employées, à part celles que tu définis, ont les caractéristiques demandées. Si je ne me trompe pas, c'est du pareil au même avec Panoramic. tu n'as pas l' "encoding" mais tu choisis la fonte par rapport à tes besoins.

cosmos70 a écrit:

Bonjour,
Au départ, et je m'en excuse, tu nous poses des problèmes, mais tu ne mets pas de code qu'on puisse voir ou essayer. Parfois des lignes, mais on ne voit pas le contexte, le pourquoi de la chose (comme on dit).

Mon code est tellement banal qu'il ne mérite pas d'être cité. Je crée un fichier de type csv (lisible par les tableurs) avec ce code :

Code:

file_open_write n%,"fichiercsv.csv"
ligne$ = "nom;prénom;âge;domicile;..."
file_writeln n%,ligne$

Rien de plus. Quand je tente d'ouvrir le fichier fichiercsv.csv avec un tableur, les mots "prénom" et "âge" par exemple affichent <?> à la place des lettres "é" et "â".
Il est clair qu'il s'agit d'un problème d'encodage. C'est pourquoi je demandais comment on gérait l'encodage dans Panoramic.

cosmos70 a écrit:

Bonjour,
J'ai un petit programme que j'utilise parfois pour voir l'effet d'une fonte. Essayes-le et vois si il ne s'agit pas d'un mauvais choix de fonte

Ton code (dont je te remercie) m'a permis de voir que la Lucida console que j'utilise, affiche bien toutes les lettres accentuées françaises.

cosmos70 a écrit:

J'y pense. Tu parles de HTML, mais en Html, tu fais un choix de fonte au départ avec par exemple:
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />
Ce qui fait que les fontes employées, à part celles que tu définis, ont les caractéristiques demandées. Si je ne me trompe pas, c'est du pareil au même avec Panoramic. tu n'as pas l' "encoding" mais tu choisis la fonte par rapport à tes besoins.

A mon avis, ce n'est pas du pareil au même. L'encodage et la fonte sont deux choses différentes.

J'ai légèrement complété ton code, pour que cela s'exécute:

Code:

dim n%, ligne$
n%=1
file_open_write n%,"fichiercsv.csv"
ligne$ = "nom;prénom;âge;domicile;..."
file_writeln n%,ligne$
file_close n%

et voici ce que donne le fichier chargé dans Excel:
[img][/img]
Tout semble normal. Le problème doit venir de ta configuration logicielle. Je suis sous XP Pro SP3, avec Excel 2003. Tout est normal.

Merci Klaus d'avoir répondu.
Depuis que j'ai laissé Windows 98, je n'ai plus exel, et sans voir de lignes du programme, il est impossible de savoir d'où pouvait venir le problème, et je l'ai dit.

Ambroise, je peux dire que les lignes de ton programme, que tu montres, chez moi, cela ne posent pas de problème.

J'ai été voir sur ton profil pour voir d'où tu venais, et je remarque qur tu utlises le LATIN et l'ESPÉRANTO.
Es-tu sûre d'avoir le codage français comme il est configuré sur notre clavier?
Si tu as choisi une autre configuration de clavier, cela vient surement de là.
Chez moi, la lecture de n'importe quel fichier texte accentué, dans un memo ou autres, est bien retransmis.

Bonjour et merci pour vos réponses.

Concernant la configuration clavier, j'utilise bien le clavier Français(France) dans ma programmation. Quand j'écris en espéranto, par un petit freeware, je bascule sur le clavier espéranto qui possède ses accents propres . Quant aux lettres latines, ce sont les lettres françaises puisque notre alphabet est latin.

Quant au tableur Excel, je ne le possède pas, j'utilise un tableur freeware (Easy Tables) qui accepte les accents lorsqu'on ouvre un fichier .csv créé par lui. Or il n'affiche pas les accents lorsque j'ouvre un fichier .csv provenant de mon programme écrit en Panoramic. J'ai testé avec d'autres tableurs freeware ( Gnumeric ; Tabular Text Editor ; SSuite Accel), et j'obtiens le même résultat.

Souhaitant coupler mon programme avec un tableur freeware pour que tous les futurs utilisateurs de mon programme puissent se le procurer facilement, il est donc impératif que j'arrive à solutionner ce problème d'accent.

J'ai testé la chose suivante : j'ai écrit dans Notepad (donc extérieurement à mon tableur) la ligne é;è;à;ç . J'ai enregistré avec le codage UTF-8 qui, théoriquement, reconnaît tous les accents de la création, en le choisissant dans la liste déroulante affichée en bas de la fenêtre de Notepad. Je vois que mon tableur affiche correctement les accents. J'en conclus qu'il faille enregistrer les données avec ce codage universel.

Ma question est donc bien : comment forcer un programme Panoramic à créer un fichier dans le codage de son choix (dans mon cas : UTF- 8 ) ?

Par défaut, il n'y a aucun encodage. C'est uniquement la valeur du caractère qui va être enregistré (son code ascii) si tu travail en csv (c'est du texte brut). Le problème c'est de faire correspondre les codes ascii des accents avec les codes attendus par ta fonte.
Si dans ton tableur, tu enregistre des mots accentués dans un fichier csv. Est-ce que quand tu réouvre le fichier, le caractère s'affiche correctement
Si non, ce n'est pas la peine d'aller chercher plus loin. tu doit banir les accent (faire un programme qui va les chercher dans tes fichiers et remplacer les caractères par des caractères non accentués)
Si oui, utilise le programme dump hex de JL35 pour voir les codes utilisés pour coder les accents et tu te fait une table de corespondance (genre: é = 200 par exemple)
Après, il faut que tu recherche les codes accentués dans les chaines de caractères que tu veux sauvegarder et que tu remplaces les codes ascii de base par les codes attendus par ton tableur.
Voilà, j'espère que mon explication est suffisante et claire, sinon, on essayera de faire mieux en répondant à tes questions

Merci pour ces remarques.
Pour transformer le texte à envoyer au tableur, dois-je incorporer le code de JL35 dans mon propre code ?

Non, c'est ça qui est cool, l'outil de JL35 peux être utilisé en l'état, tu ouvres juste avec le fichier que tu as créé

Je crois qu'avant tout, il faut lever le doute sur la représentation des caractères ASCII. Ecris, à partir de ton tableur, les caractères accentués dans un fichier, et écris les mêmes caractères avec ¨Panoramic dans un autre fichier. Compare ces deux fichiers avec un éditeur hexa (notepat++ fait l'affaire, mais il y en a d'autres). Sinon, tu peux utiliser Panoramic et les commandes FILE_BIN_... pour lire ces fichiers caractère par caractère et afficher leur code ASCII. Normalement, le deux fichiers DOIVENT être identiques.

Esct-ce qu'avec ton tableur, tu peux écrire des caractères accentués dans un fichier, puis relire le même fichier et obtenir le bon résultat ? Ca aussi est à vérifier.

LOL Klaus ... Je crois que l'on est d'accord la dessus ...

Jicehel a écrit:

Si dans ton tableur, tu enregistre des mots accentués dans un fichier csv. Est-ce que quand tu réouvre le fichier, le caractère s'affiche correctement
Si non, ce n'est pas la peine d'aller chercher plus loin. tu doit banir les accent (faire un programme qui va les chercher dans tes fichiers et remplacer les caractères par des caractères non accentués)

J'ai créé un fichier sous mon tableur.
J'ai créé le même fichier sous mon programme Panoramic.

Le fichier issu du tableur s'affiche avec l'encodage UTF - 8 dans Notepad (indication dans la liste déroulante en bas de la fenêtre Notepad lorsqu'on tente une Sauvegarde sous...) . Bien entendu, le tableur réaffiche correctement le fichier qu'il a lui-même créé.

Le fichier issu du programme Panoramic s'affiche avec l'encodage ANSI dans Notepad (indication dans la liste déroulante en bas de la fenêtre Notepad lorsqu'on tente une Sauvegarde sous...) . Si je charge dans mon tableur ce fichier ANSI, les accents ne passent pas. Si je sauvegarde ce fichier ANSI dans Notepad en choisissant l'encodage UTF - 8, le tableur affiche les accents.

Mais ça, je le savais. Ce que je voulais savoir, c'est si une fonction ou un moyen existe dans Panoramic pour que l'enregistrement du fichier soit forcé dans l'encodage UTF - 8. Si oui, tout est bien qui finit bien. Si non, alors inutile de m'acharner... Il me faut abandonner l'idée de coupler mon tableur avec mon programme Panoramuic...

Eh bien, je pense que tu n'as pas de chance: Panoramic écrit en conde ANSI. UTF-8 est une des variantes de codane Unicode qui code les caractères sur un nombre variable d'octets (entre 1 à 4 octets pour 1 seul caractère). Pour info, voici un lien vers un article Wikipedia qui décrit assez bien ce qu'il en est.

Si tu dois absolument produire su Unicode, il te faut écrire un sousprogramme convertisseur en Panoramic, ce qui n'est pas si compliqué que ça: c'est un simple tableau string du genre
dim UTF8$(255)
Tu places les octets repésentant le code UTF8 pour chaque caractère ANSI de 0 à 255 dans cette table (tu les trouves également sur Wikipedia), et tu construis ta chaîne de sortie par une boucle du type:

Code:

out$ = ""
for i%=1 to len(in$)
  out$ = out$ + UTF8$(asc(mid$(in$,i%,1))))
next i%

sachant que in$ est la chaîne que tu veux transmettre, et out$ sera la chaîne traduite réellement à écrire dans le fichier.

Ceci dit, tu ne crois pas qu'il serait plus simple de "dire" à ton tableur de prendre le fichier en ANSI ?

Bonjour et merci pour ta réponse. J'ai testé ton code, mais j'obtiens l'erreur "Not correct string expression à la ligne 5", bien que j'ai ôté une parenthèse fermante de ton code.

Code:

dim out$ , in$ , i%
in$ = "é;è;à;ç"
out$ = ""
for i%=1 to len(in$)
  out$ = out$ + UTF8$(asc(mid$(in$,i%,1)))
next i%
print out$

La fonction UTF8$ n'est pas dans le manuel de référence. Peut-être que cette fonction est à l'origine de l'erreur. J'utilise la version Panoramic 0.9.23i5.

Merci encore.

Regarde juste au-dessus du code que j'ai posté:

Citation :

Si tu dois absolument produire su Unicode, il te faut écrire un sousprogramme convertisseur en Panoramic, ce qui n'est pas si compliqué que ça: c'est un simple tableau string du genre
dim UTF8$(255)
Tu places les octets repésentant le code UTF8 pour chaque caractère ANSI de 0 à 255 dans cette table (tu les trouves également sur Wikipedia), et tu construis ta chaîne de sortie par une boucle du type:

Dans mon source, UTF8$ n'est pas une fonction, mais un tableau déclaré par un DIM.

Donc, voici le source complet:

Code:

dim in$, out$, UTF$(255)
UTF$(0)=...
UTF$(1)=...
...
UTF$(65)="A"
...
UTF$(255)=...
out$ = ""
for i%=1 to len(in$)
  out$ = out$ + UTF8$(asc(mid$(in$,i%,1)))
next i%

Tu n'as plus qu'à insérer les caractères Unicode pour les 256 codes ASCI de 0 à 255.

Coucou, relie bien l'explication de Klaus, tu verra il t'explique que c'est un tableau qui correspond au code de sortie qui doit remplacé le code d'origine du caractère.
Dans ce tableau, tu dois indiquer les 256 valeurs des caractères que tu veux en sortie (le caractère 1 deviens le caractère stocké dans utf8$(1), ....)

On s'est croisé Klaus, bon, je m'absente

Excusez-moi... je n'y étais pas du tout !

Tu peux aussi faire comme ça:

Code:

dim i%, in$, out$, UTF$(255)
for i%=0 to 255
  UTF8$ = chr$(i%) : ' pour les caractères qui passent tels quels
next i%
UTF$(233)=chr$(195)+chr$(169)    : ' pour "é"
...  : ' et ainsi de suite pour tous les caractères spéciaux
out$ = ""
for i%=1 to len(in$)
  out$ = out$ + UTF8$(asc(mid$(in$,i%,1)))
next i%

Voici le lien vers la table UTF-8

A toi de jouer...

EDIT

Le lien n'était pas bon - c'est corrigé.

Wahoooooooooooooooo ! .... ça maaaaaaaaaaarche ! Mille mercis...

Mon programme, après avoir inclus le tien, crée bien un fichier UTF - 8 , et mon petit tableur affiche parfaitement les lettres accentuées. Je l'ai complété ainsi :

Code:

dim i%, in$, out$, UTF8$(255)
for i%=0 to 255
  UTF8$(i%) = chr$(i%) : ' pour les caractères qui passent tels quels
next i%

UTF8$(224)=chr$(195)+chr$(157)    : ' pour  à
UTF8$(226)=chr$(195)+chr$(162)    : ' pour  â
UTF8$(231)=chr$(195)+chr$(167)    : ' pour  ç
UTF8$(232)=chr$(195)+chr$(168)    : ' pour  è
UTF8$(233)=chr$(195)+chr$(169)    : ' pour  é
UTF8$(234)=chr$(195)+chr$(170)    : ' pour  ê
UTF8$(235)=chr$(195)+chr$(171)    : ' pour  ë
UTF8$(238)=chr$(195)+chr$(174)    : ' pour  î
UTF8$(244)=chr$(195)+chr$(180)    : ' pour  ô
UTF8$(249)=chr$(195)+chr$(185)    : ' pour  ù
UTF8$(251)=chr$(195)+chr$(187)    : ' pour  û

in$ = "nom;prénom;âge;"

out$ = ""
for i%=1 to len(in$)
  out$ = out$ + UTF8$(asc(mid$(in$,i%,1)))
next i%
' print out$
file_open_write 1, "utf8.csv"
file_writeln 1,out$
file_close 1

Mon programme Panoramic traite donc les données in$, les envoie encodées en UTF - 8 à mon tableur. Là, je modifie les données, j'en ajoute, j'en supprime, bref... Puis mon programme Panoramic récupère le fichier ainsi transformé. Mais il me faut maintenant réécrire les données en encodage ANSI si je ne veux pas qu'il m'affiche les caractères cabalistiques de l'UTF - 8. Comment revenir en arrière ?

Si j'abuse, dis-le moi...

Non, tu n'abuses pas. On est là pour partager l'expérience, quelques astuces, et pour promouvoir notre passion de Panoramic. Donc, on est tout à fait dans le sujet.

Revenir en arrière ? Je m'en doutais un peu. Alors, le principe est le suivant:
1. tu lis une ligne dans une variable in$ (par FLIE_READLN), et tu fais out$=''.
2. tu regardes, pour chaque caractère ( dans une boucle FOR i%=1 to LEN(in$) par mid$(in$,i%,1) ), si ASC(caractère)>127. Si oui, tu as un caractère UTF-8 sur 2 octets, et tu continues en (5)
3. sinon, tu fais out$=out$+mid$(in$,i%,1)
4 puis tu continues en (
5. dans ce cas, tu prends le caractère suivant (par mid$(in$,i%+1,1) et tu construis une variable in1$ contenant les DEUX caractères.
6. par une boucle de 0 à 255, tu cherches cette valeur dans UTF8$. Si tu trouves, elors l'indice i% donne la valeur ASCII du caractère pour Panoramic.
7. tu fais alors out$=out$+chr$(i%) : i% = i% + 1 (car le second "+1" est fait par la boucle FOR)
8. fin de boucle

Si tu as des problèmes avec ce pseudo-code, je te poste le code complet.

Tu obtiens ainsi un convertisseur bi-directionnel ANSI<-->UTF-8.

As-tu besoin des majuscules accentués ? Elles sont aussi dans la table dont je t'ai donné le lien.

Bon, je fais un petit commentaire de peu d’intérêt, mais si ça fait gagner du temps à Ambroise, tant mieux, sinon ne pas en tenir compte si Ambroise s'en ai déjà rendu compte: Klaus a fait une inversion, à la place de FLIE_READLN, il faut lire FILE_READLN
Et les lunettes de soleil correspondent au 8
En tout cas, le pseudo code est nickel comme d'habitude, bonne programmation Ambroise

Oh ! merveille ! Testez-moi ce code :

Code:

dim i%, in$, out$, UTF8$(255) , a$ , j% , deuxcaracteres$ , caractere$ , caractere2$
label positif
for i%=0 to 255
  UTF8$(i%) = chr$(i%) : ' pour les caractères qui passent tels quels
next i%

UTF8$(224)=chr$(195)+chr$(157)    : ' pour  à
UTF8$(226)=chr$(195)+chr$(162)    : ' pour  â
UTF8$(231)=chr$(195)+chr$(167)    : ' pour  ç
UTF8$(232)=chr$(195)+chr$(168)    : ' pour  è
UTF8$(233)=chr$(195)+chr$(169)    : ' pour  é
UTF8$(234)=chr$(195)+chr$(170)    : ' pour  ê
UTF8$(235)=chr$(195)+chr$(171)    : ' pour  ë
UTF8$(238)=chr$(195)+chr$(174)    : ' pour  î
UTF8$(244)=chr$(195)+chr$(180)    : ' pour  ô
UTF8$(249)=chr$(195)+chr$(185)    : ' pour  ù
UTF8$(251)=chr$(195)+chr$(187)    : ' pour  û


in$ = "nom;prénom;âge;père;mère;témoin;"

' ENCODAGE ANSI --> UTF8 ====================

out$ = ""
for i%=1 to len(in$)
  out$ = out$ + UTF8$(asc(mid$(in$,i%,1)))
next i%
print "ENCODAGE UTF8 : "
print out$

' RETOUR UTF8 --> ANSI =====================

in$ = out$
out$ = ""
for i%=1 to len(in$)
    caractere$ = mid$(in$,i%,1)
    if asc(caractere$) > 127
      gosub positif
    else
      out$=out$+mid$(in$,i%,1)
    end_if
next i%

print " "
print "RETOUR ANSI :"
print out$

end

positif:
deuxcaracteres$ = ""
caractere2$ = mid$(in$,i%+1,1)
deuxcaracteres$ = caractere$ + caractere2$
for j%=0 to 255
    if UTF8$(j%) = deuxcaracteres$
    out$ = out$+chr$(j%)
    i% = i% + 1
    end_if
    next j%
return

Merci Klaus pour ta patience... et merci Jicehel pour ton attention...