HELP !! Source html, caractère hexa, xml

Bonjour,

J'ai un gros soucis. Je fais un url.openConnection() par exemple sur http://search.yahoo.com/search?fr=FP-tab-web-t&cop=mss&tab=&n=40&p=gucci%2Bbamboo%2Bwatch+-replica,
1) je récupère la source de la page par la méthode :

InputStream iStream = connection.getInputStream();
connection.connect();
ByteArrayOutputStream body = new ByteArrayOutputStream();
int c;
while ( (c = iStream.read()) != -1) {
body.write(c);
}
iStream.close();
body.flush();
String contentPage = body.toString();
body.close();

2) je crée un fichier xml avec certains éléments du code source html

3) j'utilise un xml transform pour afficher le xml créé en html.

Mon problème est que, dans certaine source html, je dois récupérer des caractères spéciaux car, dans la source de la page html j'ai bien le caractère spécial (dans ce cas là un ' ) mais dans la source récupére avec ma méthode, le caractère a disparu (et est remplacé par un esape) mais si j'utilise ultraedit et affiche en hexa, le caractère a été remplacé par un � et c'est ce caractère que mon transformer xml ne reconnaît pas.

Etant donnée que je ne suis pas très à l'aise avec les encodages, j'aimerai bien votre avis pour pouvoir soit transformer ce caractère en decimal, par exemple une fois le code récupéré dans mon string soit le transformer directement lors de ma méthode
while ( (c = iStream.read()) != -1) {
body.write(c);
}

Merci à tous, je sais pas si j'ai été assez claire ?!?
Carole

Je pense que c'est un problème au niveau de l'XML transform.
Utilises-tu UTF-8 pour le codage?
Frouf

Non j'utilise ISO-8859-1 et je n'ai pas très envie d'en changer car tous mes xsl sont en ISO-8859-1.

Petite précision, si je vais online voir la source de la page j'ai bien un <b>apostrophe (')</b>, une fois le html récupéré par ma méthode (je l'ai écrit aussi dans un fichier texte pour debugger) je n'ai plus cet apostrophe mais un <b>espace</b> et en éditer hexa un <b>00</b>.
Je pense que ce problème pourrait être résolu lors de ma méthode pour récupérer la source car c'est vraiement que sur certaines page que cela pose problème.

Merci,
Carole

Je ne comprend pas, une fois (') edité en hex est �, une autre fois c'est 00.
Si j'ai bien compris, lorsque tu récupère ta page et que tu l'écrit dans un fichier sans passer par un parseur, l'apostrophe s'est transformé en espace?
Cet espace dervait alors être reconnu par le parseur (même si je sais que tu veux un apostrophe).
Je ne comprends pas tout.


Frouf

Moi non plus !!
Le code hexa qui devrait être récupéré, pour un apostrophe est 27 mais j'ai un 00.
Et l'erreur relevée par ma classe xml transform est : CaractÞre XML non valide : �.

Je ne vois pas d'où peut venir l'erreur. Ce que je ferais c'est récupérer les caractères avec l'objet DataInputStream et en utilisant readChar(). ptêt que ça peut changer quelque chose. qui sait?

Frouf

hum c'est pas du cp1252 en encodage?

C'est quoi du cp1252 (c'est pas mon fort l'encodage).
Mais j'ai un début d'amélioration.
J'ai rajouter, pour ma connexion : connection.setRequestProperty("Accept-Charset", "iso-8859-1,utf-8");.

Du coup je n'ai plus de page blanche dûe à l'erreur de xml transfom, ce qui est une très bonne chose en soi, mais maintenant j'ai des caractères, dans mon string, du style â?? pour l'apostrophe ou é pour é.

Carole

Dans ton entête du document XML, tu possèdes quel type d'encodage?
pour le configurer:

Transformer transformer = transformerFactory.newTransformer(); transformer.setOutputProperty(OutputKeys.METHOD, "xml"); transformer.setOutputProperty(OutputKeys.INDENT, "no"); transformer.setOutputProperty(OutputKeys.OMIT_XML_DECLARATION, "no"); transformer.setOutputProperty(OutputKeys.ENCODING, "ISO-8859-1"); transformer.transform(source,result);

ou UTF-8 si ça ne marche pas.
Frouf

j'ai essayé mais ça ne change rien.