Php y otras yerbas - ¿Que onda con UTF-8? Sets de caracteres, la web y Ajax - Comentarios

Vale, tenia este problema en

Jairo Adolfo — Tue, 24 Jun 2008 15:57:11 -0700

Vale, tenia este problema en mis sitio y pude solucionarlo con el procedimiento que refieres, pero a mi me sucedia que era el IE (Versión 6) el que enviaba el grupo de caracteres en Latin, con el IE7 no tuve ningún inconveniente.

Estás flipao. ¿Cómo va a

Uno — Tue, 27 May 2008 23:29:56 -0700

Estás flipao. ¿Cómo va a haber caracteres que estén en iso-8859-1 pero no en utf-8?

Bueno yo he tenido ese

josed — Wed, 21 May 2008 08:41:15 -0700

Bueno yo he tenido ese problema con ajax usando protoype y he logrado solucionarlo usando una función para el texto que se va a enviar
reemplazando los caracteres por su version ascii

function replaceHTML(cadena){
cadena = cadena.replace(/Á/g, "Á");
cadena = cadena.replace(/É/g, "É");
cadena = cadena.replace(/Í/g, "Í");
cadena = cadena.replace(/Ó/g, "Ó");
cadena = cadena.replace(/Ú/g, "Ú");
cadena = cadena.replace(/á/g, "á");
cadena = cadena.replace(/é/g, "é");
cadena = cadena.replace(/í/g, "í");
cadena = cadena.replace(/ó/g, "ó");
cadena = cadena.replace(/ú/g, "ú");
cadena = cadena.replace(/Ñ/g, "Ñ");
cadena = cadena.replace(/ñ/g, "ñ");
return cadena;
}

a partir de esto he hecho una pequeña modificación a la libreria y funciona bien.
(me parece que por ser este un comentario html los caracter van a salir tal cual como se verían en html así que es cuestión de reemplazar estos por su versión.

Bueno yo he tenido ese

josed — Wed, 21 May 2008 08:33:37 -0700

Bueno yo he tenido ese problema con ajax usando protoype y he logrado solucionarlo usando una función como

a partir de esto he hecho una pequeña modificación a la libreria y funciona bien.

Hola: Muy interesante tu

Argentina — Tue, 22 Apr 2008 08:10:50 -0700

Hola:
Muy interesante tu articulo, yo estoy creando una aplicacion con mysql, tomcat 6 y jsp el problema es las ñ y los tildes ya configure la base de datos que acepte puros latin1, los jsp con el <%@ page content type="txt/html"; charset=iso-8859-1"; %>
Igual cree la base de datos con character set latin1 collate latin1_spanish_ci, y cada tabla de la misma manera pero sigue sin funcionar.
Pero sigue apareciendome caracteres rarossss ya no se que hacer no se como configurar el tomcat para q tome los caracteres con acentos, que hago ayudaaaaaaaaa por favor!!!!!!!!!!!!!!!!

Excelente respuesta resolvio

Omar Salazar — Fri, 22 Feb 2008 07:09:30 -0800

Excelente respuesta resolvio 100% mi problema y de una manera sencilla, gracias....

Bueno, parece que después

Perejilillo desconocido — Thu, 14 Feb 2008 01:39:28 -0800

Bueno, parece que después de mucho leer lo único que queda es el encode y decode a nivel de php, o hay alguien que sepa configurar en ajax.setRequestHeader O ajax.send algún parámetro para no tener que formatear campo a campo?.

Un saludo.

La Ñ es la Caña de España.

Si la informática fuese

clbustos — Sun, 09 Sep 2007 20:42:54 -0700

Si la informática fuese como la religión, sería cosa de decir "Lo dice el libro sagrado". Lamentablemente, la vida con los computadores no es tan sencilla.

Por ejemplo, en tu caso:
- ¿Con cuál versión de Mysql trabajas?
- ¿Ocupas Windows o Linux?
- ¿Si ocupas windows, tienes bien configurado el tema de los charset?
- ¿Si ocupas Linux, que LC_ALL ocupas? y ¿qué programa de consola ocupas?
- ¿Cómo está configurado tu default-character-set de tu my.cnf? ¿Sabes donde está instalado, cierto?

Si me das ese bla,bla, podríamos seguir con otro bla-bla :)

creo que por las fechas de

Perejilillo desconocido — Sun, 09 Sep 2007 19:35:48 -0700

creo que por las fechas de los post esta discusion esta mas que muerta

igual yo, de todo este rollo

Perejilillo desconocido — Sun, 09 Sep 2007 19:33:37 -0700

igual yo, de todo este rollo lo unico que quiero es averiguar como hacer que mysql reconozca la ñ en mis queries
en que archivo de mysql lo cambio y que comando puedo usar desde el command line de mysql. A esto es a lo que yo le llamo ir al grano y no bla bla bla.

Una pista cuando se tenga pro

ulysess — Thu, 29 Mar 2007 03:22:24 -0700

Una pista cuando se tenga problemas con la eñe y MySQL+php+ajax...

Siendo la url: pregunta_al_server.php?attribute=a%C3%B1o (año)
en php:

...
$attribute =utf8_decode($_POST['attribute']);
...

Estoy haciendo una aplicació

mel — Mon, 04 Dec 2006 06:28:55 -0800

Estoy haciendo una aplicación web con acceso a base de datos.
Pero quiero poder exportar toda la base de datos a ficheros XML.
El problema que tengo es que al salvarlo en XML los caracteres como la ? ñ o los acentos nos los puedo luego recuperar.

Y al trabajar con la base de datos (pero ahora no con SQL) sino tirando de ficheros XML.
Los caracteres ya no son validos.
Quien me puede decir como salvar en XML sin tener problemas al recuperarlo luego.

Salu2
Mel

NOTA: Realmente mi problemas son los caracteres en chino, pero con la ñ me vale.

hola please help me no puedo

Perijilillo Desconocido — Sat, 26 Aug 2006 17:52:07 -0700

hola please help me no puedo chatear por q dicen q no tengo java o algo asi como bajo eso? y de donde?

hola please help me no puedo

Perijilillo Desconocido — Sat, 26 Aug 2006 17:51:28 -0700

hola please help me no puedo chatear por q dicen q no tengo java o algo asi como bajo eso? y de donde?

Graves problemas

clbustos — Fri, 02 Jun 2006 11:53:29 -0700

Mira, no sé muy bien como se podrá arreglar, pero si te puedo explicar porque te pide el mensaje.
Al no poder reconocer tu archivo como word, lo califica como un archivo de texto. Como no puede saber que codificación de texto tiene, te pide que selecciones alguna de las disponibles. En resumen: el archivo se daño y Word no lo puede leer. Punto.

¿Que onda con UTF-8? Sets de caracteres, la web y Ajax

clbustos — Thu, 09 Jun 2005 07:30:06 -0700

Objetivo

Al finalizar este artículo, el lector, si logra traducir algo de mi verborrea, será capaz de

Entender de forma bastante vaga que son las codificaciones de caracteres
Decir, ¡A,ha!, cuando lea ASCII, ISO-8859-1, Unicode y UTF-8
Entender como maneja el objeto XMLHttpRequest los set de caracteres en Firefox e IE
Realizar aplicaciones que manejen de modo adecuado las codificaciones y decodificaciones de UTF-8 a ISO-8859-1 en PHP

Dicho esto, pueden leer el texto

Breve trasfondo histórico de los set de caracteres

ASCII, ISO-8859-1, UNICODE

Uno de los problemas de trabajar en nuestro idioma castellano (y en general en los romances) es el uso de los tildes y la ñ. Hasta inicios de los 90, todo el mundo se ahorraba problemas escribiendo en los formularios TODO EN MAYUSCULAS y dejando a los NUNEZ igual que los NUNEZ. Claro, estabamos bajo el dominio del ASCII, que para los que no sepan, en un estándar que define la asociación entre un patrón digital y un carácter o glifo. En particular, los caracteres (letras y caracteres de control), ocupan 7 bit de información. Por tanto, existen 128 caractéres disponibles.

Si bien ASCII cuenta con caracteres "nacionales", como el tilde, el acento circunflejo y otros, se debían crear los caractéres imprimiendo el carácter original (la a), un retorno de carácter y el caracter nacional encima. Horrible.

Para solucionar esto, llego la norma ISO-8859, que define variados mapas de carácteres para distintos países. El que nosotros ocupamos es el infame ISO-8859-1, o Latin-1, una derivación de ISO 8859-1 (lean el artículo en la Wikipedia para que sepan exactamente la diferencia) que cuenta con caractéres usados comunmente en Albania, Catalán, Danés, Alemán, Inglés, Francés, Finlandés, Islandés, Irlandés, Italiano, Latín, Noruego, Portugués, Escocés, Suizo y, como no, Español.

Si bien este formato es el más extendido en la actualidad, siempre ha estado la inquietud de sacarse de encima todo el lío de los distintos set de caracteres, unificando todo en un único sistema de codificación. Esto lo ha logrado el estándar Unicode, una de cuyas implementaciones, el UTF-8, es la que predomina en GNU/Linux y en la red

UTF-8

UTF-8 (Formato de transformación Unicode de 8 bit) es una codificación de caracteres de largo variable. Usa grupo de bytes para representar el estándar Unicode para la mayoría de los lenguajes del mundo.

¿Cómo funciona? Primero, para los caracteres dentro del rango ASCII, ocupa sólo un bit de información por carácter. Para el resto, se pueden ocupar desde 2 a 4 bytes. Una de las gracias de esta codificación es que siempre el bit más significativo para cada carácter no ASCII siempre es 1, lo cual impide que aparezca entremedio un byte 0x00, lo cual sería fatal para cualquier aplicación C. Tocando lo práctico, veamos como maneja UTF-8 nuestros caractéres en español. Si tenemos el siguiente texto grabado como UTF-8 (cortesía de SciTe):

A
E
I
O
U
á
é
í
ó
ú
ñ

Podemos ver, a simple vista, que hay 11 letras y 10 retornos de carro(estoy en Linux, folks), lo cual nos da un total de 21 caracteres. Ahora bien, la cuenta de bytes me dice que hay ¡27! bytes utilizados. ¿Cómo es eso?

Lo más sencillo, para tener un rápido vistazo, es ver el archivo con ISO-8859-1, cortesía de Jedit:

A
E
I
O
U
?¡
?©
?
?³
?º
?±

Como se puede observar, los 5 primeros caractéres se representan por un sólo byte, que corresponde exactamente a la descripción ASCII, por lo cual se ven igual en ISO-8859-1. Ahora bien, los caracteres con tilde y la ñ son representados por 2 bytes, los cuales no tienen nada que ver con la codificación ISO-8859-1, por lo cual se ven muy raros. Veamos lo que nos dice un editor hexadecimal:

41 0A
45 0A
49 0A
4F 0A
55 0A
C3 A1 0A
C3 A9 0A
C3 AD 0A
C3 B3 0A
C3 BA 0A
C3 B1

C3, por si acaso, es 11000011 en binario, así como A1 es 10100001. Para caracteres de dos a cuatro bytes, el primer byte será 110xxxxx, 1110xxxx o 11110xxx si el caracter ocupa 2,3 o 4 bytes, respectivamente, mientras que el resto va como 10xxxxxx

En resumen....

Existen diferentes formas de codificar los caracteres. Las más comunes en el habla hispana son el ISO-8859-1 y el UTF-8, siendo esta la forma preferida por su compatibilidad a futuro. Si una se equivoca en la codificación, las cosas se ven muy feas

Los caracteres en la web

En las páginas Web.

Para especificar el set de caracteres a utilizar tanto en HTML como en XHTML, se utiliza en el de la página el código

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

Para UTF-8, o

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />

Para ISO-8859-1 (Latin-1).

Como es de suponer, todo el contenido de la página tiene que estar EFECTIVAMENTE escrito en ese set de caracteres. Para hacer una prueba rápida, si están en Firefox, vayan a View->Character Encoding->Western (ISO-8859-1) y verán lo linda que se ve esta página (que está en UTF-8) con el set de caracteres equivocado.

XMLHttpRequest y UTF-8

Ahora viene lo bueno, chiquillos. El objeto XMLHttpRequest, básico para el uso de Ajax, SIEMPRE ocupa UTF-8 para enviar y recibir datos. Punto.

¿Por qué, entonces, muchas de las herramientas para Ajax funcionan extraño con los caracteres?. Revisando la página Comparing escape(), encodeURI(), and encodeURIComponent(), me di cuenta de:

Si enviamos un contenido por POST, este va a ser enviado siempre por UTF-8, pero si lo envíamos por GET, será codificado en ISO-8859-1 en Mozilla y en UNICODE en IE, usando la función escape
La función encodeURI y encodeURIComponent, tanto en IE, como en Mozilla envía la representación UTF-8

Eureka! El error entonces, en el script que tengo de prueba aquí, es que ocupo escape tanto para GET como para POST, lo que hace que se comporte distinto en IE y en Firefox. Lo ideal es usar encodeURIComponent() cuando se envíe el dato por GET y por POST, para mantener siempre UTF-8 como codificación de caracteres y escapar el carácter "&" y "+", que con encodeURI no son codificados

Conclusión

Al utilizar XMLHTTPRequest, se deben enviar los datos por POST y con GET con encodeURIComponent. Si se desea ocupar ISO-8859-1, es un cacho, porque IE va a pasar los valores por GET por UTF-8, en tanto que Mozilla no. En general, mejor usar UTF-8 para todo

Actualización Nº1: Me equivo al recomendar encodeURI. Se debe utilizar encodeURIComponent (gracias, Ignacio).