Resolución del error en el algoritmo de detección de UTF-8
Enviado por clbustos el Jue, 12/01/2006 - 17:38.
Clasificado en:
Bueno, ahora resuelvo el misterio por el tema del error en el algoritmo de detección de UTF-8.
Es muy simple, la verdad: hay que verificar en la condición final, que el contador esté en 0. Si no lo está, significa que hay una cadena UTF-8 malformada. Por tanto, sería bueno crear una nueva constante, que definiera a un UTF-8 mal formado.
El código en Ruby sería algo como lo que sigue. Para el resto de los lenguajes, habría que hacer la modificación correspondiente, que se las dejo de ejercicio
- require "iconv"
- class String
- def encoding
- cuenta=0
- ascii=true
- self.each_byte{|byte|
- if cuenta>0
- if (byte >> 6) != 0b10
- return "iso8859"
- else
- cuenta-=1
- end
- elsif(byte & 0x80)
- ascii=false
- if (byte >> 5) == 0b110
- cuenta=1
- elsif (byte >> 4) == 0b1110
- cuenta=2
- elsif (byte >> 3) == 0b11110
- cuenta=3
- else
- return "iso8859"
- end
- end
- }
- return "utf8_incorrecto" if (!ascii and cuenta)
- return ascii ? "ascii":"utf8"
- end
- def to_utf8
- (self.encoding=='iso8859') ? Iconv.new("utf-8","iso-8859-1").iconv(self.to_s) : self
- end
- end
- 2920 lecturas
Buscar
Publicidad
Inicio de sesión
Comentarios recientes
- Excelente codigo, me
hace 1 día 1 hora - Hola tengo un problema,
hace 2 días 7 horas - Primero que nada excelente
hace 2 días 14 horas - simplemente muy bien
hace 1 semana 2 días - espero poder
hace 1 semana 4 días - No me funciona, tendrían un
hace 1 semana 5 días - $a = ""; $m = ""; $d = "";
hace 2 semanas 1 día - Lo que tenes que hacer es un
hace 2 semanas 1 día - No entendí mucho la
hace 3 semanas 1 hora - como puedo saber si tengo un
hace 3 semanas 2 horas
Referencias
Estoy montando un blog con Wordpress. La base de datos está en UTF-8, cada tabla y cada campo de la base está en UTF-8. Los correspondientes METAS están definidos para UTF-8. ¿Es necesario pasar todos los archivos a UTF-8? (Wordpress trae los archivos como ANSI).
Te diría que no... recuerda que UTF-8 funciona bien con ASCII y como la plantilla original de todo está escrito en inglés, no debería haber ningún problema de codificación.
Te toco :)
http://eldiabloenlosdetalles.net/2006/01/30/mis-5-habitos-%c2%bfraros/
Yo también te diría que no es necesario tener los archivos PHP en UTF-8. Para enviar código a PEAR es requisito que estén en latin-1, por lo que no parece imprescindible para trabajar con UTF-8.
En cambio, no me atrevo a afirmarlo rotundamente, pero si que diría que es necesario, el usar las funciones mb_*() para tratar cadenas de texto en UTF-8. O sobreescribir las funciones estándar, con las mb_*() mediante mbstring.func_overload en el php.ini.
Yo escribo todos los PHP en UTF-8, bajo la idea de que me producirá más beneficidos a largo plazo que perdidas. De momento puedo decir que no es así, pero como ya estoy en ello, no me voy a echar atrás...
Solo decir que si a alguien se le ocurre hacer lo mismo que yo, (como punta del iceberg), que vigile al guardar los archivos. Tendrá que hacerlo SIEMPRE sin añadir el BOM. De lo contrario, ese BOM será enviado antes que cualquier cosa, e impedirá enviar cabeceras HTTP a través de PHP.
Por cierto clbustos, que te parece hacer un post futuro sobre las operaciones con bits? Con estas funciones para detectar UTF-8 me he dado cuenta que soy un negado en el asunto. Como simple aficionado que soy, siempre he trabajado con cadenas de texto (no necesitaba más), por lo que no se operar con bits. (Ahora es cuando me señalan con el dedo y se rien). :-P
En mi caso, lo que me gusta hacer es tener todo lo en UTF-8 en plantillas html, que cargo después con PHP, en prístino ISO-8859-1.
Quedé metido con lo de las operaciones con bits. ¿Qué cosa necesitas, precisamente? La verdad, tampoco soy muy bueno; tuve que jugar con ensayo y error para dar bien con la formula :P
Básicamente, el capitulo Operadores Bit a Bit del manual de PHP. Me suena a chino...
Buena...
Igual, mientras armaba el detector de UTF-8, me pillé un muy buen artículo sobre los operadores, pero para C. Lo voy a buscar y pondré el link.
Enviar un comentario nuevo