Usando UTF-8 con Gentoo¿Qué es la codificación de caracteres? Los computadores no entienden texto por sí mismas, de manera que cada carácter está representado por un número. Tradicionalmente, cada conjunto de números usados para representar alfabetos y caracteres (conocidos como sistema de codificación, codificación o conjunto de caracteres) han sido limitados en su tamaño por las limitaciones presentes en el hardware de las computadoras. La historia de codificación de caracteres El conjunto de caracteres más común (o al menos el más ampliamente aceptado) es el ASCII (American Standard Code for Information Interchange o Código Norma Norteamericano para el Intercambio de Información). Se ha dicho que el ASCII es la norma de software más exitosa jamás. El ASCII moderno fue normalizado en 1986 (ANSI X3.4, RFC 20, ISO/IEC 646:1991, ECMA-6) por el American National Standards Institute o Instituto Nacional Norteamericano para Normas. ASCII se ciñe estrictamente a siete bits, lo cual significa que usa patrones de bits que pueden ser representados por siete dígitos binarios, que suministra un rango de 0 a 127 en números decimales. Estos incluyen 32 caracteres de control que no son visibles, la mayoría de los cuales están entre el 0 y el 31, con el último caracter de control, DEL o delete (borrar) en la posición 127. Los caracteres del 32 al 126 son visibles: un espacio, caracteres de puntuación, letras del alfabeto latino y los números. El octavo bit en ASCII fue originalmente utilizado como un bit de paridad, para comprobación de errores. Si no hace falta, se puede dejar en 0. Esto significa que en ASCII, cada caracter es representado por un solo byte. Aunque ASCII era suficiente para las comunicaciones en inglés moderno, esto no hacía las cosas fáciles para otros idiomas europeos que incluían caracteres acentuados. Las normas ISO 8859 fueron desarrolladas para cubrir estas necesidades. Eran compatibles con la versión original de ASCII, pero en vez de dejar el octavo bit en blanco fue utilizado para proporcionar 127 caracteres adicionales en cada codificación. Las limitaciones de ISO 8859 pronto se hicieron sentir, existiendo actualmente 15 variantes de esta norma (8859-1 a la 8859-15). Más allá de los valores compatibles con ASCII, existen conflictos en la representación de los caracteres. Para complicar aún más la interoperabilidad entre distintas codificaciones, se usa Windows-1252 en algunas versiones de Windows para representar idiomas europeos occidentales. Este es un super-conjunto de la ISO 8859-1, con varias diferencias. Sin embargo, todos estos conjuntos de caracteres retienen la compatibilidad con ASCII. El necesario desarrollo de codificaciones de un solo byte para alfabetos no-latinos, tales como el EUC (Extended Unix Encoding o Codificación Extendida para Unix), usados para japonés y koreano (y a menor grado para chino) agregó más confusión, mientras que otros sistema operativos usaban otros conjuntos completamente distintos para los mismos idiomas, por ejemplo, Shift-JIS e ISO-2022-JP. Los usuarios que requerían usar glifos en cirílico tenían que escoger entre KOI8-R para ruso o búlgaro o KOI8-U para ukraniano, encima de las demás codificaciones cirílicas como el fallido ISO 8859-5 y el más común Windows-1251. Todos estos conjuntos de caracteres rompieron con la compatibilidad con el ASCII (aunque la codificación KOI8 coloca los caracteres cirílicos en el órden latino, de manera de conservar la posibilidad de lectura, pasado a mayúsculas en un terminal ASCII, si se llegara a perder el octavo bit). Esto ha causado confusión e inabilidad casi total de comunicación entre idiomas, especialmente a través de alfabetos distintos. Aquí ingresa Unicode. Unicode desecha el límite tradicional de los conjuntos de caracteres de un sólo byte. Usa 17 "planos" de 65,536 codificaciones para describir un máximo de 1,114,112 caracteres. Como el primer plano, también conocido como Basic Multilingual Plane (Plano Multilingüe Básico) o BMP contiene prácticamente todo lo que pudiera usarse jamás, muchos han asumido que el Unicode es un conjunto de caracteres de 16 bits. El Unicode ha sido mapeado en muchas maneras diferentes, pero las dos más comunes son UTF (Unicode Transformation Format o Formato de Transofrmación Unicode) y UCS (Universal Character Set o Conjunto de Caracteres Universal). El número que sigue las siglas UTF indican el número de bits en una unidad, mientras que el número que sigue las siglas UCS indica el número de bytes. UTF-8 se ha convertido en el medio más difundido para el intercambio de texto en Unicode dada su implementación limpia de ocho bits y es el tema de este documento. La codificación UTF-8 es de longitud variable, lo cual significa en este caso, que utiliza de uno a cuatro bytes por símbolo. Así, el primer byte UTF-8 se utiliza para codificar los caracteres ASCII, permitiendo completa compatibilidad con este conjunto de caracteres. Además, significa que los caracteres Latin y de UTF-8 son intercambiables con un pequeño aumento en el tamaño de la data, ya que usa solo el primer bit. Los usuarios de alfabetos orientales, como el japonés, no están tan contentos, ya que les han asignado cuentas mayores de bytes que resulta en un aumento hasta del 50% en su data. ¿En qué puede ayudar el UTF-8? UTF-8 permite trabajar en un entorno multilingüe normado internacionalmente aceptado con un nivel comparativamente bajo de redundancia de datos. El UTF-8 es la manera preferida para transmitir caracteres no-ASCII a través del Internet por correo electrónico, IRC o casi cualquier otro medio. A pesar de esto, muchos opinan que el uso de UTF-8 en las comunicaciones en línea es abusivo. Vale la pena siempre estar atento de la actitud hacia UTF-8 en determinados canales, listas de correo o grupo usenet antes de usar UTF-8 no-ASCII. 2. Configurando UTF-8 en Gentoo Linux Buscando o Creando Localizaciones UTF-8 Ahora que entendemos los principios detrás de Unicode, podemos empezar a usar UTF-8 con el sistema. El requerimiento preliminar para UTF-8 es tener instalada una versión de glibc con soporte para idiomas nacional. El medio recomendado para hacer esto es el archivo /etc/locale.gen. Está más allá del alcance de este documento explicar el uso de este archivo, ya que se encuentra explicado en Guía Gentoo de Localización. Luego, debemos decidir si ya existe una localización UTF-8 para nuestro idioma, o si debemos crear uno.
Por la salida de este comando, debemos usar el resultado con un sufijo similar a .utf8. Si no se producen resultados que tengan este sufijo, debemos crear una localización compatible con UTF-8.
Otra manera de incluir una localización UTF-8 es agregarla al archivo /etc/locale.gen y generar los locales necesarios con el comando locale-gen.
Existe una variable de entorno que se debe configurar para utilizar nuestra localización UTF-8 nueva: LANG (esta variable toma precedencia por encima de la configuración de LC_ALL también). También hay distintas maneras de configurarla; unos prefieren tener ambientes UTF-8 para usuarios específicos, en cuyo caso se configura en su ~/.profile (si usa /bin/sh) o sino ~/.bash_profile o ~/.bashrc (si se usa /bin/bash). Otros prefieren establecer la localización de manera global. Una circunstancia específica donde el autor recomienda particularmente hacer esto es cuando se usa /etc/init.d/xdm, ya que este guión inicia el gestor de ventanas y el entorno del escritorio antes de evaluar los distintos archivos de inicio del intérprete de comandos, antes que éstos puedan establecer variables de entorno. Establecer la localización de manera global debe hacerse usando /etc/env.d/02locale. El archivo debe parecerse algo a:
Luego, el entorno debe actualizarse con los cambios.
Ahora, ejecute locale sin parámetros para ver si tenemos las variables adecuadas según nuestro entorno:
Eso es todo. En este momento está usando la localización UTF-8 y el siguiente paso es configurar las aplicaciones usadas en el día a día. Cuando Unicode empezó a ganar aceptación en el mundo del software, los conjuntos de caracteres con codificaciones multi-byte no encajaban bien con lenguajes de programación como C, en la que están escritos muchos programas que la gente usa a diario. Aún hoy algunos programas no manejan UTF-8 correctamente. ¡Afortanadamente la mayoría sí! Nombres de archivos, NTFS y FAT Hay varias opciones para soporte de idiomas nativos (NLS) en el menú de configuración del kernel Linux, ¡pero es importante no confundirse! Mayormente, lo único que hay que hacer es construir el soporte para UTF-8 en el kernel y cambiar la opción por defecto a UTF-8.
Si tiene planes de montar particiones NTFS, tal vez tenga que especificar como parámetro a mount, la opción nls=. Si desea montar particiones FAT, tal vez necesite especificar una opción codepage= con mount. Opcionalmente se puede establecer un codepage por defecto para FAT en la misma configuración del kernel. Note que la opción codepage tomará precedencia por encima de la opción especificada en la configuración del kernel.
Debería evitar configurar el Default iocharset for fat como UTF-8, ya que esto no es recomendado. En vez de so, tal vez quiera pasar el parámetro utf8=true al montar particiones FAT. Para más información, vea la página man mount y la documentación acerca de la configuración del kernel en /usr/src/linux/Documentation/filesystems/vfat.txt. Para cambiar la codificación de los nombres de archivos, use app-text/convmv.
Para cambiar la codificación del contenido de los archivos, use la herramienta iconv, que forma parte de glibc:
Para este propósito también se puede usar la herramienta app-text/recode.
Para usar UTF-8 en la consola, debe modificarse el archivo /etc/rc.conf colocando UNICODE="yes". Lea también los comentarios en el archivo -- es importante contar con una fuente tipográfica que tenga una buena gama de caracteres si quiere hacer uso pleno de Unicode. Para que esto funcione, asegúrese de haber creado adecuadamente una localización Unicode, tal como se explica en el Capítulo 1. Debe asignarse un mapa de teclado Unicode a la variable de entorno KEYMAP en /etc/conf.d/keymaps.
Es buena idea agregar unicode a sus parámetros USE globales en /etc/make.conf y luego hacer emerge otra vez a sys-libs/ncurses y sys-libs/slang si es apropiado. Portage hará esto automáticamente al actualizar el sistema:
También debemos reconstruir los paquetes que enlazan con estos, ya que se han aplicado cambios a los parámetros USE. La herramienta que usamos (revdep-rebuild) es parte del paquete gentoolkit.
Todos los principales entornos de escritorio tienen soporte completo para Unicode y no requieren configuración adicional, apartando lo cubierto en esta guía. Esto es porque los kits gráficos subyacentes (Qt o GTK+2) ya reconocen UTF-8, por ende, todas las aplicaciones que hacen uso de estos kits deben reconocer UTF-8 también, sin hacer nada más. Las excepciones a esta regla son Xlib y GTK+1. GTK+1 requiere una especificación de fuente iso-10646-1 en el ~/.gtkrc, como -misc-fixed-*-*-*-*-*-*-*-*-*-*-iso10646-1. Además, las aplicaciones que utilizen Xlib o Xaw también necesitarán una especificación de fuente similar, porque si no, no trabajarán.
Si una aplicación tiene soporte Unicode para ambos interfaces gráficos, Qt y GTK+2, generalmente obtendrá mejores resultados con GTK+2.
Las fuentes (tipos) TrueType tienen soporte para Unicode y la mayoría de los cuales vienen con Xorg tienen un soporte bastante impresionante respecto a la amplitud de caracteres, aunque obviamente, no todos los glifos disponibles en Unicode tienen su correspondiente. Para construir fuentes (incluyendo el conjunto Bitstream Vera) con soporte para los caracteres Asiáticos Orientales en X, asegúrese de activar el parámetro USE cjk. Muchas otras aplicaciones usan este parámetro, de manera que vale la pena agregarlo permanentemente. También varios otros paquetes de fuentes (tipos) en Portage soportan Unicode.
Entornos gráficos y emuladores de terminal Los entornos gráficos que no esten construidos sobre GTK o Qt generalmente tienen buen soporte para Unicode, ya que muchas veces usan la librería Xft para el manejo de fuentes. Si su entorno gráfico no usa Xft para las fuentes, entonces todavía puede usar la especificación de fuente mencionada en la sección anterior como una fuente Unicode. Los emuladores de terminales que usen Xft y soportan Unicode son más difiles de encontrar. Aparte de Konsole y gnome-terminal, las mejores opciones en Portage son x11-terms/rxvt-unicode, xfce-extra/terminal, gnustep-apps/terminal, x11-terms/mlterm o sencillamente x11-terms/xterm construido con el parámetro USE unicode e invocado como uxterm. app-misc/screen también soporta UTF-8 al invocarse como screen -u o al agregar los siguientes parámetros al archivo ~/.screenrc:
Vim proporciona un soporte completo para UTF-8 y por si solo detecta los archivos UTF-8. Para más información en Vim, :help mbyte.txt. Emacs versión 22.x y mayores también proporciona un soporte completo de UTF-8. Xemacs 22.x todavía no soporta la combinación de caracteres. Versiones anteriores de Emacs y/o Xemacs podrían requerir la instalación de app-emacs/mule-ucs y/o app-xemacs/mule-ucs y agrega lo siguiente al archivo ~/.emacs para obtener pleno soporte para los lenguajes CJK (chino, japonés y koreano) en UTF-8:
Nano proporciona soporte pleno para UTF-8 desde la versión 1.3.6. Actualmente, bash suministra soporte pleno para Unicode a través de la librería readline de GNU. Z Shell (zsh) ofrece soporte Unicode con la USE unicode. El shell C, tcsh y ksh no tienen soporte alguno para UTF-8. Irssi tiene soporte pleno para UTF-8, aunque se requiere que el usuario configure una opción.
Para los canales donde se intercambian caracteres no ASCII en conjuntos de caracteres no UTF-8, el comando /recode puede usarse para convertir los caracteres. Escriba /help recode para más información. El cliente de correo electrónico mutt tiene muy buen soporte para Unicode. No se requiere colocar nada en los archivos de configuración. Mutt trabajará en un entorno unicode sin modificación alguna si todos los archivos de configuración (incluyendo la firma) estan codificados en UTF-8.
Hay más información disponible en el Wiki Mutt. La páginas man forman una parte integral de cualquier computador Linux. Para asegurarnos que los caracteres unicode aparezcan correctamente, modifique el archivo /etc/man.conf y reemplace la línea que se muestra a continuación:
Estos son los navegadores de consola más comunes y veremos como podemos activar el soporte para UTF-8. En elinks y links hay dos formas para hacerlo, uno usando la opción Setup dentro del mismo navegador o modificando el archivo de configuración. Para activas esta opción en el navegador, navegue a un sitio web con elinks o links y luego pulse Alt+S para obtener el menu de configuración, seleccione las opciones de la consola (en inglés, Terminal options) o pulse una T. Baje con la flecha del teclado y selecciones la última opción UTF-8 I/O pulsando Enter. Luego Save y salga del menu. En links tal vez tenga que repetir Alt+S y pulsar S para salvar la configuración. La modificación del archivo de configuración se muestra a continuación.
Samba es una suite de software que implementa el protocolo SMB (Server Message Block) en sistema Unix, tales como Macs, Linux y FreeBSD. El protocolo es a veces referido como Common Internet File System (CIFS). Samba también incluye el sistema NetBIOS - utilizado para compartir archivos en redes windows.
Existen numerosos sitios UTF-8. net-www/w3m, net-www/links, net-www/elinks, net-www/lynx y todos los navegadores basados en Mozilla (incluyendo a Firefox) soportan UTF-8. Konqueror y Opera también tienen soporte pleno para UTF-8 también. Al usar uno de los navegadores de texto, asegúrese de usar un terminal que soporte Unicode. Si llegara a ver algun caracter en forma de caja con letras o números adentro, esto significa que la fuente no tiene el dibujo del caracter para el símbolo o glifo que necesita UTF-8, por lo que muestra una cajita con el código hexadecimal del símbolo UTF-8.
Métodos para ingresar caracteres En X, se puede usar las llamadas teclas muertas para escribir caracteres que no aparecen en el teclado. Estos funcionan pulsando la tecla Alt derecha (en algunos países, AltGr) junto con una tecla opcional de la sección no alfabética del teclado, justo a la izquierda de la tecla Enter, soltándolas y a continuación pulsando una letra. La tecla muerta debe entonces modificar la letra. Se pueden efectuar aún más modificaciones pulsando la tecla Shift al mismo tiempo que AltGr y el caracter modificador. Para activar las teclas muertas en X, necesita usar un mapa de teclado que las soporte. La mayoría de los mapas europeos ya tienen teclas muertas con el mapa por defecto. Sin embargo, esto no es así con los mapas norteamericanos. Aunque exista algún grado de inconsistencia, la solución más sencilla parece ser usar un mapa "en_US" en vez de "us", por ejemplo, el mapa se especifica en /etc/X11/xorg.conf así:
Este cambio hará efecto al reiniciar el servidor X. Para aplicar el cambio en seguida, use la herramienta setxkbmap, así setxkbmap en_US. Probablemente sea más fácil describir el uso de teclas muertas con ejemplos. Aunque los resultados dependen de la localización del sistema, los conceptos son iguales, sin importar la localización. Los ejemplos contienen UTF-8, así que para verlos, debe configurar su navegador para ver la página como UTF-8, o tener su localización UTF-8 ya configurada. Si pulsamos AltGr y [ a la vez, los soltamos y luego pulsamos a, producimos una 'ä'. Si pulsamos AltGr y [ al mismo tiempo y luego pulsamos e, producimos una 'ë'. Al pulsar AltGr y ; a la vez, producimos una 'á' y cuando pulsamos AltGr y ; a la vez, los soltamos y pulsamos la e, producimos una 'é'. Si pulsamos AltGr, Shift y [ a la vez, los soltamos y luego pulsamos una a, podemos producir una 'å' escandinava. Similarmente, al pulsar AltGr, Shift y [ al mismo tiempo, soltamos solamente la [ y luego al pulsarla otra vez, producimos una '˚'. Aunque lo parezca, este caracter (U+02DA) no es el símbolo de grados (U+00B0). Esto funciona para los demás acentos producidos por las teclas muertas — AltGr y [, soltando solo la tecla [ y pulsándolo de nuevo hace una '¨'. AltGr puede ser usado con las teclas alfabéticas solas. Por ejemplo una AltGr y una m producen una mu griega en minúscula: 'µ'. AltGr y una s producen un 'scharfes s' también conocida como 'esszet', así: 'ß'. Como es de esperarse por parte de muchos usuarios europeos (porque está marcado en su teclado), AltGr y 4 (o E, dependiendo del teclado) producen un signo de Euro, '€'.
El contenido de este documento está registrado bajo los términos de la licencia Creative Commons - Reconocimiento / Compartir Igual |
|
