Sed mediante ejemplos, Parte 31. Subir de nivel: Manejo de datos, al estilo de sed En mi segundo artículo acerca de sed, ofrecí ejemplos que mostraban el funcionamiento de sed, pero muy pocos de estos ejemplos realizaban algo realmente útil. En este artículo final acerca de sed es el momento de cambiar esto y poner a sed en buen uso. Mostraré algunos ejemplos excelentes que no sólo mostrarán el extraordinario poder de sed, sino que harán algunas cosas realmente elegantes y prácticas. Por ejemplo, en la segunda mitad del artículo, mostraré cómo he diseñado un archivo de comandos sed que convierte un archivo .QIF del programa de finanzas Quicken de Intuit en un archivo de texto con buen formato. Antes de llegar a eso, veamos algunos ejemplos menos complicados, aunque útiles, de archivos de comandos sed. Nuestro primer ejemplo práctico, un archivo de comandos que convierte texto de tipo UNIX a texto en el formato DOS/Windows. Como muy probablemente sabemos, el texto de DOS/Windows contiene un CR (retorno de carro) y un LF (avance de línea) al final de cada línea, mientras que el texto UNIX solamente tiene un avance de línea. Pueden presentarse ocasiones en las que necesitemos mover algún texto UNIX a un sistema Windows, y este archivo de comandos realizará los pasos necesarios por nosotros.
Con este comando, la expresión regular '$' apuntará al final de la línea, y la '\r' le indica a sed que inserte un retorno de carro justo antes de llegar al mismo. Insertamos un retorno de carro antes de un avance de línea y conseguido, un CR/LF finaliza cada línea. Por favor, hay que considerar que '\r' únicamente será reemplazado por un CR si se usa GNU sed 3.02.80 o posterior. Si aún no se ha instalado GNU sed 3.02.80, ver mi primer artículo acerca de sed para obtener las instrucciones necesarias. No sería capaz de enumerar todas las veces que he descargado algún archivo de comandos de ejemplo o de código en C, para toparme con que estaba en el formato DOS/Windows. Mientras que a algunos programas les trae sin cuidado manejar el formato DOS/Windows CR/LF en archivos de texto, a otros les importa y mucho -- un ejemplo a destacar sería bash que lo inicia tan pronto como encuentra un retorno de carro. El siguiente comando sed convertirá texto con el formato DOS/Windows al formato de confianza UNIX:
El funcionamiento de este comando es muy simple: nuestra expresión regular a sustituir coincide con el último carácter de la línea, el cual será un retorno de carro. Lo reemplazamos con nada, dando lugar a que sea eliminado de la salida completamente. Si usamos este comando y notamos que el último carácter de cada línea ha sido eliminado, entonces habríamos especificado un archivo de texto que ya estaba en formato UNIX, ¡por lo que no sería necesario! He aquí otra pequeña macro muy práctica. Con ella invertiremos las líneas en un archivo, de forma muy similar a lo que realiza el comando "tac" que se incluye en casi todas las distribuciones Linux. El nombre "tac" puede resultar confuso, dado que "tac" no cambia el orden de los caracteres en una línea (de derecha a izquierda), sino que cambia la posición de las líneas en un archivo (de abajo a arriba). Hacerle un tac al siguiente archivo:
....produce la siguiente salida:
Podemos hacer exactamente lo mismo con la siguiente macro en sed:
Encontraremos este comando especialmente útil si estamos en un sistema FreeBSD, que no dispone del comando "tac". Aunque es muy práctica, es una muy buena idea saber porqué hace lo que hace. Vamos a diseccionarlo. En primer lugar, esta macro contiene tres comandos sed separados por puntos y comas: '1!G', 'h' y '$!d'. Ahora es un buen momento para entender las direcciones empleadas para el primer y el tercer comando. Si el primer comando fuera '1G', la 'G' se aplicaría únicamente a la primera línea. De todas formas, hay un carácter '!' adicional -- este carácter '!' niega el direccionamiento, con lo que el comando 'G' se aplicará a todas las líneas excepto a la primera. Con respecto a la '$!d' estamos en una situación muy similar. Si el comando fuera '$d', lo aplicaría únicamente a la última línea del archivo (la dirección '$' es una forma simple de designar a la última línea). De todas formas, con el '!', '$!d' aplicará el comando 'd' a todas las líneas excepto a la última. Ahora, lo único que necesitamos es entender qué es lo que hacen los comandos. Cuando ejecutamos nuestra macro para invertir las líneas, el primer comando que se lleva a cabo es 'h'. Este comando le indica a sed que copie los contenidos del espacio de patrones (la memoria intermedia que contiene la línea en la que estamos trabajando) al espacio de mantenimiento (una memoria intermedia temporal). Entonces se ejecuta el comando 'd', que elimina "foo" del espacio de patrones, por lo que no se imprime después de que se ejecuten todos los comandos para esta línea. Ahora, la segunda línea. Después de leer "bar" en el espacio de patrones, se lleva a cabo el comando 'G', que añade los contenidos del espacio de mantenimiento ("foo\n") al espacio de patrones ("bar\n"), dando como resultado "bar\n\foo\n" en nuestro espacio de patrones. El comando 'h' vuelve a ponerlo en el espacio de mantenimiento como medida de seguridad y 'd' borra la línea del espacio de patrones, por lo que no se imprimirá. Para la última línea "oni", se repiten los mismos pasos, excepto que los contenidos del espacio de patrones no se eliminan (debido al '$!' anterior a 'd') y los contenidos del espacio de patrones (tres líneas) se imprimen en stdout. Ahora, es el momento de hacer una transformación de datos mucho más poderosa con sed. Durante las últimas semanas, he estado considerando comprar Quicken para hacer balances en mis cuentas bancarias. Quicken es un buen programa de finanzas y realizaría el trabajo con resultados brillantes. Pero, después de pensar acerca de ello, decidí que podía escribir sin demasiados esfuerzos algún programa que hiciera un balance de mi talonario. Después de todo, pensé, ¡soy un desarrollador de software! Desarrollé un pequeño programa de balance de mi talonario (usando awk) que calcula el balance manejando un archivo de texto que contenía todas mis transacciones. Después de trabajar con el mismo, lo mejoré de forma que podía tener en cuenta varias categorías de crédito y débito, tal y como Quicken podía hacer. Pero había una característica más que quería añadir. He cambiado mis cuentas recientemente a un banco que tiene una interfaz Web para manejar mis cuentas en línea. Un día me dí cuenta de que el sitio web de mi banco me permitía descargar la información de mi cuenta en formato .QIF; Acto seguido, decidí que sería muy interesante convertir esa información a formato texto. Antes de que veamos el formato QIF, he aquí el formato de mi archivo talonario.txt:
En mi archivo, todos los campos están separados por uno o más tabuladores, con una transacción por línea. Después de la fecha, el siguiente campo lista el tipo de gasto (o "-" si es un ingreso). El tercer campo lista el tipo de ingreso (o "-" si es un gasto). Después hay un campo para el número de cheque (de nuevo, con un "-" si no contiene nada), un campo de transacción realizada ("Y" o "N"), un comentario y el precio en dólares. Ahora, estamos listos para echar un vistazo al formato QIF. Cuando vi el archivo descargado con un visor de textos, esto es lo que pude observar:
Después de revisar el archivo, no fue demasiado complicado figurarse el formato -- ignorando la primera línea, el formato es como sigue:
Cuando nos ponemos manos a la obra con un proyecto de sed como este, no hay que desanimarse -- sed nos permite adecuar los datos gradualmente a su formato final. A medida que progresamos en el mismo, podemos ir depurando nuestra macro sed hasta que el resultado sea justo el que esperábamos. No es necesario obtenerlo en el primer intento. Para comenzar, he creado un archivo denominado qiftrans.sed y he comenzado a manipular los datos:
El primer comando '1d' elimina la primera línea, y el segundo elimina todos los malditos caracteres '^' de la salida. La última línea elimina todos los caracteres de control que puedan existir en el archivo. Dado que estoy trabajando con un formato de archivos extraño, quiero evitar el riesgo de encontrar cualquier carácter de control a lo largo del archivo. Ahora es el momento de añadir mayor poder de procesamiento a esta macro tan básica:
Primero añado una dirección '/^D/' para que sed únicamente comience a procesar cuando encuentra el primer carácter del campo de la fecha de un archivo QIF, 'D'. Todos los comandos entre las llaves se ejecutarán en orden tan pronto como sed lea una de esas líneas en su espacio de patrones. La primera línea entre llaves transformará una línea como esta:
en otra que será como esta:
Por supuesto, este formato no es perfecto por ahora, pero está bien. Depuraremos gradualmente los contenidos del espacio de patrones al seguir. Las siguientes 12 líneas realizan la labor de convertir la fecha en el formato con tres letras, además, la última línea elimina las tres barras de la fecha. Con lo cual obtenemos una línea como la siguiente:
Los campos OUTY e INNY nos sirven como ubicaciones que se reemplazarán más tarde. No puedo especificarlos ahora, porque si la cantidad de dólares es negativa, querré indicar OUTY e INNY como "misc" y "-", mientras que si la cantidad de dólares es positiva, querré indicarlos como "-" e "inco" respectivamente. Dado que no se ha tenido acceso a la cantidad de dólares todavía, prefiero usar ubicadores por ahora. Es el momento para depurarlo aún más:
Las siguientes siete líneas son un poco complicadas, por lo que las cubriremos en detalle. Primero, encontramos tres comandos 'N' en una columna. El comando 'N' le indica a sed que lea la siguiente línea de la entrada y que la añada al espacio de patrones actual. Los tres comandos 'N' dan lugar a que las tres siguientes líneas se añadan a la memoria intermedia de nuestro espacio de patrones actual, y ahora nuestra línea será como esta:
El espacio de patrones de sed se ha deteriorado -- necesitamos eliminar las nuevas líneas adicionales y hacer cambios de formato adicionales. Para lograrlo usaremos el comando de sustitución. El patrón que deseamos encontrar es el siguiente:
Con ello apuntaremos a una nueva línea, seguida por una 'T', seguida de cero o más caracteres, seguida por otra nueva línea, seguida por una 'N' con cualquier número de caracteres, seguida por una 'P', seguida de cualquier número de caracteres. Esta expresión regular coincidirá con las tres líneas que acabamos de añadir al espacio de patrones. Pero queremos darle otro formato a esta región, no reemplazarla por completo. La cifra en dólares, el número de cheque (en caso de haberlo) y la descripción deben reaparecer en nuestra cadena de reemplazo. Para hacerlo, subyugamos estas "partes interesantes" con paréntesis de barra invertida, por lo que podemos hacer alusión a los mismos en nuestra cadena de reemplazo (usando '\1', '\2\', y '\3' para indicar a sed dónde insertarlos). Este es el comando final:
Este comando transforma nuestra línea en:
A pesar de que la línea está mejorando, hay algunas cosas que parecen a primera vista... interesantes. La primera es la estúpida cadena "NUMNUM" -- ¿para qué sirve? Lo veremos en las siguientes dos líneas de la macro sed, que reemplazarán "NUMNUM" con un "-", mientras que "NUM"<number>"NUM" será reemplazado con <number>. Como puede verse, subordinar el número de cheque con una estúpida etiqueta nos permite insertar un "-" si el campo está vacío. La última línea elimina un punto decimal a continuación de un número. Con lo cual convertimos cifras en dólares como "3,231.00" en "3231.00", que es el formato que empleo. Ha llegado el momento de echar un vistazo a la macro final:
Las siguientes once líneas adicionales usan la sustitución y alguna funcionalidad de ramificación para perfeccionar la salida. Primero, deberíamos observar esta línea:
Esta línea contiene un comando ramificado, que es de la forma "/expreg/b etiqueta". Si se encuentra en el espacio de patrones la expreg, sed ramificará la etiqueta fixnegs. Es muy sencillo encontrar esta etiqueta, que aparece en el código como ":fixnegs". Si la expreg no coincide, continúa con normalidad y sigue procesando el siguiente comando. Ahora que entendemos cómo funciona el comando, vamos a ver las ramas. Si observamos la expresión regular ramificada, vemos que coincidirá con la cadena 'AMT', seguida de un '-', seguida de cualquier número de dígitos y 'AMT'. Como es fácil figurarse, la expreg trata de forma especial las cantidades de dólares negativas. Anteriormente subordinamos las cantidades de dólares con cadenas 'AMT' para que pudiésemos encontrarlas fácilmente después. Dado que la expreg sólo coincidirá con cifras de dólares que comiencen con un '-', nuestra rama sólo aparecerá cuando estemos manejando débitos. Si estamos manejando un débito OUTY debe quedar como 'misc', INNY debe quedar como '-' y debe quitar el signo negativo delante de la cantidad del débito. Si seguimos el código, veremos que eso es lo que hace exactamente. Si el ramal no se ejecuta, OUTY será reemplazado con un '-', e INNY se reemplazará por 'inco'. ¡Hemos terminado! La línea resultante es perfecta ahora:
Como se ha visto, convertir datos usando sed no es tan complicado, siempre y cuando afrontemos el problema de forma incremental. No hay que tratar de hacer todo con un único comando sed, o todo a la primera. En lugar de esto, hay que trabajar gradualmente hasta que logremos nuestro objetivo, y continuaremos mejorando nuestra macro sed hasta que el resultado sea exactamente el que deseábamos. Sed contiene muchos recursos, espero que pronto nos familiaricemos con sed y con su funcionamiento interno y ¡que continuemos creciendo en nuestro dominio de sed! As you can see, converting data using sed isn't all that hard, as long as you approach the problem incrementally. Don't try to do everything with a single sed command, or all at once. Instead, gradually work your way toward the goal, and continue to enhance your sed script until your output looks just the way you want it to. Sed packs a lot of punch, and I hope that you've become very familiar with its inner workings and that you'll continue to grow in your sed mastery!
|
|
