Crazy Rebel: викификация, оформление, иллюстрация

2010-08-10T09:55:00Z

викификация, оформление, иллюстрация

Новая страница

: '''OpenDocument''' Раскрываем потенциал ''OpenOffice.org''

==ODF: Вытянем данные из ''OOo''==

: '''Марко Фиоретти''' запросто обработает информацию в формате OpenDocument: электронные таблицы, текстовые документы и прочее, а кода – всего ничего...

На предыдущих уроках этой серии мы показали, как автоматически генерировать различные файлы OpenDocument при помощи нескольких очень простых скриптов.
Эти файлы, которые могут быть текстом, электронными таблицами или презентациями, сразу же можно редактировать в ''OpenOffice.org'' или другом ODF-совместимом офисном пакете. Среди прочего в данную категорию попадает и последняя версия ''Microsoft Office'', с установленным соответствующим
расширением (даже при том, что имеются некоторые проколы, особенно при работе с электронными таблицами).

Мы уже знаем, как генерировать электронные таблицы, текст и презентации ODF, и в этом месяце рассмотрим другую проблему: как работать с уже существующими ODF-файлами? А именно, как извлечь и использовать содержащуюся в них информацию? Ну, и зачем вам может понадобиться делать нечто подобное?
Чтобы найти ответы, продолжайте читать.

Не удивляйтесь, это предназначено не для системных администраторов или супер-хакеров. Вы узнаете, как играть в такие игры, даже если вы всего лишь обычный пользователь, считающий, что компьютеры должны облегчать жизнь людям, а не наоборот. Имеется множество ситуаций, когда полезнее и проще открыть
ODF-файл и поработать с его содержимым. Три самых типичных из них – обработка изображений, поиск или анализ текста и извлечение метаданных. До конца
этого урока мы рассмотрим их все.

===ODF: что внутри?===

Если вы пропустили предыдущие выпуски этой серии, то вот краткое содержание. Формат файлов OpenDocument (ODF) – это стандарт ISO для документов с форматированным текстом, электронных таблиц и презентаций, представляющий единственную реальную альтернативу форматам, разработанным для ''MS Office''.

Прелесть ODF в том, что это просто сжатый Zip-архив, где каждую часть содержимого легко извлечь и обработать, потому что они аккуратно хранятся в отдельных местах. Текстовое содержимое, форматирование, метаданные и другая информация – все это хранится в различных текстовых XML-файлах, а изображения и другие двоичные объекты имеют собственные каталоги. При этом очень просто найти или изменить только те части содержимого, которые
действительно нас интересуют.

===Уплотняем ODF===

Первый практический пример обработки данного типа – это снижение общего размера ODF-файла благодаря сжатию каждого содержащегося в нем изображения в отдельности. Это не то же, что сжатие самого ODF-файла, и потенциально более эффективно: ведь полный ODF-файл уже сжат, и применение к нему '' zip, bzip2'' или любого другого алгоритма компрессии мало что даст.

Подобные действия очень пригодятся, если необходимо передавать большие файлы при медленном соединении, или в качестве вложений электронной почты. Меньшие по размеру файлы также важны, если вы желаете опубликовать как можно больше материалов на какой-нибудь бесплатной учетной записи web
с ограниченным пространством.

На http://www.OOOforum.org уже есть скрипт, уменьшающий размер ODF-файлов данным способом. Его автор сообщает, что версия 1.23 сокращает размер
руководства по установке ''OOo 2.0'' на 22 %, но выигрыш для слайд-шоу со множеством больших фотографий будет явно больше.

Основная идея объясняется на http://www.oooforum.org/forum/viewtopic.phtml?t=27339, а сам скрипт опубликован и прокомментирован на http://www.oooforum.org/forum/viewtopic.phtml?t=27452. Поскольку эти две ветки содержат множество деталей, а базовая реализация скрипта та же, что описана ниже, мы просто приглашаем вас попробовать его и перейти к главной части урока.

===Обработка изображений===

Структура ODF-файла такова (см. '''ODF: что внутри?''' выше), что манипулировать изображениями, содержащимися в нем, очень легко. Прежде чем перейти к реальным примерам, обсудим базовую структуру, которую может иметь сценарий данного типа. Его код показан на '''Листинге 1''':

{{Врезка|Содержание=[[Изображение:LXF122_61_1.jpg|300px]]Как извлечь и обработать изображения из ODF-файлов.|Ширина=300px}}

<source lang=bash>
Листинг 1: odf_image_processing.sh
1 #! /bin/bash
2 START_DIR=`pwd`
3 FILENAME=`basename $1`
4
5 #Создайте временный рабочий каталог
6 mkdir tmp_odf_work_dir
7 cp $1 tmp_odf_work_dir/odf_file.zip
8 cd tmp_odf_work_dir
9
10 unzip odf_file.zip > /dev/null
11 if [ -d Pictures ]
12 then
13 cd Pictures
14 for ODF_PIC in `ls`
15 do
16 echo “Обрабатываем $ODF_PIC”
17 #### Выполните то, что желаете, с текущим изображением
18 done
19 cd ..
20 rm odf_file.zip
21 find . -type f -print0 | xargs -0 zip ../new_$FILENAME > /dev/null
22
23 else
24 echo “В $1 нет изображений”
25 fi
26
27 cd $START_DIR
28 rm -rf tmp_odf_work_dir
29
30 ### Здесь начинается пост-обработка
</source>

Первая часть скрипта (строки 1–8) должна быть знакома любому, кто читал предыдущие уроки этой серии про ODF, поскольку там использовался тот же базовый подход. Все начинается с копирования ODF-файла, переданного в качестве первого аргумента, с расширением '''.zip''', во временный каталог ('''tmp_odf_work_dir'''), созданный лишь для работы в чистом окружении. Затем мы распаковываем архив и проверяем, есть ли в нем директория с именем '''Pictures''' (строки 10–11). Если ее нет, то скрипт выдает предупреждение и, после удаления временных файлов (строки 27–28), завершается. Если каталог '''Pictures''' существует, то переходим туда для обработки всех графических файлов в нем. Это единственная часть скрипта, которую вам следует переписать в соответствии с вашими нуждами, вставив вместо строки-комментария 17 соответствующие команды (см. примеры ниже). Следующие шаги удаляют локальную копию ODF-файла и опять упаковывают все в новый ODF-файл с префиксом '''new_''' (строки 19–21).

Последняя строка-комментарий 30 намекает на другой вариант использования скрипта – то есть применение изображений, найденных в ODF-файле, где-то еще. Другими словами, в строке 17 вы можете написать:

cp $ODF_PIC $SOME_OTHER_DIRECTORY/$ODF_PIC

а затем добавить в конец скрипта другие команды, для обработки картинок, которые изначально были запрятаны в презентации или текстовом документе. В качестве практически полезного примера ниже будет рассмотрено создание web-галереи.

===Другие способы обработки===

Помимо изменения размера, над ODF-файлами можно выполнять еще множество других операций. Лучший инструмент для этих целей – пакет программ для обработки изображений в командной строке ''ImageMagick'' ([[LXF116:ImageMagick|LXF116]]–[[LXF117:ImageMagick|117]]). На сайте http://www.imagemagick.org/Usage приведены тонны примеров того, что может сделать ''ImageMagick''. Наиболее частая операция с ODF-файлами, скорее всего, добавление рамки или уведомление о правах на копирование к каждой картинке, но единственное ограничение здесь – лишь ваши запросы. Просто посетите эту страницу и посмотрите, что может ''ImageMagick'': если вы вдруг подумаете: «Эй, я хочу сделать это со всеми картинками в моем слайд-шоу или докладе, не тратя времени», то способ очевиден и прост. Полностью скопируйте с web-страницы команду ''ImageMagick'', выполняющую то, что вы хотите, в строку 17 приведенного выше скрипта, затем изучите ее man-страницу (документация ''ImageMagick'' ясна и исчерпывающа), чтобы изменить или добавить ключи командной строки, удовлетворяющие вашим потребностям.

Независимо от программы, которую вы примените в показанном скрипте для работы с картинками ODF, не забывайте очевидную, но легко опускаемую деталь: при данном подходе изменяется исходное изображение. Любой добавляемый текст (как водяной знак) будет нанесен прямо на исходный PNG-файл, присутствующий в презентации. Вы можете достичь того же эффекта путем добавления текстовой вставки поверх изображения, но цели тут абсолютно разные.

Данное отличие становится еще более важным в электронных таблицах. Как показано на уроке работы с таблицами ODF в [[LXF119:OpenOffice|LXF119]], диаграммы на рабочих листах ODF – это диаграммы, а не изображения: они представляют собой куски XML-кода, который программы, совместимые с ODF, используют для отрисовки графики на рабочем листе в реальном времени при каждом изменении данных. Из этого следует, что наш скрипт никак не влияет на диаграммы, потому что он просматривает только каталог '''Pictures'''.

Изменения изображений не обязательно касаются их внешнего вида. Все цифровые камеры используют формат Exif (Exchangeable Image File Format), для записи метаданных в свои JPEG-изображения. Простой способ читать и записывать эти данные в Linux – через ''exiftool'', консольный интерфейс для модулей ''Perl Image-ExifTool'' (http://cpan. uwInnipeg.ca/dist/Image-ExifTool).

Включение в наш скрипт ''exiftool'' означает возможность извлекать временные метки, комментарии, тэги, географические координаты или любые другие данные из всех JPEG-фотографий любого ODF-файла. Столь же просто будет добавить комментарии или другую информацию в Exif-формат внутри самих JPEG-файлов.

И последнее замечание к этому методу обработки изображе-ний OpenDocument: изображениями он не ограничивается. В Linux имеется масса консольных утилит, способных выполнять все что угодно с мультимедиа-файлами или двоичными объектами. Автоматическое сканирование макросов, для проверки на вирусы или другой вредоносный код, может работать таким же образом. Обработка возможна, даже если ваше аудио- и видеосодержимое размещено в слайд-шоу или текстовом
файле. Например, можно заменить все звуковые композиции презентации другими, с более низкой частотой дискретизации (что снизит размер файла), или преобразовать внедренное видео в открытые форматы, или уменьшить разрешение.

===Создаем галерею изображений===

Давайте рассмотрим пример внешнего использования изображений из ODF-файла. Помните, мы отмечали ранее, что строка 30 листинга 1 – то место, где можно работать с изображениями вне исходного ODF-файла? Наиболее частый случай – перенос их в web-галерею. Полезным инструментом для этого является ''shalbum'' (http://sourceforge.net/projects/shalbum) – сценарий оболочки, использующий ''ImageMagick'' для создания набора HTML страниц с миниатюрами и навигационными ссылками.

{{Врезка|Содержание=[[Изображение:LXF122_62_1.jpg|300px]] Откуда взялась эта галерея изображений в сети? Естественно, из документа ODF!|Ширина=300px}}

Рисунок показывает web-альбом, реагирующий на щелчки мыши, полученный заменой строки 30 листинга 1 на команду '''cd $SOME_OTHER_DIRECTORY/; shalbum''' и последующей обработкой слайд-шоу ODF, показанного в правом верхнем углу следующей страницы. Поскольку ''shalbum'' поддерживает также и подписи к рисункам, то будет относительно просто также извлечь их из ODF-файла и опубликовать эту информацию в сети. Ввиду ограниченности объема статьи оставляю это действие в качестве упражнения для читателя.

===Поиск текста===

Теперь перейдем к совершенно другой области: будем искать, какой файл содержит некую строку. Для простых текстовых файлов это очень просто. Linux, благодаря своей Unix-природе, всегда имел множество утилит для фильтрации, поиска и обработки текстовых файлов. Было бы очень удобно делать то же самое для ODF-файлов, не так ли? Как выясняется, это не очень-то и сложно. Во-первых, нам необходим инструмент для извлечения текста из zip-архива. '''Листинг 2''' содержит ODF-эквивалент традиционной команды ''cat'':

<source lang=bash>
Листинг 2: odf_cat.sh, команда cat для ODF файлов:
1 #! /bin/bash
2
3 mkdir tmp_odt_cat
4 cp $1 tmp_odt_cat/odf_file.zip
5
6 cd tmp_odt_cat
7 unzip odf_file.zip > /dev/null
8
9 tr “<” “\012” < content.xml | \
10 grep -i ^text | \
11 cut ‘-d>’ -f2- | \
12 perl -e “while (<>) {s/'/’/g; print }”
13 cd ..
14 \rm -rf tmp_odt_cat
15 exit
</source>

Общая структура '''Листинга 2''' та же, что мы видели в предыдущих примерах, поэтому сосредоточимся на строках 9–12; сперва, заменяя символы '''>''' на конец строки, мы размещаем каждый XML-элемент на отдельной строке, упростив себе фильтрацию чисто текстовых элементов. А в строке 11 удаляется все, кроме реального содержимого. Вызов ''Perl'' в строке 12 преобразует HTML-запись, соответствующую одиночной кавычке, в обычный вид.

Вот и все! Да-да, эти несколько строк кода – все, что нужно для полного переноса содержимого текстового ODF файла в терминал или в любую другую программу, которой оно может понадобиться. В качестве доказательства, посмотрите на другой фрагмент bash-скрипта:

<source lang=bash>
Листинг 3: find_in_odf.sh
1 for FILE in `find $1 -type f -name “*odt”`
2 do
3 /home/marco/PROJECTS/_Archive/LXF/ODF_Scripting/Part_3_processing/scripts/odf_cat.sh $FILE > tmp_odf_find
4 grep -q -i “$2” tmp_odf_find && echo $FILE
5 rm tmp_odf_find
6 done
</source>

Он находит все текстовые файлы ODF в каталоге, передаваемом как первый аргумент, и сохраняет содержимое каждого из них во временном файле. Если файл содержит второй аргумент ('''$'''2), то имя соответствующего ODF-документа выводится в стандартный поток вывода. Вот как ваш автор нашел, в какой из его статей '''LXF''' упоминается браузер ''Konqueror'':

[marco@polaris LXF]$ ODF_Scripting/Part_3_processing/scripts/find_in_odf.sh . konqueror
./KONQUEROR_TIPS/konqi.odt
./LIVE_CD_ROUNDUP_2008/live_cd_roundup_2008.odt

Конечно же, приведены только простейшие примеры; смысл в том, чтобы показать вам, как легко это делается. Более сложным инструментом командной строки для извлечения и сохранения более-менее форматированного текста из ODF-файла является ''odt2txt''. На web-странице http://www.verimag.imag.fr/~moy/opendocument описано, как он работает и как его можно использовать в других программах для поиска отличий между ODF-файлами
или интегрировать его в систему управления версиями.

===Метаданные===

Закончим данную серию по обработке ODF описанием некоторых вспомогательных компонентов. Кроме файла, зарезервированного для реального содержимого, внутри документа ODF имеется еще по крайней мере два XML-файла, с которыми также стоит поработать. Первый – это '''styles.xml'''. Используя описанные здесь приемы, можно автоматически модифицировать стили всех ваших ODF-файлов или заменить их новыми.

Второй интересный файл называется '''meta.xml''', он содержит – угадали! – метаданные. Они делятся на фиксированные и определяемые пользователем: первая категория включает параметры типа даты последней распечатки или числа циклов редактирования, слов и символов для каждого документа. Извлечение этих чисел пригодится для сбора статистики о работе, построения полного каталога или просто индексирования. Онлайн-книга '''OpenDocument Essentials''' (http://books.evc-cit.info/odbook/ch02.html#meta-casestudy-section) Дэвида Дж. Айзенберга [J David Eisenberg] содержит отлаженный ''Perl''-скрипт для выполнения извлечения именно такого типа. Как всегда, существует более простое, хотя и менее гибкое, решение, представляющее собой скрипт оболочки в несколько строк.

<source lang=bash>
Листинг 4: cat_odf_metadata.sh
1 #! /bin/bash
2
3 mkdir tmp_odt_cat
4 cp $1 tmp_odt_cat/odf_file.zip
5
6 cd tmp_odt_cat
7 unzip odf_file.zip > /dev/null
8
9 tr “<” “\012” < meta.xml | \
10 grep ^meta
11 exit
</source>

Вот результат запуска ''cat_odf_metadata.sh'' для обычного текстового ODF-файла:

meta:generator>OpenOffice.org/2.4$Unix OpenOffice.org_project/680m18$Build-9364
meta:print-date>2008-12-04T03:39:41
meta:editing-cycles>1053
meta:editing-duration>P1DT20H34M6S
meta:user-defined meta:name=”Info 1”/>
meta:user-defined meta:name=”Info 2”/>
meta:user-defined meta:name=”Info 3”/>
meta:user-defined meta:name=”Info 4”/>
meta:document-statistic
meta:tablecount=”0” meta:image-count=”0”
meta:object-count=”0” meta:pagecount=”7” meta:paragraph-count=”208”
meta:word-count=”4565” meta:charactercount=”27064”/>

В результате получился упорядоченный список метаданных, которые можно отфильтровать, как и любой системный журнал или обычный текстовый файл. Метаданные, определяемые пользователем, интересны по двум причинам. Во-первых, они сами, как и их названия, могут быть чем угодно: тэгами, комментариями, именами заказчиков – что только можно выразить текстом. Далее, поскольку метаданные расположены в обычном XML-файле, вы можете изменять их при помощи тех же скриптов и советов, что описаны в этой серии для автоматической генерации ODF-текста! Вот синтаксис для полей данного типа:

<meta:user-defined meta:name=”имя”>значение</meta:user-defined>

Итак, для изменения скриптов, представленных в этой серии, для пометок и классификации всех ваших ODF документов требуется действительно мало усилий – разве нет?

===А зачем все это нужно?===

Формат OpenDocument – это международный стандарт, свободный от правовых ограничений; он позволяет конечному пользователю без опыта программирования создавать форматированные текстовые документы, слайд-шоу и презентации в полностью графическом интерфейсе. В то же время, если только у вас не слишком специфичные требования, это формат, весьма простой для автоматической обработки при помощи несложных программ, написание которых не занимает много времени. Все это делает OpenDocument прекрасным, если не единственным на сегодняшний день, выбором для создания, обработки и обмена различными офисными документами, при минимально возможных усилиях и без страха быть прикованным к единственному приложению. Мы надеемся, что все описанные в данной серии приемы помогут вам выполнять именно это. Наслаждайтесь ODF!

===Взаимодействие с ODF===

Мы говорили ранее и повторяем, что ODF – единственная существующая альтернатива проприетарным форматам файлов, сковывающим миллиарды существующих документов, в том числе принадлежащих налогоплательщикам.

Вы можете убедиться на http://www.opendocumentfellowship.org, что многие правительства уже изменили свои предпочтения в пользу этого формата; вплоть до того, что в 2008 Microsoft заявила: «Очевидно, ODF победил». Поэтому смело советуйте друзьям, все еще предпочитающим ''MS Office'', установить модуль расширения ODF для этого пакета. К сожалению, ODF все-таки не дает 100% гарантии в том, что вы не будете прикованы к какому-либо конкретному приложению, если будете продолжать использовать свои документы. В настоящий момент ситуация выглядит благоприятной для текста и презентаций до тех пор, пока вы не внедрите изображения или другие двоичные объекты в проприетарных форматах. Для электронных таблиц содержимое может отличаться значительно: имеется прекрасное описание этой темы на http://www.robweir.com/blog/2009/05/update-on-odf-spreadsheet.html. Однако все выглядит много лучше, чем год-два назад. Сегодня ODF – это единственная спецификация формата файлов, о которой говорит вся промышленность; и она превосходна и открыта.

LXF122:OOo - История изменений

Crazy Rebel: викификация, оформление, иллюстрация