Crazy Rebel: викификация, оформление, иллюстрация

2011-02-15T08:02:35Z

викификация, оформление, иллюстрация

Новая страница

: '''''Python''''' Используйте сведения от Flickr для создания карт с геоданными

==''Python'': Место на карте==

{{Цикл/Python}}

: '''Ник Вейч''' вновь зачертил, но на сей раз идея хороша: найти самые фотогеничные участки вашей местности при помощи карт с геоданными…

Верите вы или нет, но у меня есть подруга. Ей-Богу. Это реальный человек. Зовут ее Пэм, а живет она в Тампа, Флорида. В прошлом году она собиралась в Барселону и спросила, что там стоит фотографировать. А ведь это зависит от вкуса, верно? Кто-то хочет заснять обычные туристические объекты, как все, а иной предпочитает исследовать менее «затертые» части города. Вы можете прочесать сайты с фотографиями, но на самом деле вам нужна карта.

Множество фотоаппаратов и мобильников с камерами теперь внедряют в свои изображения геотэги – указывая широту и долготу – наряду с добавлением других Exif-данных. Сайты с фотографиями, подобные Flickr, записывают эту информацию и делают ее доступной. Так нельзя ли создать карту типа «где в этом городе люди делают снимки»?

===WOE — это я===

В 2008 году Yahoo открыла для разработчиков свою службу геолокации. Одной из ключевых концепций была иерархия уникальных ID для мест или областей этой планеты. Например, один ID идентифицирует такую вещь, как Эйфелева башня. Он будет связан с другими ID, таким как квартал, район, город, область, страна и т. д. Эти числовые ID получили название ''Where On Earth [Где на Земле] ID'', или '''WOEID''', и теперь широко используются в других геолокационных службах, включая Flickr. Более подробно о WOEID можно прочитать на http://developer.yahoo.com/geo/geoplanet/guide/concepts.html, но сейчас вам важно знать, что каждый город имеет WOEID, а многие еще и разбиты на районы, также имеющие свои WOEID.

Итак, как узнать WOEID какой-либо местности? Yahoo требует, чтобы вы зарегистрировались и получили ключ API, чтобы воспользоваться ее службами и найти ответ на данный вопрос. Однако, как мы говорили, Flickr также поддерживает WOEID, и, имея доступ к его «песочнице», мы сможем сделать тестовый запрос и получить WOEID интересующего нас города. Перейдите на http://www.flickr.com/services/api/explore/?method=flickr.places.find и введите ‘Barcelona’. Из полученных данных станет ясно, что WOEID для Барселоны – 753692.

API Flickr также включают другой полезный метод с более длинным именем '''places.getChildrenWithPhotosPublic()'''. Он возвращает структурированный список данных, представляющий собой потомков той области, что вы указали. В случае города, потомками будут районы и/или, в некоторых случаях, почтовые индексы региона. Каждый из них снабжается долготой и широтой центра области и количеством общедоступных фотографий в ней.

Чтобы использовать для запросов API Flickr, необходимо иметь учетную запись на Flickr и обратиться за ключом API – см. врезку. Кроме того, раздобудьте модуль API Flickr для ''Python'', что выливается просто в загрузку пакета для вашего дистрибутива или посещение http://stuvel.eu/projects/flickrapi.

Заполучив эти компоненты, вы сможете увидеть, как работает ваш сборщик WOEID-изображений.

>>>import flickrapi
>>>apikey=’bxxxxxxxxxx2’
>>>woeid=753692
>>>flickr = flickrapi.FlickrAPI(apikey)
>>>request=flickr.places_getChildrenWithPhotosPublic(woe_id=woeid)
>>>list=request[0].getchildren()
>>>for item in list:
... if item.attrib[‘place_type_id’] == ‘22’:
... print item.attrib[‘latitude’], item.attrib[‘longitude’]
... print item.text
...
41.380 2.176
Ciutat Vella, Barcelona, Catalonia, ES, Spain
41.393 2.161
L’example, Barcelona, Catalonia, ES, Spain
41.383 2.183
Barceloneta, Barcelona, Catalonia, ES, Spain
41.386 2.177
Ribera, Barcelona, Catalonia, ES, Spain
41.406 2.179
La Dreta De L’eixample, Barcelona, Catalonia, ES, Spain
41.379 2.167
...

Мы вызвали метод '''getChildrenWithPublicPhotos''', который вернул результат. При тестировании его на сайте Flickr мы видели, что он возвращает объект с одним элементом, по имени '''places''', содержащим список мест, соответствующих запросу. Чтобы получить сам список, раскроем объект при помощи метода '''.getChildren''' и проверим, пройдя по списку, что в полученных данных '''place_type''' означает соседство, тип '''22'''. Причина тут в том, что некоторые области имеют перекрывающиеся объекты – например, области с почтовым кодом или районы, и некоторые снимки могут быть посчитаны дважды, исказив результат.

Метод '''.attrib()''' возвращает именованные значения (по ключу) из объектов отдельных мест и текст-описание, хранящийся в свойстве '''.text'''. Среди других значений – '''photo_count''' и WOEID района. Если у нас имеются значения известных точек, можно отобразить их на диаграмме и показать наиболее фотографируемые области, не так ли? Теперь осталось приискать способ создания привлекательной графики из имеющихся данных.

===Строим диаграмму===

{{Врезка|Содержание=[[Изображение:LXF126_77_1.jpg|300px]] OpenStreetMap – лучший источник юридически чистых картографических сведений, которые можно отображать и публиковать.|Ширина=300px}}}}

Если нужно построить контуры, гистограмму или график по точкам, каждый уважающий себя питонист первым делом обращается к модулю ''Mathplotlib''. Как и его проприетарный кузен ''Matlab'', ''Mathplotlib'' – это библиотека функций для преобразования данных в нечто приятное глазу. И опять-таки этот модуль ''Python'' обычно имеется в вашем дистрибутиве. Можно также установить модуль ''Numpy'': он добавляет в ''Python'' несколько удобных возможностей и функций для визуализации данных, включая многомерные массивы.

''Matplotlib'' содержит полезную функцию с именем '''contourf''', которая просто берет список значений '''x, y''' и '''z''' и строит на их базе контурные цветные области вокруг точек с максимальным значением – по сути, это карта температур. Но прежде чем передать данные, следует устранить проблему: функция '''contourf''' работает только с данными в виде равномерной сетки, а наши точки и значения распределены случайным образом. Решение – создать пустую сетку данных, а затем наложить на нее наши значения при помощи какого-либо метода интерполяции. Вот почему модуль ''Numpy'' вам очень пригодится.

Метод '''numpy.linspace()''' возвращает список, заполненный набором числовых значений из заданного диапазона – а это нам и нужно для создания сетки '''x–y'''. Затем мы сможем воспользоваться функцией '''griddata''' из ''Matplotlib'' для интерполяции наших точек в нормальную сетку. Тогда наш код будет выглядеть так:

<source lang=Python>
for item in list:
if item.attrib[‘place_type_id’] == ‘22’:
y.append(float(item.attrib[‘latitude’]))
x.append(float(item.attrib[‘longitude’]))
z.append(int(item.attrib[‘photo_count’]))
xmin=min(x)
xmax=max(x)
ymin=min(y)
ymax=max(y)
x += xmin, xmin, xmax, xmax
y += ymin, ymax, ymin, ymax
z += 0, 0, 0, 0
yrange=ymaxymin
xrange=xmaxxmin
maxrange=max(xrange, yrange)
stepsize=maxrange/500
# создаем пустую сетку
xi = numpy.linspace(xmin,xmax,int(xrange/stepsize))
yi = numpy.linspace(ymin,ymax,int(yrange/stepsize))
# вносим данные в сетку
zi = griddata(x,y,z,xi,yi)
</source>

Здесь мы позаботились и о других двух моментах. Получение максимальных и минимальных значений для '''x''' и '''y''' дает нам границы прямоугольной области. Мы можем добавить эти точки (и нулевые значения) в наш массив данных, чтобы убедиться, что построенные контуры доходят до края карты. Кроме того, мы можем использовать эти данные для расчета шага нашей сетки. Не все города квадратные, поэтому мы изменяем размер шага в соответствии с занимаемой ими площадью.

Осталось только воспользоваться функцией '''contourf''' для построения градиента вокруг областей и отобразить их (и сохранить в виде файла):

<source lang=python>
CS = plt.contour(xi,yi,zi,15,linewidths=0.5,colors=’k’)
CS = plt.contourf(xi,yi,zi,15,cmap=plt.cm.jet)
plt.colorbar() # рисуем цвет ную полоску
# отображаем точки данных
plt.scatter(x,y,marker=’o’,c=’b’,s=5)
plt.xlim(xmin,xmax)
plt.ylim(ymin,ymax)
plt.title(‘Barcelona’)
plt.savefig(‘barcac.svg’)
plt.show()
</source>

Здесь мы сперва построили контурную черную '''(’k’)''' линию толщиной 0,5, затем применили метод цветной заливки контуров. Параметр '''cmap''' – одна из предопределенных цветовых карт ''Matplotlib'', дающая хороший диапазон от голубого через желтый до красного.

Остается наложить созданное изображение на карту. Можно бы зайти на Google Maps, но их карты, естественно, не ваша, а их собственность, поэтому лучше взять картографические данные от OpenStreetMap.

Простого метода изъятия PNG из указанного места нет, но вы можете загрузить его вручную, перейдя на вкладку '''Export''' на главной странице карты и введя широту и долготу местности, карту которой желаете загрузить. Выберите отрисовку '''OSM''' при наибольшем приближении.

Изображение-карта и созданная карта температур могут быть совмещены в ''GIMP, Scribus'' или ''Inkscape''. По-моему, в ''Inkscape'' это проще всего, потому что можно загрузить SVG-версию контурной карты, установить прозрачность 50 % и растянуть ее над картой улиц. Соотношение сторон не будет таким же, поскольку в нашей контурной карте предполагается, что шаг по x и y одинаков, а на сферической поверхности Земли это не так, но для малых областей искажения минимальны.

Тем не менее, чтобы получить информацию, соответствующую реальности, необходимо растянуть контур до размера карты.

===Подождите, это еще не все===

{{Врезка|Содержание=[[Изображение:LXF126_78_1.jpg|300px]] По этому рисунку с наложением точно видно, где люди делают снимки в Бате — хороший индикатор достопримечательностей.|Ширина=300px}}}}

Этот подход работает только для большой местности, имеющей достаточно данных о соседях, чтобы в результате получить значимую информацию. Чтобы получить более точный вид или отрисовать области с малым числом соседей или вообще без них, необходимо действовать по-другому. Лобовой метод – загрузить информацию обо всех снимках, сделанных в требуемом районе. Для большого города это неподъемно, но, например, для городка Бат [курортное место, где находятся Башни LXF] вполне в пределах досягаемости.

Основной метод Flickr '''photos.search()''' предоставляет механизм для извлечения данных только из некоторых WOEID. Затем информация об изображениях возвращается в виде постраничного списка, и по запросу в эти данные будут включены сведения о географическом положении.

Поскольку Flickr-сервера ворочаются со скрипом, лучше вытащить информацию для последующей обработки в файл – тогда нам не надо будет загружать данные о городе более одного раза. Их предварительный просмотр также даст нам возможность отсеять снимки с неверными геолокационными тэгами (иногда изображения помечаются как обладающие геоданными, но содержат нулевые широту и долготу) или с невысокой точностью.

<source lang=python>
import flickrapi
apikey=’bxxxxxxxx52’ #your key here
out=open(“bath.csv”,”w”)
woeid=12056
geolist=[]
flickr = flickrapi.FlickrAPI(apikey)
#request=flickr.interestingness_getList(extras=’geo’,
per_page=500)
request = flickr.photos_search(woe_id=woeid, per_page=250)
foo=request.getchildren()
pages=int(foo[0].items()[3][1])
print pages
for i in range(1, pages+1):
try:
request = flickr.photos_search(woe_id=woeid, extras=’geo’,per_page=250, page=i)
foo=request.getchildren()
bar=foo[0].getchildren()
#bar теперь список фотоэлемен тов
print ‘attempt ‘+str(i)
for pic in bar:
if (pic.attrib[‘accuracy’])>14:
lat=(float(pic.attrib[‘latitude’]))
lon=(float(pic.attrib[‘longitude’]))
if (lat, lon)!=(0.0, 0.0):
out.writelines(str(lat)+’, ‘+str(lon) +’\n’)
except:
print ‘skipped ‘ + str(i)
out.close
</source>

Этот скрипт пробегает все страницы результатов поиска данных и сохраняет широту и долготу в простом формате '''CSV'''. Мы можем воспользоваться этим файлом для создания более точной карты. Но нужно все-таки сгенерировать сетку данных; наш случай отличается отсутствием оси '''z'''. У нас просто есть точки, а значения в них одинаковы. Поэтому, воспользовавшись тем же подходом, что и раньше, мы получим плоское изображение. Для количественной оценки данных их следует сгруппировать.

Мы можем сделать это, создав, как и ранее, пустую сетку, а затем пройти повсем точкам и определить, к какому «квадрату» новой сетки они относятся. Увеличение каждого отдельного значения массива '''z''' в случае принадлежности точки квадрату даст нам заполненность каждого из них, а на базе этого можно строить диаграмму.

{{Врезка|Заголовок=Скорая помощь|Содержание=Команда '''matplotlibplt.show()''' открывает окно и останавливает выполнение скрипта, пока отображается картинка – вызывайте ее в самом конце вашего приложения.|Ширина=200px}}

<source lang=python>
import matplotlib.pyplot as plt
import numpy as np
import matplotlib.cm as cm
####читаем данные
lats=[]
lons=[]
a = open(‘bath.csv’, ‘r’)
for line in a.readlines():
lats.append(float(line.split(‘,’)[0]))
lons.append(float(line.split(‘,’)[1]))
print ‘Data points: ‘, len(lats)
xmin=min(lons)
xmax=max(lons)
ymin=min(lats)
ymax=max(lats)
yrange=ymaxymin
xrange=xmaxxmin
maxrange=max(xrange, yrange)
stepsize=maxrange/100
limit =int(len(lats)/20)
print ‘area mapped:’
print xmin, xmax
print ymin, ymax
#define a new grid
xi = np.linspace(xmin,xmax,int(xrange/stepsize))
yi = np.linspace(ymin,ymax,int(yrange/stepsize))
zi = np.ones((len(yi), len(xi)))
print ‘xi dimension ‘ +str(len(xi))
print ‘yi dimension ‘ +str(len(yi))
print ‘zi dimension ‘+ str(zi.shape)
for yindex in range(len(lats)):
#find which box it goes into
xx=lons[yindex]xmin
xx=int(xx/stepsize)1
yy=lats[yindex]ymin
yy=int(yy/stepsize)1
if zi[yy, xx] < limit:
zi[yy, xx]+=1
Plot = plt.contourf(xi,yi,zi,15,cmap=plt.cm.jet)
plt.savefig(‘bath.svg’)
plt.show()
</source>

===Окончательная доработка===

{{Врезка|Содержание=[[Изображение:LXF126_79_1.jpg|300px]] Метод подсчета соседей дает гладкие контуры и хорошее представление о том, где люди делают снимки, но его трудно применить к конкретному месту.|Ширина=300px}}}}

Есть еще кое-что, требующее доработки. Переменная '''limit''' была введена в связи с тем, что, скорее всего, немало изображений будут иметь одинаковые координаты. Даже в логарифмической шкале их количество «задавит» остальные части карты. В нашем скрипте '''limit''' вычисляется как процент от общего количества изображений в области – если результат не вдохновляет, поиграйте с этим значением, но '''20 %''' вроде бы хорошо работает для большинства мест.

Еще один варьируемый параметр – количество квадратов нашей сетки. За него отвечает строка:

stepsize=maxrange/100

Фактически мы получаем 100 интервалов вдоль более длинной стороны. Другая сторона вычисляется в соответствии с этим значением. Вы можете счесть, что 100 – слишком мало. Увеличение шага сетки повышает гранулярность результата, но также и «шум» изображения, и в конце концов вы получите на экране практически двоичные данные.

===Еще о чтении карт===

Посмотрите ''Basemap'' (http://matplotlib.sourceforge.net/basemap/doc/html/), облегчающую отрисовку элементов в различных проекциях на реальной карте мира.

Документация Flickr API (http://www.flickr.com/services/api) не только информативна, но и предоставляет удобную функцию пробных вызовов API на web-странице.

О WOEID и других полезных сервисах читайте на Yahoo GeoPlanet (http://developer.yahoo.com/geo/geoplanet/guide/).

''Matplotlib'', http://matplotlib.sourceforge.net, – это модуль ''Python'' для построения различных диаграмм.

И, наконец, посетите http://stuvel.eu/projects/flickrapi для лучшего интерфейса Python–Flickr.

LXF126:Python - История изменений

Crazy Rebel: викификация, оформление, иллюстрация