Всем привет.

Наткнулся на ролик компании “Racurs”.

Ход строительства Крымского моста на радиолокационных снимках Sentinel-1.

Цитата:

Ролик был создан на основе 40 разновременных снимков, полученных радиолокационными спутниками миссии Sentinel-1. В набор попали изображения с мая 2015 года по ноябрь 2017 года.  

Тема мне интересна и есть желание научится чему-то новому, особенно – обработке радарных снимков для выяснения зон паводков/наводнений/etc., как пример:

• Step by Step: Recommended Practice Flood Mapping
• Flood Mapping using SAR images PDF(~28 Mb)

а также, создание карт вертикальных смещений - после землетрясений, активности вулканов, панических сообщений СМИ о “просадке мостов и/или сооружений” :

• Построение карты вертикальных смещений по паре радарных снимков КА Sentinel-1

Данные можно использовать для оценки объема и границ кризисного картографирования. Где точно нужно уточнить или срочно создать с нуля, по уже устаревшим снимкам.

Если статьи и видео, с примерами обработки снимков Sentinel-1, в QGIS, SNAP или NEST - найти можно, то полноценный обучающий материал по обработки снимков Sentinel-1 с помощью GRASS GIS – я найти так и не смог. Отельные описания модулей по работе с архивом на Copernicus API Hub, загрузки и т.п. - находятся, а вот пример полного цикла обработки - нет.

Ранее я уже немного изучал (потыкал палкой) GRASS, и даже скрипты на Python пробовал писать, но теперь хочется разобраться с обработкой Sentinel-1 в пакетном режиме… задать bbox и получить несколько карт смещений - за месяц/квартал/год/с года запуска Sentinel-1.

Вопрос:

Помогите найти информацию (ссылки) на примеры обработки снимков Sentinel-1 в GRASS GIS - от загрузки, до получения карты вертикальных смещений.
Может кто-то уже решал такую задачу в GRASS GIS?

На форуме GisLab периодически возникают подобные вопросы, но ответов я так и не дождался.

На форуме Gis-Lab как-то спрашивали, как сделать карту острова и нанести градусную сетку… чем мог - помог через личку, тем более спрашивающий делал карту в подарок отцу на день рождения - он живет на Шикотане, а карта нужна для зимних поездок на снегоходе.

Через пару месяцев, похожий вопрос про градусную сетку снова возник, так что наработки пригодились ;)

Разные интересные примеры и уроки появляются в ленте “QGIS Planet” которые иногда пробую повторить. Результаты опытов долго лежали без дела, но в связи с переездом/закрытием “Яндекс.Фотки” решил опубликовать некоторые.

К сожалению со “стилем Танаки” у меня, что-то не особо получается…
надо больше изучить “что на что влияет”, чтобы сделать красиво
по мотивам http://qgis.zoran-cuckovic.from.hr/2017/12/tanaka-method.html

вариант “по быстрому”
по мотивам https://www.youtube.com/channel/UCxs7cfMwzgGZhtUuwhny4-Q

В обоих случаях картинки кликабельны, а для создания их использовались SRTM и данные из OSM - береговая линия и названия мысов, островков и заливов.

Если QGIS кого заинтересовал, могу порекомендовать канал Эдуарда Павлова на русском - про QGIS и не только

Update 2018.12.05 : канал Эдуарда Павлова теперь называется Фабрика картографии и геоинформатики СК

P.S. А вот найти примеры создания инфографики (видео) по данным OSM и плотной работы с историей правок в Blender - я к сожалению не смог. В редакторе Blender используется Python3, но вот библиотек работающих с историей правок OSM я что-то не видел… не уверен, что есть такие в природе.

Благодаря Sibri переведена статья написанная adrienandrem (его twitter)
Где описывается как с помощью PostGIS, GRASS GIS и QGIS - вычислить и выделить районы, которые плохо отрисованы.

После недолгих раздумий, решил разместить перевод на Gis-Lab:

“Приоритет отрисовки в OpenStreetMap”
( http://gis-lab.info/qa/osm-mapping-priority.html )

Не знаю когда (и если) дойдут руки, но хочется повторить методику, но на данных по России.
Только вместо Tasking Manager (http://tasks.hotosm.org/), наверное будет проще использовать MapCraft (http://mapcraft.nanodesu.ru/)
Пока буду думать, что брать в работу - регион или федеральный округ (СФО, ДФО или УФО), надо решить еще несколько проблем:

• найти перевод инструкций по импорту данных OSM в PostGIS
• найти способ получить границы хайреза Bing/MapBox/DigitalGlobe

Для желающих помочь с переводом

В статье есть ссылка на инструкцию из руководства Регины Обе (Regina Obe), по импорту данных OSM в базу данных PostGIS:
“Loading OpenStreetMap data into PostGIS: An Almost Idiot’s Guide”

К сожалению, она уже достаточно сильно устарела, чтобы ее переводить…
Поэтому ищется актуальное руководство, которое можно (и нужно) перевести.

Для желающих помочь с границами хайреза

Возможно…

• кто-то знает кого-то, кто может спросить в компании на предмет поделится границами хайреза, или как-то пометить тайлы
• кто-то экспериментировал с автоматизацией (скрипты/приложения) определения границ
• кто-то в своем регионе отслеживает и имеет отельный файл *.OSM с границами

Поделитесь информацией, это поможет не только мне с данной задачей, но и во многих других случаях.

Примерно так выглядят 5-10% рек и ручьев Сахалинской области

по сравнению с соседними регионами, теперь выглядит неплохо,
если не смотреть в сторону Японии…

* Все картинки кликабельны

---

Год назад сгорел комп и появилось время на чтение документации и форума Gis-Lab.
Давно собирался разобраться, что за зверь - GRASS GIS и как его хотя бы запустить…

В течении года пробовал разные подходы, настройки, аддоны и версии GRASS GIS - короче, развлекался по полной.
Так как уже почти 2 года сижу на Ubuntu, каждый шаг превращался в мини-квест… в целом забавно, но местами выбешивает.

В качестве цели ставил себе задачу - пройтись по Сахалину и геокодировать реки, без детальной прорисовки.

Кстати, можно обойтись и без GRASS GIS для этой задачи.
По наводке gamm с форума Gis-Lab, можно воспользоваться Whitebox GAT
http://www.uoguelph.ca/~hydrogeo/Whitebox/download.shtml

алгоритм расписан на gis.stackexchange.com
http://gis.stackexchange.com/a/113645

---

Из источников данных использовал:

Государственный каталог географических названий (ГКГН)

• PDF
• GPX

генпланы и СТП (у меня) https://cloud.mail.ru/public/bf9fa72b7373/ДФО
генпланы и СТП (у Jake Strine) https://cloud.mail.ru/public/bc5a62323e39/ДФО
схемы лесоустройства http://les.admsakhalin.ru/?page=950

SRTM:

• http://gis-lab.info/data/srtm-tif/
• http://earthexplorer.usgs.gov/

---

Полученный в итоге GPX использовал в качестве направляющих и подсказок, а порой и в качестве ограничителей детализации… как по минимуму, так и по максимуму. Что особенно заметно на верхней половине острова.

Конечно, пробовал результат обработки SRTM и в SHP выгружать, а его открывать в JOSM с помощью плагина opendata. Там сразу встает ряд проблем, которые хотя и можно решить, но в итоге тратишь столько сил и времени, что обрисовать в ручную и проще, и гораздо быстрее.

Хотя… есть пара трюков, если сильно озадачится.

Потратив некоторое время на изучение wiki и написав несколько скриптов под разные задачи, подбор параметров стал проще и быстрее.

Во время различных экспериментов, обратил внимание, что подобрав параметры площади водосборного бассейна, можно получить что-то похожее на пирог региона для http://mapcraft.nanodesu.ru/.

Что отлично подходит для мапинг-пати по отрисовке гидрографии или дорог во всем регионе.

Черновой вариант пирога, что получился у меня

---

Набор файлов, что были использованы для создания картинок:
https://yadi.sk/d/uBulKlZI3398ge

включая файл GPX всех дорог Сахалинской области:
https://yadi.sk/d/i5-6097Y3396sF

В районе Александровск-Сахалинск - Тымовское отрисовал часть лесных дорог, но остров покрыт ими полностью… есть чем заняться.

---

Спасибо за мотивацию, идеи и переводы:

• сайту и коллективу авторов (как и участникам форума) Gis-Lab
• участнику OSM webrian и его блогу

UPDATE (2016.12.19): выложил в папку с файлами

• исходник первой картинки в формате *.XCF
• скрипты на Python 2.* для GRASS GIS 7.* - для создания речной сети в формате *.GPX и для создания “пирога” в формате *.SHP
• анимированную гифку… из-за “упитанности” (57 Мб) её не приняли в Я.Фотки

Сделал небольшой демо-сайт с результатом парсинга ФГИС ТП.

http://fgis-xmypblu.rhcloud.com/

Это мой первый опыт создания чего-то на Django, что заработало вне localhost - в данном случае это бесплатный план на OpenShift, с ограничениями по памяти и диску в 512Мб/1Гб.

Из-за крайне малого опыта в программировании, было интересно “пощупать” всяко-разные технологии и сервисы… и как это обычно бывает - все затянулось и сейчас вопросов больше, чем в начале )))

скриншот на память:

UPDATE: небольшая статистика по файлам https://goo.gl/BXcYZj

P.S. Про ФГИС ТП я писал ранее тут: [1], [2]

P.P.S. в блоге OpenShift нашел несколько интересных заметок

Add Map Navigation to Your App With pgRouting on OpenShift
January 15, 2014
By Steven Pousty

Instant Mapping Applications with PostGIS and Nodejs
December 12, 2013
By Ryan Jarvinen

Get More Spatial in Your Database with PostGIS 2.1 on OpenShift
September 16, 2013
By Steven Pousty

~ 3 месяца
~ 350 населенных пункта
~ 47k строений отмечено

…в другом масштабе, по данным с GIS-Lab

Март был насыщен событиями, в основном они касались трех вещей

• границ
• домиков
• QATs

Границы

т.к. добровольцев на мое предложение не нашлось, в начале марта отрисовал границы сельских поселений Крыма. К сожалению не все, а только те, что смог увидеть на схеме.
После чего вернулся (спустя 3 года) в Московскую область и отрисовал все домики в Борисовском сельском поселении Можайского района, а после изучения данных по Можайскому ГП - обнаружил границы населенных пунктов (поворотные точки) в МСК-50. Обнаружил, что в других поселениях - тоже выкладывают подобные данные.
Буду рад ссылкам на такие данные, если кто поделится. Контактное мыло - у меня в профиле

Домики

Пока искал способ конвертировать координаты - обрисовал все домики Можайска и окрестностей. Точнее перерисовывал - гигантские домики накрывающие весь участок или 3-4 здания, занимали существенную часть окрестностей Можайска.

до и после

Когда закончил с Можайском (видимо по инерции) отрисовал здания Вереи
> “Это самый маленький город Московской области”(С)wikipedia.org

В процессе всего этого, захотел прояснить такой вопрос - все говорят о не равномерности покрытия данными в OSM… как с этим делом обстоит в Московской области?

Собственно - завел таблицу (большую часть скопировав с валидатора) и стал смотреть как отрисованы районные центры и другие НП с admin_level=6 Московской области, попутно проверяя как там дела со снимками (и облаками) - Bing, MapBox и OrbView-3. После чего осталось только прикинуть на глаз - сколько зданий в границах НП и сколько отрисовано. Делал для себя, поэтому цифры - сильно приблизительны.
Как и ожидалось - в основном не отрисован частный сектор… но все поправимо ;) Попутно пытался прояснить такой момент - как по количеству населения, зданий(их размеров) и адресов в ФИАС(и т.п.), определить степень отрисовки города/территории?
Если кто пробовал такие подсчеты - поделитесь ;)

Вспомнив, что Scondo занимается разработкой валидатора на базе ФИАС - попросил дать данные из него. Получилось не сразу и с пропусками, но в итоге есть цифры для принятия решений.
Все просто, но муторно… вот такая получилась таблица:
http://goo.gl/x6YwZF

Копия таблицы в виде PDF, для истории - т.к. таблица может изменится
https://yadi.sk/i/MC05q3OifhoRX

В итоге пришел к выводу, что это прекрасный повод провести маппинг-пати (не пропадать же труду), а если найдется доброволец подсчитать статистику, скажем по хештегу #MOS - то отрисовавший большее число зданий, может предложить свой регион - для следующего набега (при условии, если этот пройдет удачно).
Если подключить компании в качестве спонсоров - то можно растянуть “удовольствие” (обрисовка разных регионов) на год, с вручением поощрительных призов по итогам месяца/квартала/года.
На создание пирога ушел еще день. Как оказалось - зря…

так выглядит в JOSM, зеленое - куски пирога размером 1х1 километр

…Но в итоге он получился размером в 1,3 Мб, а на http://mapcraft.nanodesu.ru ограничение в 512 Кб (The size must be less then 512Kb.)… так что облом.

Если кому интересен этот фронт работы - то файл можно в JOSM преобразовать в GPX и задав яркий и веселый цвет - заниматься обрисовкой зданий по квадратам самостоятельно.
https://yadi.sk/d/7eiciCqvfhoRM

QATs

Пока я размышлял и ковырялся в таблице, произошла переписка с edward17, итогом которой (внезапно!) стал перевод скрипта QATs(Quality Assurance Tools script)
Огромное ему за это - спасибо, а всем остальным просьба - посмотрите и помогите с переводом, если где-то он неточен.
С автором скрипта еще не связывались, т.к. перевод по сути еще сырой.

Вот так я провел март…
А что у вас нового?

Продолжаю прикладывать усилия в Сахалинской области,
на этот раз не Курилы [1] [2].

Сахалин

В прошлом году на Сахалине появились больше хайрез снимков от MapBox и Bing, удвоилось (если не утроилось) количество треков GPS - спасибо Kornet за это. Также, в прошлом году на wiki выложили пример вычитания в запросах Overpass API и прошел эксперимент, после которого начались разговоры по созданию “биржи” - финансовой мотивации обрисовки зданий (и не только) там, где необходимо заказчику.

В общем - все сложилось так, что решил попробовать массовую и долговременную обрисовку зданий. Естественно, что без мотивации (кроме “Just for Fun”) получилось не так много… но для примера - достаточно. За 4 года в проекте я обрисовал около 16.000 зданий, а тут меньше чем за месяц - 20.000

Дважды прошелся по Сахалину, в поисках пропущенных зданий.
Первый раз с помощью запроса Overpass, который ищет населенные пункты без зданий. Таких нашлось 86 - включая заброшенные и ошибочные села.
В процессе обрисовки заметил несколько сел в которых было всего 1-3 здания. Поэтому пошел на второй круг и сделал выборку всех place=hamlet и village, таких нашлось около 230 - которые последовательно обошел.

Вот честно - однообразие должно или мотивироваться, или чтобы не отбило желание рисовать и не опустились руки, приходится переключатся на дороги, гидрографию или границы - что сильно тормозит работу и отвлекает от поставленной задачи.

В этот раз - в города сознательно старался не “заходить”, сосредоточился на деревнях и поселках. По поводу городов - это отдельная песня и работы там много. В тех городах которые были отрисованы в 2010-11 году и до сих пор не правились - все намного хуже, даже если не учитывать источник данных по которым это было отрисовано.

Несколько городов были ранее отрисованы мной по генпланам, после появились снимки, а еще позже - треки GPS. Так что, как там со смещением и актуальностью данных - можете себе представить…

К сожалению, около десятка населенных пунктов еще без детальных космических снимков и без качественных генпланов. Ждем очередного обновления.

И несмотря на увеличения количества GPS-треков, их все равно крайне мало - многие населенные пункты на снимках попадают на границы снимков, которые имеют разное смещение (до 20 метров) и без треков не разобраться.

Вопросы

пока рисовал все эти здания, появилось 3 хотелки, если кто поможет - будет здорово:

overpass
из-за незнания английского/немецкого, прошу помочь и задать вопрос в немецком разделе форума (у них там десятки активных тем посвященных Overpass) или разработчику (http://wiki.openstreetmap.org/wiki/User:Roland.olbricht) или на https://help.openstreetmap.org/

как подсчитать количество зданий в запросе и сравнить их с заданным значением, чтобы искать населенные пункты в которых отрисовано меньше (например) 100 зданий? В данный момент это возможно/реализовано?

валидаторы
не могу найти способ узнать или найти валидатор с “честными” цифрами - например http://amdmi3.ru/files/rustat/ и http://hdyc.neis-one.org/?Xmypblu показывают похожие и близкие значения building=*, созданные и измененные мной, а хочется узнать по отдельности - сколько я создал, сколько изменил (созданных другими), сколько потерял от удаления или откатов правок. Есть идеи? Может у кого скрипт есть для работы с историей правок, для разовых подсчетов?

биржа
есть несколько идей и предложений, которые могут помочь “взлететь” этой идеи, но они имеют смысл если разработка и управление будет максимально открыта и прозрачна. Может пора создать тему на форуме? Хотя бы для обмена мнением - как это должно выглядеть и какие цели будут приоритетными

Примеры запросов Overpass

для тех кто пожелает повторить опыт, оцените объем работы в своих областях:
мне было лень сейчас делать таблицу по регионам как я делал с границами, надеюсь руки дойдут и сделаю когда-нибудь

пример запроса поиска населенных пунктов, где нет отрисованых зданий,
поиск ведется по всей области (субъекте РФ) - тяжелый и долгий запрос
ищет в радиусе 500 метров от точки(полигона) с тегом place=*
http://overpass-turbo.eu/s/7m9

если область - это много, а район - в самый раз
всё тоже самое что и выше, добавлено уточняющее условие - район области
http://overpass-turbo.eu/s/7mb

для заинтересованных в дорожном графе и роутинге
пример запроса поиска населенных пунктов без дорог в радиусе 1000 метров определенного уровня (“motorway|trunk|primary|secondary|tertiary|unclassified”)
http://overpass-turbo.eu/s/7md

пример запроса поиска всех населенных пунктов hamlet и village отмеченных точками(node)
если необходимо, можно добавить city, town, isolated_dwelling, locality
http://overpass-turbo.eu/s/7me

очень не хватает переводов страниц “Overpass QL”, “Overpass API” и “Overpass API/Language Guide” - можно много интересного сделать, но пока непонятно как.

Если будут вопросы или идеи - напишите в тему Overpass API - примеры запросов

P.S. Если постоянно “присматриваете” за своим регионом или только планируете этим заняться - рекомендую присмотреться к скрипту QATs для JOSM Scripting Plugin.

Будет здорово если его все-таки переведут на русский и добавят туда российские валидаторы - например http://streetmangler.amdmi3.ru просто напрашивается на добавление ;) с помощью этого скрипта выяснилось, что многим ошибкам по 3-4 года, а разобрав накопившиеся, можно спокойно проверять раз в квартал/полгода/год

Месяц назад завершилась акция по отбору границ сельских поселений из фалов с сайта ФГИС ТП

Итоги акции:

несмотря ни на что - я доволен результатом.

Тема вызвала интерес и несколько участников добавили в мою “коллекцию” границы СП своих регионов.

зелёное - уже отобранные файлы границ, которые можно взять для отрисовки
жёлтое - регион скачали с ФГИС ТП и выложили, но нужно отобрать границы
http://yadi.sk/d/1eSnk61WLTmt2

За месяц акции были загружены и обработаны несколько регионов (список обновляется в первом посте темы)

Но самое главное - я получил прототип скрипта для парсинга ФГИС ТП (по многим и разным причинам, скрипт не публикую).

С его помощью, за неделю были загружены, запакованы в архив и выложены в облако все файлы регионов Дальневосточного федерального округа.

Амурская область
Еврейская автономная область
Камчатский край
Магаданская область
Приморский край
Республика Саха (Якутия)
Сахалинская область
Хабаровский край
Чукотский автономный округ

https://cloud.mail.ru/public/bf9fa72b7373/ДФО

Из этой недели 2/3 времени ушло на упаковку в архив и загрузку в ОБЛАКО@mail.ru

Архивы занимают 66 Гб, часть уже просмотрел, все остальное планирую чуть позже сделать.

Продолжение и изменение формата акции:

Я продолжаю собирать границы СП, но объем скачанного и количество файлов файлов - огромен.

Самую трудную (и нудную) часть акции - загрузка файлов с сайта ФГИС ТП, я могу взять на себя. После чего упакую в архивы и выложу. В обмен - прошу вашей помощи в отборе фалов с границами СП.

Мне требуется помощь в отборе нужных файлов и минимальной обработке - переименование (я беру названия поселений/районов из валидатора) и копирование файлов с границами в папки с названием районов.

Пример, как это должно выглядеть в итоге:
https://yadi.sk/d/1eSnk61WLTmt2/АТД/Костромская%20область/

В начале этого года количество границ сельских поселений достигло значения в 1/3, но смотря на текущую динамику - уверен, что до конца года будет отрисована половина границ. И есть шанс, что в следующем году дойдёт до 90-95%

P.S. Про картинку пирога Mapcraft:

В своё время, после прохода “redaction bot”, для восстановления данных osmisto был создан пирог на всю страну

Я взял его за основу, “причесал”, постарался пронумеровать куски согласно списку из вики и добавил пропущенные регионы:

Республика Адыгея
Республика Ингушетия
Сахалинская область
Республика Крым
и Севастополь

Если вдруг кому потребуется распределить задачу в рамках страны - скачать для своих экспериментов пирог можно тут

Приглашаю поучаствовать в акции, по поиску и сбору файлов границ сельских поселений (admin_level=8). Если коротко - требуется помощь в скачивании и отборе файлов с границами.
Планируется собрать и подготовить за месяц как можно больше файлов для последующего внесения в проект, так сказать - подготовить фронт работ…

Немного статистики:

В России 85 региона
Муниципальные районы 1817
Городские поселения (ГП) 912 из 1674
Сельские поселения (СП) 7297 из 18586
Сельские НП 86649 из 152476

В начале 2014 года - количество отмеченных СП достигло 1/3. Если решите поучаствовать, вполне реально достать ещё 1/3 границ. После чего поднимется статистика отмеченных НП… а дальше увеличится дорожный граф страны. Дело нужное и полезное.

Собственно моя просьба потратить некоторое время не на обрисовку, а на скачивание и разбор файлов - связана с тем, что разговоров о том, что нужно улучшить статистику границ и НП в последнее время - много и разных, а идей и предложений - мало. Мой вариант решения не идеален, но выполним. К сожалению, если это делать в одиночку потребуется столько времени, что я забуду для чего это было нужно…

На данный момент я выкладываю границы СП в паку АТД рядом с генпланами регионов

http://yadi.sk/d/1eSnk61WLTmt2

Так как каждый этап по поиску, скачиванию, просмотру, переименовыванию и загрузки в общедоступное место - занимает в итоге существенное время, предлагаю свой вариант действий на ближайший месяц.

Разберём самый сложный случай :)

смотрим таблицу (валидатор) регионов с малым количеством СП:
http://atd.osm.rambler.ru/posstat.html

проверяем текущую ситуацию в проекте
смотрим и выбираем регион и отписываемся на форуме, в теме акции, что будете заниматься этим регионом

заходим на сайт ФГИС ТП (на базе Silverlight) и переключаемся на отображение АТД
выбираем регион и обходим районы/поселения
выбираем пакет с документами и просматриваем его
сохраняем архив с генпланами

• создаем на своем диске папку с названием района, туда будем скачивать архивы
• необходим генплан района, т.к. нам потребуется обзорная карта с расположением и границами поселений и сел (иногда, только такой генплан и будет в наличии).
• если есть генпланы на поселения, скачиваем всё подряд архивами - на весь район
• когда есть все архивы на один район - распаковываем каждый архив в отдельную папку
• просматриваем в каждой папке все графические файлы - на предмет наличия битых и плохо читаемых (пережатых), их удаляем если планируете файлы передать или хранить
• из примерно одинаковых файлов с границами - выбираем те, что содержат дополнительную информацию (названия улиц, рек и т.п.)
• выбранный файл переименовываем в название поселения (обзорную схему - в название района)
• загружаем в папку района на Яндекс.Диск
• переходим на скачивание следующего района

если возится с каждым архивом отдельно, времени тратится больше и быстро надоедает… берегите себя :)

Исходя из предположения, что будет тратится по 30 минут в день или по часу - через день, в таком режиме, в одно лицо за месяц можно скачать данных по 2 крупным областям - это примерно 500-600 СП. Найти границы на все СП вряд ли получится - предположим, что только на половину из недостающих, что составит ~5-6тыс.
Получается, что нужно 10-15 человек, но в реальности нужно в 2-3 раза больше, чтобы получилось по человеку на 2-3 области или республики.

Возможные варианты и сложности:

• Если уже есть генпланы с границами СП, поделитесь - выложите в инет, где вам удобнее и пришлите ссылку.
• Если есть почтовый ящик у Яндекса, то могу сделать общую папку с вашим регионом - так будет проще вам загружать файлы.
• Вы не можете открыть сайт (по разным причинам) - возможно вам поможет VirtualBox или другая виртульная машина, поверьте - оно того стоит, если другим способом получить генпланы не реально.
• Не удаляйте архивы. Объем данных большой, нужно будет не всё, а для данной акции - совсем мало. Если можете сами использовать - хорошо, если у вас нет интереса к этому региону, отпишитесь в теме по данной области или выложите в инет и дайте ссылку тем, кто заинтересован в скачанных архивах.
• Если нет Яндекс.Диска, но есть Dropbox или что-то другое, то просто пришлите ссылку на папку с файлами - после того как обработаете (выберете, переименуете и выложите) файлы района или область, чтобы я смог скачать и добавить регион к себе.
• Если данных нет: ищем официальный сайт администраций, самый простой способ поиска - начать со статьи по району/поселению на википедии, и там найти ссылку на официальный сайт района/поселения. На сайте администраций генпланы обычно находятся в разделе “Строительство”, иногда ищутся через встроенный поиск, а иногда только через поиск картинок в гугле - сознательно или нет, я не знаю, но ссылки на генпланы часто меняются или бьются… зато прямые ссылки сохраняются в кеше гугла и картинку по ним можно скачать.
• Если нигде нет генпланов и СТП - остаётся только ждать и проверять сайты раз в месяц или квартал.

(тут должны быть рассуждения, что руосму давно требуется bittorrent-трекер для обмена генпланами и СТП, возможно их оформлю отдельной заметкой)

P.S. вопрос работающим в Яндексе - есть возможность попасть под какую-нибудь программу расширения объёма Яндекс.Диска, для сбора генпланов и СТП на пользу ОСМ? ;) Можете поинтересоваться у коллег?

На этот раз заметка о поднятии статистки населённых пунктов в Калининградской области. Пока не забыл.

–
Месяц назад, разбирая материалы, что я скачал с сайтов районных и областной администраций, а также с ФГИС ТП генпланы и схем территориального планирования (СТП) - понял, что у меня на диске есть почти все районы Калининградской области.

Скачав недостающие районы, принялся отмечать населённые пункты… и тут увидел ЭТО от пользователя Koolp :

больше 1400 точек “place=locality” (на момент обнаружения), с названиями на литовском, старо-литовском, немецком, старо-немецком (прусские?) и иногда на русском языке.

Количество названий наводит на мысль, что это “сборная солянка” из хуторов исчезнувшие как в советское время - после войны, так и до войны… не удивлюсь, если некоторые названия использовались только в 19 веке.

Для сравнения - всего в области, меньше 1200 населённых пунктов.

На севере и востоке области находил отмеченные им существующие населённые пункты в 1-3 км от реального расположения. Попытка выяснить у автора и тех кто рисует область, по каким данным происходил импорт - ничего не дала. Автор не отвечает, а народ с ним не связывался и вообще, обнаружили его правки только что.
Догадок много - ответов мало, видимо импорт был с плохо привязанных материалов и без проверки по Бингу - куда попадают точки на местности.

Возможно для исторического проекта - это интересные данные, но сомневаюсь, что отражает текущее положение вещей на местности, не говоря о точности. По моим расспросам, в настоящее время никто не использует эти названия для обозначения или навигации - разве что (предполагаю) историки, краеведы и ностальгирующие потомки с этих хуторов. Которых в проекте не так много, если вообще есть.

По мне - этот “исторический мусор”, с которым непонятно что делать… поэтому предлагаю обсудить эти данные на форуме, в теме “Калининград и область”. Будет здорово если автор объявится и выскажет свои соображения.

Не смотря на то, что снимки Бинга есть не на всей территории области, большую часть недостающего покрывает OrbView-3

Из сложных моментов, могу вспомнить только трудность принятия решения - где и как отмечать населённые пункты, которые по схемам состоят из множества разбросанных на достаточно большие расстояния хуторов/дворов.

Таких сёл набралось с десяток, я отмечал или сдвигал существующую точку на самый большой или самый кучный участок такого села. Если есть более удачные идеи, каким образом отмечать подобные сёла - никто против не будет, если их озвучат и реализуют.

Что в итоге:

Помимо поднятия статистики отмеченных населённых пунктов области до 98%, решил выложить в общий доступ все материалы ~16Гб, что есть у меня по Калининградской области, на “Яндекс.Диск”. После их фейла в декабре, я стал обладателем дополнительных 200Гб, и решил их использовать для обмена материалами полученных из легальных источников.

http://yadi.sk/d/1eSnk61WLTmt2

Материалы предлагаю использовать для уточнения административных границ сельских поселений и населённых пунктов. Но помимо этого там много другой полезной и нужной информации - названия гидрографии, садовых/огородных товариществ, дорог, улиц и много всяко-разного.

P.S. на момент публикации, цифра “place=locality” снизилась на ~100 точек… видимо кто-то начал чистить

+3% по стране

Наконец закончил отрисовку границ сельских поселений Алтайского края.

Как-то тяжело и долго в этот раз у меня рисовались границы.
Еслиб не участник Википедии, обратившийся за данными по сельским поселениям, я бы всё бросил на первых десяти районах. Но расписав ему в красках и лицах, как плохо у нас с границами СП и с доступными материалами по ним, и что из примерно 19 тыс. сельских поселений в проекте отрисовано треть… решил продолжить и улучшить статистику.

Получилось с нуля отметить 658 и теперь это выглядит примерно так:

Рисовал по не самой точной и новой схеме территориального планирования Алтайского края. Столкнулся с перепутанными местами названий сельсоветов, опечатками, устаревшими границами и заморочками с “чересполосными участками” сельсоветов (анклавы/эксклавы), которые непонятно как отмечать.

Кстати, о первой картинке - Overpass вообще крайне полезная штука, жаль мало переведено на wiki, и в теме на форуме не так часто задают и отвечают на вопросы.

Я например для визуальной (с помощью http://overpass-turbo.eu) проверки границ, как и их наличие - создал табличку по регионам:

Обновляются данные в течении 5-10 минут, по мне - достаточно быстро. Ошибки и незамкнутые мультиполигоны сразу видно и удобно получать номер отношения, чтобы скопировать и загрузить (по “Ctrl+Shift+O”) границу в JOSM для редактирования.

Данные по региону

Границы требуется уточнять, а картографические материалы для этого можно искать как на сайтах администраций районов или сельсоветов (я узнаю URL сайтов из статей на http://ru.wikipedia.org/ - ещё один плюс от тега “wikipedia”), так и на сайте http://fgis.minregion.ru/ (требуется установка Silverlight).
На сайте минрегиона есть схемы и генпланы примерно для половины районов и сельсоветов Алтайского края, на них границы точнее и детальнее тех, что нанёс я. Правда возможна ситуация, когда границы одного района, но из разных документов (или с разной датой загрузки) не будут совпадать друг с другом. На некоторых сайтах районных администраций видел материалы в виде набора файлов для MapInfo. Ну и картографическое описание границ из уставов районов/сельсоветов всегда есть - для тех кто заинтересован в детальной отрисовке этого региона ;) развлечение ещё то… но материалы есть, нужны желающие.

Последние 5 лет в крае происходит активное изменение границ сельсоветов, в этом году тоже планируется объединить несколько сельсоветов, так что местным мапперам придётся отслеживать изменения. Вроде такие есть, главное чтобы они не замыкались в своих “огородах”.

Нерешённые проблемы

Для тех, кто будет дальше там разбираться с границами (я пас), есть проблемы которые я не осилил:

1. Славгородский район: разобраться с текущим состоянием границ. С 1 сентября 2011 года в состав городского округа Славгород вошли все сельсоветы расформированного Славгородского района.
2. Петропавловский район: Солдатовский сельсовет - надо детально разобраться, что там с передачей в другой район и включение в Акутихинский сельсовет Быстроистокского района.
3. Ребрихинский район: В 2014 году планируется объединить Куликовский и Шумилихинский сельсовет в Ребрихинский. Георгиевский сельсовет в Беловский.
4. Я занимался только сельсоветами, поэтому городские поселения нужно отдельно проверять и при необходимости отрисовать.

JOSM - патч 6832

В какой то момент однообразные манипуляции для создания границ реально утомили, и я написал akks вопрос - почему в поле тегов мультиполигонов границ я не могу вставить скопированный текст по правой клавише мыши? Причём в самых экзотических полях ввода - работало, а в ожидаемом месте, где больше всего это требовалось - нет.

В процессе переписки обнаружил, что поле “name” можно вызвать для редактирование через ссылку над окном тегов. Что оказалось удобно, но не очевидно:

В итоге переписки akks внёс патч 6832. Пока пользуюсь 6836 версией JOSM, там вставка заработала, а в следующий релиз видимо будет работать у всех.
Спасибо ему.

Не смотря на то, что изучение Python идет медленно - мой первый (во всех смыслах) “pull request” с добавлением поддержки OpenStreetMap в python-social-auth приняли. В чем сильно помог Стас Кравец - спасибо ему за терпение.

Модуль пришел на смену django-social-auth, и содержит примеры для:

• Django
• Flask
• Pyramid
• Webpy
• Tornado

по поводу CherryPy - непонятно…

Думаю этот модуль пригодится разработчикам валидаторов, форумов и различных приложений и сервисов.

https://github.com/omab/python-social-auth

Продолжаю рисовать Курилы и вот еще одна история.

В очередной раз просматривая сайт Министерства регионального развития, на предмет свежих генпланов и схем территориального планирования, обнаружил генплан города Северо-Курильска. Каждый раз жду подвоха, “повезло” и в этот раз.

Генплан был в формате PDF, в свойствах документа которого написано, что был сделан в AutoCAD 2012 (Rus), а весь текст переведен в кривые… из сотен надписей и сокращений, читались с десяток.

Ок, я уже заморачивался с подобным, но в меньших масштабах. Исходя из принципа: нужно - сделай сам, сделал таблицу алфавита и приступил к “дешифровке”.
Пара вечеров и результат на лицо - запасаемся попкорном и смотрим как быстро растащут в другие проекты ;) да и на здоровье.

Исходный SVG файл, может кто захочет изменить или удалить “рекламу”.

Надо как нибудь собрать все примеры и ссылки, и сделать обзорную статью - кто и как выкладывает в открытый доступ картографические материалы, опубликованные согласно 8-ФЗ от 9 февраля 2009 г. (“Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления”) и 190-ФЗ от 29 декабря 2004 года (“Градостроительный кодекс Российской Федерации”)

Если есть “достойные” примеры, которые вас рассмешили, удивили или разозлили - пришлите ссылку, не сочтите за труд.

Недавно RSS-лента напомнила о некоторых проектах - о геоданных, описанные или созданные на GIS-Lab.

Походив по ссылкам заинтересовался проектом 2010 года “Свободные данные по границам субъектов РФ”. Источником данных для которого стали публичные данные Росреестра, конкретно - “Перечень границ между кадастровыми округами”. Более детально о проекте и вопросы лицензионной чистоты данных можно узнать по ссылкам:
“Границы субъектов РФ - координационная страница”
“Свободные данные по границам субъектов РФ - вопросы и ответы”

В том проекте была единственная цель - границы регионов, хотя на графических файлах присутствуют кроме границ еще много дополнительной информации:

• направления течения рек и ручьев
• наименования рек, ручьев, озер, перекатов, проток, речных островов, озёр, гор, хребтов, ледников
• безымянные скалы, вершины
• отметки высот
• частичная Ёфикация

Но есть и проблемы.
В основном - небольшой охват, только вдоль границы.
Отсутствуют статусные части у рек и ручьев - я решил(?) эту проблему подключением каталога географических названий нужного региона… и тут получил новую проблему. Я так и не понял как действовать в ситуации, когда правила русского языка вступают в конфликт с статусной частью реки.

• река Транзитный (а не Транзитная - одинаковое написание на листе и в каталоге названий)
• река Белый (а не Белая)

такое ощущение, что было массовое изменение статусной части - из ручьёв делали реки, а окончания не стали менять? В итоге - писал как есть.

Масштаб и отсутствие хайреза Бинга в большинстве случаев, решил за меня “по чему рисовать” - Landsat. Неожиданно для себя обнаружил дикое смещение с поворотом, снимков Landsata на стыке границ Якутии-Хабаровского края-Амурской области. Так что заранее извиняюсь перед теми, кто будет там уточнять и рисовать более детально.

Я взял пакет файлов границы Якутии и Хабаровского края - это 38 файлов, в итоге нанес ~460 наименований ручьев, рек, озер, гор и т.д. Надеюсь, что не сильно испортил статистику валидатора водных объектов так как многие реки уже были до этого нанесены, я же нанес только истоки или часть притоков, с тем же “name”. Так что останется только соединить эти части.

Если кого заинтересует - выложил архив скаченного с Росреестра (возможны пропуски), и отдельно архив с моими файлами (PNG и файлы привязки для JOSM)

Жаль что у нас нет табличного аналога http://mapcraft.nanodesu.ru - применение wiki для координации работ, тяжелое и не самое удачное решение. Этот набор файлов - по моему хороший повод для “диванной маппинг-пати”, пройтись по границам и нанести гидрографию и вершины, имеющие свои названия.

Отметил недостающие населенные пункты Республики Саха(Якутия), использовал архив gkgn_v5.zip с форума сделанный liosha из PDF опубликованных на сайте Росреестра

В архиве файлы с координатами НП (приблизительными), размер файлов от 7 Кб до 1,1 Мб , есть еще набор файлов с названиями других географических объектов, но это другая история и объемы

В исходном файле Якутии (98 Кб) - 651 координат, после обработки осталось 380 меток (НП и fixme)

Использовалась связка подложек: OpenStreetMap, Bing + активное использование поиска населенных пунктов на сайте Публичной кадастровой карты, в итоге - на всё ушло 7 часов чистого времени, на просмотр и сдвиг меток (10-5000 метров). Думаю, что с работающим валидатором Дежина, ушло бы меньше времени на 1-2 часа.

Aleksandr Dezhin - помним, ждем и надеемся ;)

…где-то на середине работы - понял, что надо вчитываться в названия НП которые уже есть в ОСМ, т.к. есть названия в транслите (привет немцам), есть взятые неизвестно откуда, есть просто перепутанные местами рядом стоящих поселков.

При просмотре других регионов стало понятно, что надо дополнительно парсить или просить liosha при парсинге - альтернативные названия НП разделять “;” (точка с запятой), чтобы потом заменить key “note” на “alt_name” и заодно проверять на длину строки в “note” - видимо происходит сбой и туда попадает огромный список НП

Неожиданно наткнулся, показалось интересным http://lektorium.rgo.ru

Есть онлайн-трансляции лекций и мастер-классов. Есть видео-записи последних(?) лекций.

Из анонсов на апрель - почти половина мне интересна, но особо хочется посмотреть или посетить лекцию по Крымску:

23 апреля (вторник), 18:30

Как избежать второго Крымска?

О том, как добиться высокой точности прогнозирования опасных природных процессов: наводнений, землетрясений, смерчей, оползней.

• Дискуссионный клуб при Лектории Русского географического общества. Доклад делает Т.П. Варшанина – заведующая Центром интеллектуальных геоинформационных технологий Адыгейского государственного университета, заведующая базовой кафедрой геоинформатики ЮНЦ РАН, к.б.н., доцент кафедры географии АГУ, директор малого инновационного предприятия «Geo-Vertex». В обсуждении примут участие представители Министерства природных ресурсов и экологии РФ, МЧС России, Росгидромета, научных центров и др. Приглашаем принять участие в дискуссии!

Куда-то пропали ссылки на RSS, за последние месяцы меня уже в третий раз спрашивали (а я в третий раз искал) как подписаться на русскую ленту или на дневники конкретного пользователя:

• Русскоязычная лента: http://www.openstreetmap.org/diary/ru/rss
• Персональные дневники: http://www.openstreetmap.org/user/{имя_пользователя}/diary/rss

Вопрос к тем кто общается с разработчиками OSM.org :

• как подписаться на правки пользователя по его UID ?
• если сейчас никак - попросите их это реализовать, вандалы часто меняю свои ники, а поиск нового имени - отнимает время.

Просматривал новости на OpenNet и наткнулся на анонсы статей в “BSD Magazine”.

Оказывается, в прошлом году в журнале “BSD Magazine” была серия из 4-х статей про GIS.
Дело было вечером, делать было нечего(c)… решил объединить эти статьи в один файл.

В этом году у них идет серия статей о PostgreSQL.

Как любителя нарезать большие картинки на тайлы, с момента появления статьи про OrbView-3 меня волновал вопрос - когда научат gdal2tiles сохранять тайлы в JPEG? И насколько меньше места будут занимать тайлы?

Сегодня получил патч от PShA и получил такие цифры:
Для теста взял GeoTIFF размером 15594х10931 px, 487 МБ (511 461 868 байт), который нарезал для 5 зума.

# По умолчанию режет в формате PNG - всё как обычно
$gdal2tiles -w none -n -z 5 test.tif tiles
размер папки: 1.49 МБ (1 564 650 байт)

# Параметр "-f jpg" даст нам тайлы с расширением .jpg
# по умолчанию в GDAL для JPEG стоит QUALITY = 75
gdal2tiles -f jpg -w none -n -z 5 test.tif tiles
размер папки: 402 КБ (411 703 байт)

# выставляем QUALITY = 90
gdal2tiles -q 90 -f jpg -w none -n -z 5 test.tif tiles
размер папки: 608 КБ (622 967 байт)

# Получаем файлы с расширением .jpeg и QUALITY = 95
gdal2tiles -q 95 -f jpeg -w none -n -z 5 test.tif tiles
размер папки: 810 КБ (829 693 байт)

в реальной ситуации снимки режутся для 16-19 зума, но это ооочень долго и больше места займет.

P.S. Спасибо и багрепорты отсылаем PShA , которого проще поймать в чатике про аниме ;)