OpenStreetMap

Остров Сахалин: +20k зданий

Posted by Xmypblu on 28 January 2015 in Russian (Русский)

Продолжаю прикладывать усилия в Сахалинской области,
на этот раз не Курилы [1] [2].

Сахалин

В прошлом году на Сахалине появились больше хайрез снимков от MapBox и Bing, удвоилось (если не утроилось) количество треков GPS - спасибо Kornet за это. Также, в прошлом году на wiki выложили пример вычитания в запросах Overpass API и прошел эксперимент, после которого начались разговоры по созданию "биржи" - финансовой мотивации обрисовки зданий (и не только) там, где необходимо заказчику.

В общем - все сложилось так, что решил попробовать массовую и долговременную обрисовку зданий. Естественно, что без мотивации (кроме "Just for Fun") получилось не так много... но для примера - достаточно. За 4 года в проекте я обрисовал около 16.000 зданий, а тут меньше чем за месяц - 20.000

Дважды прошелся по Сахалину, в поисках пропущенных зданий.
Первый раз с помощью запроса Overpass, который ищет населенные пункты без зданий. Таких нашлось 86 - включая заброшенные и ошибочные села.
В процессе обрисовки заметил несколько сел в которых было всего 1-3 здания. Поэтому пошел на второй круг и сделал выборку всех place=hamlet и village, таких нашлось около 230 - которые последовательно обошел.

Вот честно - однообразие должно или мотивироваться, или чтобы не отбило желание рисовать и не опустились руки, приходится переключатся на дороги, гидрографию или границы - что сильно тормозит работу и отвлекает от поставленной задачи.

В этот раз - в города сознательно старался не "заходить", сосредоточился на деревнях и поселках. По поводу городов - это отдельная песня и работы там много. В тех городах которые были отрисованы в 2010-11 году и до сих пор не правились - все намного хуже, даже если не учитывать источник данных по которым это было отрисовано.

Несколько городов были ранее отрисованы мной по генпланам, после появились снимки, а еще позже - треки GPS. Так что, как там со смещением и актуальностью данных - можете себе представить...

К сожалению, около десятка населенных пунктов еще без детальных космических снимков и без качественных генпланов. Ждем очередного обновления.

И несмотря на увеличения количества GPS-треков, их все равно крайне мало - многие населенные пункты на снимках попадают на границы снимков, которые имеют разное смещение (до 20 метров) и без треков не разобраться.

Вопросы

пока рисовал все эти здания, появилось 3 хотелки, если кто поможет - будет здорово:

overpass
из-за незнания английского/немецкого, прошу помочь и задать вопрос в немецком разделе форума (у них там десятки активных тем посвященных Overpass) или разработчику (http://wiki.openstreetmap.org/wiki/User:Roland.olbricht) или на https://help.openstreetmap.org/

как подсчитать количество зданий в запросе и сравнить их с заданным значением, чтобы искать населенные пункты в которых отрисовано меньше (например) 100 зданий? В данный момент это возможно/реализовано?

валидаторы
не могу найти способ узнать или найти валидатор с "честными" цифрами - например http://amdmi3.ru/files/rustat/ и http://hdyc.neis-one.org/?Xmypblu показывают похожие и близкие значения building=*, созданные и измененные мной, а хочется узнать по отдельности - сколько я создал, сколько изменил (созданных другими), сколько потерял от удаления или откатов правок. Есть идеи? Может у кого скрипт есть для работы с историей правок, для разовых подсчетов?

биржа
есть несколько идей и предложений, которые могут помочь "взлететь" этой идеи, но они имеют смысл если разработка и управление будет максимально открыта и прозрачна. Может пора создать тему на форуме? Хотя бы для обмена мнением - как это должно выглядеть и какие цели будут приоритетными

Примеры запросов Overpass

для тех кто пожелает повторить опыт, оцените объем работы в своих областях:
мне было лень сейчас делать таблицу по регионам как я делал с границами, надеюсь руки дойдут и сделаю когда-нибудь

пример запроса поиска населенных пунктов, где нет отрисованых зданий,
поиск ведется по всей области (субъекте РФ) - тяжелый и долгий запрос
ищет в радиусе 500 метров от точки(полигона) с тегом place=*
http://overpass-turbo.eu/s/7m9

если область - это много, а район - в самый раз
всё тоже самое что и выше, добавлено уточняющее условие - район области
http://overpass-turbo.eu/s/7mb

для заинтересованных в дорожном графе и роутинге
пример запроса поиска населенных пунктов без дорог в радиусе 1000 метров определенного уровня ("motorway|trunk|primary|secondary|tertiary|unclassified")
http://overpass-turbo.eu/s/7md

пример запроса поиска всех населенных пунктов hamlet и village отмеченных точками(node)
если необходимо, можно добавить city, town, isolated_dwelling, locality
http://overpass-turbo.eu/s/7me

очень не хватает переводов страниц "Overpass QL", "Overpass API" и "Overpass API/Language Guide" - можно много интересного сделать, но пока непонятно как.

Если будут вопросы или идеи - напишите в тему Overpass API - примеры запросов

P.S. Если постоянно "присматриваете" за своим регионом или только планируете этим заняться - рекомендую присмотреться к скрипту QATs для JOSM Scripting Plugin.

[QATs](url=https://fotki.yandex.ru/next/users/xmypblu-msk/album/234385/view/1164695?context=)

Будет здорово если его все-таки переведут на русский и добавят туда российские валидаторы - например http://streetmangler.amdmi3.ru просто напрашивается на добавление ;) с помощью этого скрипта выяснилось, что многим ошибкам по 3-4 года, а разобрав накопившиеся, можно спокойно проверять раз в квартал/полгода/год

Location: 46.964, 142.724

Comment from Zverik on 28 January 2015 at 19:22

План для биржи-то есть, нет только пары дней на её программирование: http://birzha.osmz.ru

Comment from freeExec on 29 January 2015 at 07:29

около десятка населенных пунктов еще без детальных космических снимков А я в своей деревне 3к строений по МапБоксу забацал. Теперь вот жду лета, чтобы съездить и быстренько пройтись адреса на готовые здания проставить. А мотивация, даже с ней, больше 500 штук за вечер уже не могу :)

Comment from bigopenmac on 29 January 2015 at 14:24

Привет. Титанический труд. Хочется помочь, чем нибудь. Вот на этой странице есть пример как посчитать количество аптек в городе. Тут используется экспериментальная конструкция OUT COUNT. Я не разбираюсь в этом API, не могу готовый запрос дать, надеюсь по образцу ты сможешь построить для себя.

Example 3ː Count the number of pharmacies per county

[out:csv(::"type",::"id", name, admin_level,::"count")];
area[name="Saarland"][boundary];
 rel(area)[boundary][admin_level=6];
 map_to_area;
 foreach->.d(
   (.d;);out; 
   (node(area.d)[amenity=pharmacy];
    way(area.d)[amenity=pharmacy];
    relation(area.d)[amenity=pharmacy];);
   out count;
 );

Comment from Xmypblu on 30 January 2015 at 03:50

План для биржи-то есть, нет только пары дней на её программирование

посмотрел прайс
не хватает вариантов "10-50% суммы оставить на развитие биржи или оплату текущих задач" - например таких как планомерный обход и отрисовка всех райцентров/городов страны. это можно/нужно даже ставить на голосование.
думаю если серьезно подходить, то процент нужно брать по любому, как для развития(тоже задача) так и для оплаты ряда задач (создания скриптов программ)

несогласен с предположением, что заказчику ненужно регистрироваться - нужно, так можно упростить авторизацию по OAuth, решить проблему со связью/почтой и так будет проще через Notes заказчику указывать на ошибки

Тут используется экспериментальная конструкция OUT COUNT.

да, я видел это, но как я понял - это только для "out csv" (и только текст), а необходимо для "out xml" и как-то сравнивать с заданным числом, для передачи данных в редактор или показа на веб-странице
в общем ;) это "неудобный вариант", проще (относительно) сделать скрипт который делает запросы к overpass, парсит ответ, подсчитывает и сравнивает, а потом генерирует .osm файл с нужными данными

Comment from OverQuantum on 4 February 2015 at 18:38

План для биржи-то есть

По поводу биржи есть предупреждение - она может сработать во вред проекту.
Сейчас участники рисуют за бесплатно, мотивация у большинства - сделать хорошо. Если за рисование будут платить - денежная мотивация может оказаться недостаточной, если расценки не будут оправдывать трудозатраты.
Пример вреда - "Программа Поощрения Авторов" на Хабре, когда оплата статьи оказывалась недостаточной, чтобы мотивировать сама по себе, и негативной идеологически ("пишу за бабло").

ИМХО, проекту гораздо нужнее удобный ресурс для размещения информации где чего нехватает. Механизм Notes слишком локальный и не содержит поиска "где бы порисовать объекты некоторого типа".

Comment from Xmypblu on 4 February 2015 at 19:10

По поводу биржи есть предупреждение - она может сработать во вред проекту.

такая опасность есть, но не попробовав - не узнаем
в принципе, свернутся всегда можно, только перед закрытием - наверное стоит попробовать различные ограничения, "фильтры" и правила участия.

с другой стороны, регулярно вижу и получаю вопросы - кто и как может взяться за определенную работу? В данный момент, кроме форума и личной переписки (оба варианта - неудобны и непрозрачны) у нас нет. Пример запроса который заглох, как я понял.

ИМХО, проекту гораздо нужнее удобный ресурс для размещения информации где чего нехватает.

кому и что "не хватает" - крайне спорный вопрос... как и методы оценки
к сожалению предложения по системному подходу отрисовки страны - не встречают понимания и поэтому просто нет людей, готовых взяться на долгий срок отвлечься от своих "огородов".

Comment from d1g on 22 March 2015 at 15:36

Пример запроса который заглох, как я понял.

Не из-за отсутствия биржи.

Я связывался по почте 29.09.14 по корпоративному мылу 14.10.14 повторно переслал письмо и дублировал на личный ящик

Все три без ответа.

До предметной сути разговор даже не дошёл. По Саратову предложения несколько больших, насколько они реализуемы и адекватны нужно обсуждать по отдельным районам т.к. рельеф разный в городе: 1. частные сектора можно снять квадракоптерами (http://www.youtube.com/watch?v=JWHC8O21V0w). Адресацию вряд ли получится собрать, а вот дома можно уточнить и дорисовать. 2. Можно привлечь людей со стороны которые за мотивацию отсняли бы профили частных секторов (фасады слева от дороги, фасады справа от дороги). Звучит громко но на самом деле это двум водителям алло-такси развернуть видеорегистраторы в разные стороны. Все адреса так в кадр не попадут. 3. основные площади города (Липки, театральную площадь, предмостовую, кольца на въездах в город) заказать работу у профессиональных геодезистов чтобы были по-настоящему точные геометрии вокруг которых можно было бы корректировать смещения снимков и районов.

Comment from d1g on 22 March 2015 at 15:36

Пример запроса который заглох, как я понял.

Не из-за отсутствия биржи.

Я связывался по почте 29.09.14 по корпоративному мылу 14.10.14 повторно переслал письмо и дублировал на личный ящик

Все три без ответа.

До предметной сути разговор даже не дошёл. По Саратову предложения несколько больших, насколько они реализуемы и адекватны нужно обсуждать по отдельным районам т.к. рельеф разный в городе: 1. частные сектора можно снять квадракоптерами (http://www.youtube.com/watch?v=JWHC8O21V0w). Адресацию вряд ли получится собрать, а вот дома можно уточнить и дорисовать. 2. Можно привлечь людей со стороны которые за мотивацию отсняли бы профили частных секторов (фасады слева от дороги, фасады справа от дороги). Звучит громко но на самом деле это двум водителям алло-такси развернуть видеорегистраторы в разные стороны. Все адреса так в кадр не попадут. 3. основные площади города (Липки, театральную площадь, предмостовую, кольца на въездах в город) заказать работу у профессиональных геодезистов чтобы были по-настоящему точные геометрии вокруг которых можно было бы корректировать смещения снимков и районов.

Login to leave a comment