Всем привет.

Наткнулся на ролик компании “Racurs”.

Ход строительства Крымского моста на радиолокационных снимках Sentinel-1.

Цитата:

Ролик был создан на основе 40 разновременных снимков, полученных радиолокационными спутниками миссии Sentinel-1. В набор попали изображения с мая 2015 года по ноябрь 2017 года.  

Тема мне интересна и есть желание научится чему-то новому, особенно – обработке радарных снимков для выяснения зон паводков/наводнений/etc., как пример:

• Step by Step: Recommended Practice Flood Mapping
• Flood Mapping using SAR images PDF(~28 Mb)

а также, создание карт вертикальных смещений - после землетрясений, активности вулканов, панических сообщений СМИ о “просадке мостов и/или сооружений” :

• Построение карты вертикальных смещений по паре радарных снимков КА Sentinel-1

Данные можно использовать для оценки объема и границ кризисного картографирования. Где точно нужно уточнить или срочно создать с нуля, по уже устаревшим снимкам.

… See full entry

На форуме Gis-Lab как-то спрашивали, как сделать карту острова и нанести градусную сетку… чем мог - помог через личку, тем более спрашивающий делал карту в подарок отцу на день рождения - он живет на Шикотане, а карта нужна для зимних поездок на снегоходе.

Через пару месяцев, похожий вопрос про градусную сетку снова возник, так что наработки пригодились ;)

Разные интересные примеры и уроки появляются в ленте “QGIS Planet” которые иногда пробую повторить. Результаты опытов долго лежали без дела, но в связи с переездом/закрытием “Яндекс.Фотки” решил опубликовать некоторые.

… See full entry

Благодаря Sibri переведена статья написанная adrienandrem (его twitter)
Где описывается как с помощью PostGIS, GRASS GIS и QGIS - вычислить и выделить районы, которые плохо отрисованы.

После недолгих раздумий, решил разместить перевод на Gis-Lab:

“Приоритет отрисовки в OpenStreetMap”
( http://gis-lab.info/qa/osm-mapping-priority.html )

Не знаю когда (и если) дойдут руки, но хочется повторить методику, но на данных по России.
Только вместо Tasking Manager (http://tasks.hotosm.org/), наверное будет проще использовать MapCraft (http://mapcraft.nanodesu.ru/)
Пока буду думать, что брать в работу - регион или федеральный округ (СФО, ДФО или УФО), надо решить еще несколько проблем:

• найти перевод инструкций по импорту данных OSM в PostGIS
• найти способ получить границы хайреза Bing/MapBox/DigitalGlobe

Для желающих помочь с переводом

В статье есть ссылка на инструкцию из руководства Регины Обе (Regina Obe), по импорту данных OSM в базу данных PostGIS:
“Loading OpenStreetMap data into PostGIS: An Almost Idiot’s Guide”

К сожалению, она уже достаточно сильно устарела, чтобы ее переводить…
Поэтому ищется актуальное руководство, которое можно (и нужно) перевести.

Для желающих помочь с границами хайреза

Возможно…

• кто-то знает кого-то, кто может спросить в компании на предмет поделится границами хайреза, или как-то пометить тайлы
• кто-то экспериментировал с автоматизацией (скрипты/приложения) определения границ
• кто-то в своем регионе отслеживает и имеет отельный файл *.OSM с границами

Поделитесь информацией, это поможет не только мне с данной задачей, но и во многих других случаях.

Примерно так выглядят 5-10% рек и ручьев Сахалинской области

… See full entry

Сделал небольшой демо-сайт с результатом парсинга ФГИС ТП.

http://fgis-xmypblu.rhcloud.com/

Это мой первый опыт создания чего-то на Django, что заработало вне localhost - в данном случае это бесплатный план на OpenShift, с ограничениями по памяти и диску в 512Мб/1Гб.

Из-за крайне малого опыта в программировании, было интересно “пощупать” всяко-разные технологии и сервисы… и как это обычно бывает - все затянулось и сейчас вопросов больше, чем в начале )))

скриншот на память:

UPDATE: небольшая статистика по файлам https://goo.gl/BXcYZj

P.S. Про ФГИС ТП я писал ранее тут: [1], [2]

P.P.S. в блоге OpenShift нашел несколько интересных заметок

Add Map Navigation to Your App With pgRouting on OpenShift
January 15, 2014
By Steven Pousty

Instant Mapping Applications with PostGIS and Nodejs
December 12, 2013
By Ryan Jarvinen

Get More Spatial in Your Database with PostGIS 2.1 on OpenShift
September 16, 2013
By Steven Pousty

~ 3 месяца
~ 350 населенных пункта
~ 47k строений отмечено

…в другом масштабе, по данным с GIS-Lab

… See full entry

Март был насыщен событиями, в основном они касались трех вещей

• границ
• домиков
• QATs

Границы

т.к. добровольцев на мое предложение не нашлось, в начале марта отрисовал границы сельских поселений Крыма. К сожалению не все, а только те, что смог увидеть на схеме.
После чего вернулся (спустя 3 года) в Московскую область и отрисовал все домики в Борисовском сельском поселении Можайского района, а после изучения данных по Можайскому ГП - обнаружил границы населенных пунктов (поворотные точки) в МСК-50. Обнаружил, что в других поселениях - тоже выкладывают подобные данные.
Буду рад ссылкам на такие данные, если кто поделится. Контактное мыло - у меня в профиле

Домики

Пока искал способ конвертировать координаты - обрисовал все домики Можайска и окрестностей. Точнее перерисовывал - гигантские домики накрывающие весь участок или 3-4 здания, занимали существенную часть окрестностей Можайска.

… See full entry

Продолжаю прикладывать усилия в Сахалинской области,
на этот раз не Курилы [1] [2].

Сахалин

В прошлом году на Сахалине появились больше хайрез снимков от MapBox и Bing, удвоилось (если не утроилось) количество треков GPS - спасибо Kornet за это. Также, в прошлом году на wiki выложили пример вычитания в запросах Overpass API и прошел эксперимент, после которого начались разговоры по созданию “биржи” - финансовой мотивации обрисовки зданий (и не только) там, где необходимо заказчику.

В общем - все сложилось так, что решил попробовать массовую и долговременную обрисовку зданий. Естественно, что без мотивации (кроме “Just for Fun”) получилось не так много… но для примера - достаточно. За 4 года в проекте я обрисовал около 16.000 зданий, а тут меньше чем за месяц - 20.000

… See full entry

Месяц назад завершилась акция по отбору границ сельских поселений из фалов с сайта ФГИС ТП

Итоги акции:

несмотря ни на что - я доволен результатом.

Тема вызвала интерес и несколько участников добавили в мою “коллекцию” границы СП своих регионов.

зелёное - уже отобранные файлы границ, которые можно взять для отрисовки
жёлтое - регион скачали с ФГИС ТП и выложили, но нужно отобрать границы
http://yadi.sk/d/1eSnk61WLTmt2

За месяц акции были загружены и обработаны несколько регионов (список обновляется в первом посте темы)

Но самое главное - я получил прототип скрипта для парсинга ФГИС ТП (по многим и разным причинам, скрипт не публикую).

С его помощью, за неделю были загружены, запакованы в архив и выложены в облако все файлы регионов Дальневосточного федерального округа.

Амурская область
Еврейская автономная область
Камчатский край
Магаданская область
Приморский край
Республика Саха (Якутия)
Сахалинская область
Хабаровский край
Чукотский автономный округ

… See full entry

Приглашаю поучаствовать в акции, по поиску и сбору файлов границ сельских поселений (admin_level=8). Если коротко - требуется помощь в скачивании и отборе файлов с границами.
Планируется собрать и подготовить за месяц как можно больше файлов для последующего внесения в проект, так сказать - подготовить фронт работ…

Немного статистики:

В России 85 региона
Муниципальные районы 1817
Городские поселения (ГП) 912 из 1674
Сельские поселения (СП) 7297 из 18586
Сельские НП 86649 из 152476

В начале 2014 года - количество отмеченных СП достигло 1/3. Если решите поучаствовать, вполне реально достать ещё 1/3 границ. После чего поднимется статистика отмеченных НП… а дальше увеличится дорожный граф страны. Дело нужное и полезное.

Собственно моя просьба потратить некоторое время не на обрисовку, а на скачивание и разбор файлов - связана с тем, что разговоров о том, что нужно улучшить статистику границ и НП в последнее время - много и разных, а идей и предложений - мало. Мой вариант решения не идеален, но выполним. К сожалению, если это делать в одиночку потребуется столько времени, что я забуду для чего это было нужно…

На данный момент я выкладываю границы СП в паку АТД рядом с генпланами регионов

http://yadi.sk/d/1eSnk61WLTmt2

Так как каждый этап по поиску, скачиванию, просмотру, переименовыванию и загрузки в общедоступное место - занимает в итоге существенное время, предлагаю свой вариант действий на ближайший месяц.

Разберём самый сложный случай :)

смотрим таблицу (валидатор) регионов с малым количеством СП:
http://atd.osm.rambler.ru/posstat.html

… See full entry

На этот раз заметка о поднятии статистки населённых пунктов в Калининградской области. Пока не забыл.

–
Месяц назад, разбирая материалы, что я скачал с сайтов районных и областной администраций, а также с ФГИС ТП генпланы и схем территориального планирования (СТП) - понял, что у меня на диске есть почти все районы Калининградской области.

Скачав недостающие районы, принялся отмечать населённые пункты… и тут увидел ЭТО от пользователя Koolp :

больше 1400 точек “place=locality” (на момент обнаружения), с названиями на литовском, старо-литовском, немецком, старо-немецком (прусские?) и иногда на русском языке.

Количество названий наводит на мысль, что это “сборная солянка” из хуторов исчезнувшие как в советское время - после войны, так и до войны… не удивлюсь, если некоторые названия использовались только в 19 веке.

Для сравнения - всего в области, меньше 1200 населённых пунктов.

… See full entry

+3% по стране

Наконец закончил отрисовку границ сельских поселений Алтайского края.

Как-то тяжело и долго в этот раз у меня рисовались границы.
Еслиб не участник Википедии, обратившийся за данными по сельским поселениям, я бы всё бросил на первых десяти районах. Но расписав ему в красках и лицах, как плохо у нас с границами СП и с доступными материалами по ним, и что из примерно 19 тыс. сельских поселений в проекте отрисовано треть… решил продолжить и улучшить статистику.

Получилось с нуля отметить 658 и теперь это выглядит примерно так:

Рисовал по не самой точной и новой схеме территориального планирования Алтайского края. Столкнулся с перепутанными местами названий сельсоветов, опечатками, устаревшими границами и заморочками с “чересполосными участками” сельсоветов (анклавы/эксклавы), которые непонятно как отмечать.

… See full entry

Не смотря на то, что изучение Python идет медленно - мой первый (во всех смыслах) “pull request” с добавлением поддержки OpenStreetMap в python-social-auth приняли. В чем сильно помог Стас Кравец - спасибо ему за терпение.

Модуль пришел на смену django-social-auth, и содержит примеры для:

• Django
• Flask
• Pyramid
• Webpy
• Tornado

по поводу CherryPy - непонятно…

Думаю этот модуль пригодится разработчикам валидаторов, форумов и различных приложений и сервисов.

https://github.com/omab/python-social-auth

Продолжаю рисовать Курилы и вот еще одна история.

В очередной раз просматривая сайт Министерства регионального развития, на предмет свежих генпланов и схем территориального планирования, обнаружил генплан города Северо-Курильска. Каждый раз жду подвоха, “повезло” и в этот раз.

Генплан был в формате PDF, в свойствах документа которого написано, что был сделан в AutoCAD 2012 (Rus), а весь текст переведен в кривые… из сотен надписей и сокращений, читались с десяток.

Ок, я уже заморачивался с подобным, но в меньших масштабах. Исходя из принципа: нужно - сделай сам, сделал таблицу алфавита и приступил к “дешифровке”.
Пара вечеров и результат на лицо - запасаемся попкорном и смотрим как быстро растащут в другие проекты ;) да и на здоровье.

… See full entry

Недавно RSS-лента напомнила о некоторых проектах - о геоданных, описанные или созданные на GIS-Lab.

Походив по ссылкам заинтересовался проектом 2010 года “Свободные данные по границам субъектов РФ”. Источником данных для которого стали публичные данные Росреестра, конкретно - “Перечень границ между кадастровыми округами”. Более детально о проекте и вопросы лицензионной чистоты данных можно узнать по ссылкам:
“Границы субъектов РФ - координационная страница”
“Свободные данные по границам субъектов РФ - вопросы и ответы”

В том проекте была единственная цель - границы регионов, хотя на графических файлах присутствуют кроме границ еще много дополнительной информации:

• направления течения рек и ручьев
• наименования рек, ручьев, озер, перекатов, проток, речных островов, озёр, гор, хребтов, ледников
• безымянные скалы, вершины
• отметки высот
• частичная Ёфикация

… See full entry

Отметил недостающие населенные пункты Республики Саха(Якутия), использовал архив gkgn_v5.zip с форума сделанный liosha из PDF опубликованных на сайте Росреестра

В архиве файлы с координатами НП (приблизительными), размер файлов от 7 Кб до 1,1 Мб , есть еще набор файлов с названиями других географических объектов, но это другая история и объемы

В исходном файле Якутии (98 Кб) - 651 координат, после обработки осталось 380 меток (НП и fixme)

Использовалась связка подложек: OpenStreetMap, Bing + активное использование поиска населенных пунктов на сайте Публичной кадастровой карты, в итоге - на всё ушло 7 часов чистого времени, на просмотр и сдвиг меток (10-5000 метров). Думаю, что с работающим валидатором Дежина, ушло бы меньше времени на 1-2 часа.

Aleksandr Dezhin - помним, ждем и надеемся ;)

…где-то на середине работы - понял, что надо вчитываться в названия НП которые уже есть в ОСМ, т.к. есть названия в транслите (привет немцам), есть взятые неизвестно откуда, есть просто перепутанные местами рядом стоящих поселков.

При просмотре других регионов стало понятно, что надо дополнительно парсить или просить liosha при парсинге - альтернативные названия НП разделять “;” (точка с запятой), чтобы потом заменить key “note” на “alt_name” и заодно проверять на длину строки в “note” - видимо происходит сбой и туда попадает огромный список НП

Неожиданно наткнулся, показалось интересным http://lektorium.rgo.ru

Есть онлайн-трансляции лекций и мастер-классов. Есть видео-записи последних(?) лекций.

Из анонсов на апрель - почти половина мне интересна, но особо хочется посмотреть или посетить лекцию по Крымску:

23 апреля (вторник), 18:30

Как избежать второго Крымска?

О том, как добиться высокой точности прогнозирования опасных природных процессов: наводнений, землетрясений, смерчей, оползней.

• Дискуссионный клуб при Лектории Русского географического общества. Доклад делает Т.П. Варшанина – заведующая Центром интеллектуальных геоинформационных технологий Адыгейского государственного университета, заведующая базовой кафедрой геоинформатики ЮНЦ РАН, к.б.н., доцент кафедры географии АГУ, директор малого инновационного предприятия «Geo-Vertex». В обсуждении примут участие представители Министерства природных ресурсов и экологии РФ, МЧС России, Росгидромета, научных центров и др. Приглашаем принять участие в дискуссии!

Куда-то пропали ссылки на RSS, за последние месяцы меня уже в третий раз спрашивали (а я в третий раз искал) как подписаться на русскую ленту или на дневники конкретного пользователя:

• Русскоязычная лента: osm.org/diary/ru/rss
• Персональные дневники: osm.org/user/{имя_пользователя}/diary/rss

Вопрос к тем кто общается с разработчиками OSM.org :

• как подписаться на правки пользователя по его UID ?
• если сейчас никак - попросите их это реализовать, вандалы часто меняю свои ники, а поиск нового имени - отнимает время.

Просматривал новости на OpenNet и наткнулся на анонсы статей в “BSD Magazine”.

Оказывается, в прошлом году в журнале “BSD Magazine” была серия из 4-х статей про GIS.
Дело было вечером, делать было нечего(c)… решил объединить эти статьи в один файл.

В этом году у них идет серия статей о PostgreSQL.

Как любителя нарезать большие картинки на тайлы, с момента появления статьи про OrbView-3 меня волновал вопрос - когда научат gdal2tiles сохранять тайлы в JPEG? И насколько меньше места будут занимать тайлы?

Сегодня получил патч от PShA и получил такие цифры:
Для теста взял GeoTIFF размером 15594х10931 px, 487 МБ (511 461 868 байт), который нарезал для 5 зума.

# По умолчанию режет в формате PNG - всё как обычно
$gdal2tiles -w none -n -z 5 test.tif tiles
размер папки: 1.49 МБ (1 564 650 байт)

# Параметр "-f jpg" даст нам тайлы с расширением .jpg
# по умолчанию в GDAL для JPEG стоит QUALITY = 75
gdal2tiles -f jpg -w none -n -z 5 test.tif tiles
размер папки: 402 КБ (411 703 байт)

# выставляем QUALITY = 90
gdal2tiles -q 90 -f jpg -w none -n -z 5 test.tif tiles
размер папки: 608 КБ (622 967 байт)

# Получаем файлы с расширением .jpeg и QUALITY = 95
gdal2tiles -q 95 -f jpeg -w none -n -z 5 test.tif tiles
размер папки: 810 КБ (829 693 байт)

в реальной ситуации снимки режутся для 16-19 зума, но это ооочень долго и больше места займет.

P.S. Спасибо и багрепорты отсылаем PShA , которого проще поймать в чатике про аниме ;)