OpenStreetMap

Xmypblu's diary

Recent diary entries

Итоги акции "границы СП"

Posted by Xmypblu on 27 June 2014 in Russian (Русский)

Месяц назад завершилась акция по отбору границ сельских поселений из фалов с сайта ФГИС ТП

Итоги акции:

несмотря ни на что - я доволен результатом.

Тема вызвала интерес и несколько участников добавили в мою "коллекцию" границы СП своих регионов.

зелёное - уже отобранные файлы границ, которые можно взять для отрисовки
жёлтое - регион скачали с ФГИС ТП и выложили, но нужно отобрать границы
http://yadi.sk/d/1eSnk61WLTmt2

За месяц акции были загружены и обработаны несколько регионов (список обновляется в первом посте темы)

Но самое главное - я получил прототип скрипта для парсинга ФГИС ТП (по многим и разным причинам, скрипт не публикую).

С его помощью, за неделю были загружены, запакованы в архив и выложены в облако все файлы регионов Дальневосточного федерального округа.

Амурская область
Еврейская автономная область
Камчатский край
Магаданская область
Приморский край
Республика Саха (Якутия)
Сахалинская область
Хабаровский край
Чукотский автономный округ

https://cloud.mail.ru/public/bf9fa72b7373/ДФО

Из этой недели 2/3 времени ушло на упаковку в архив и загрузку в ОБЛАКО@mail.ru

Архивы занимают 66 Гб, часть уже просмотрел, все остальное планирую чуть позже сделать.

Продолжение и изменение формата акции:

Я продолжаю собирать границы СП, но объем скачанного и количество файлов файлов - огромен.

Самую трудную (и нудную) часть акции - загрузка файлов с сайта ФГИС ТП, я могу взять на себя. После чего упакую в архивы и выложу. В обмен - прошу вашей помощи в отборе фалов с границами СП.

Мне требуется помощь в отборе нужных файлов и минимальной обработке - переименование (я беру названия поселений/районов из валидатора) и копирование файлов с границами в папки с названием районов.

Пример, как это должно выглядеть в итоге:
https://yadi.sk/d/1eSnk61WLTmt2/АТД/Костромская%20область/

В начале этого года количество границ сельских поселений достигло значения в 1/3, но смотря на текущую динамику - уверен, что до конца года будет отрисована половина границ. И есть шанс, что в следующем году дойдёт до 90-95%

P.S. Про картинку пирога Mapcraft:

В своё время, после прохода "redaction bot", для восстановления данных osmisto был создан пирог на всю страну

Я взял его за основу, "причесал", постарался пронумеровать куски согласно списку из вики и добавил пропущенные регионы:

Республика Адыгея
Республика Ингушетия
Сахалинская область
Республика Крым
и Севастополь

Если вдруг кому потребуется распределить задачу в рамках страны - скачать для своих экспериментов пирог можно тут

Файлы границ сельских поселений

Posted by Xmypblu on 28 April 2014 in Russian (Русский)

Приглашаю поучаствовать в акции, по поиску и сбору файлов границ сельских поселений (admin_level=8). Если коротко - требуется помощь в скачивании и отборе файлов с границами.
Планируется собрать и подготовить за месяц как можно больше файлов для последующего внесения в проект, так сказать - подготовить фронт работ...

Немного статистики:

В России 85 региона
Муниципальные районы 1817
Городские поселения (ГП) 912 из 1674
Сельские поселения (СП) 7297 из 18586
Сельские НП 86649 из 152476

В начале 2014 года - количество отмеченных СП достигло 1/3. Если решите поучаствовать, вполне реально достать ещё 1/3 границ. После чего поднимется статистика отмеченных НП... а дальше увеличится дорожный граф страны. Дело нужное и полезное.

Собственно моя просьба потратить некоторое время не на обрисовку, а на скачивание и разбор файлов - связана с тем, что разговоров о том, что нужно улучшить статистику границ и НП в последнее время - много и разных, а идей и предложений - мало. Мой вариант решения не идеален, но выполним. К сожалению, если это делать в одиночку потребуется столько времени, что я забуду для чего это было нужно...

На данный момент я выкладываю границы СП в паку АТД рядом с генпланами регионов Генпланы, СТП и административные границы

Так как каждый этап по поиску, скачиванию, просмотру, переименовыванию и загрузки в общедоступное место - занимает в итоге существенное время, предлагаю свой вариант действий на ближайший месяц.

Разберём самый сложный случай :)

смотрим таблицы (валидаторы) регионов с малым количеством СП тут: [1] или [2]
http://wowik.000space.com/places/ru/ проверяем текущую ситуацию в проекте
http://goo.gl/TwD33 смотрим и выбираем регион и отписываемся на форуме, в теме акции, что будете заниматься этим регионом

заходим на сайт ФГИС ТП (на базе Silverlight) и переключаемся на отображение АТД
выбираем регион и обходим районы/поселения
выбираем пакет с документами и просматриваем его
сохраняем архив с генпланами

  • создаем на своем диске папку с названием района, туда будем скачивать архивы
  • необходим генплан района, т.к. нам потребуется обзорная карта с расположением и границами поселений и сел (иногда, только такой генплан и будет в наличии).
  • если есть генпланы на поселения, скачиваем всё подряд архивами - на весь район
  • когда есть все архивы на один район - распаковываем каждый архив в отдельную папку
  • просматриваем в каждой папке все графические файлы - на предмет наличия битых и плохо читаемых (пережатых), их удаляем если планируете файлы передать или хранить
  • из примерно одинаковых файлов с границами - выбираем те, что содержат дополнительную информацию (названия улиц, рек и т.п.)
  • выбранный файл переименовываем в название поселения (обзорную схему - в название района)
  • загружаем в папку района на Яндекс.Диск
  • переходим на скачивание следующего района

если возится с каждым архивом отдельно, времени тратится больше и быстро надоедает... берегите себя :)

Исходя из предположения, что будет тратится по 30 минут в день или по часу - через день, в таком режиме, в одно лицо за месяц можно скачать данных по 2 крупным областям - это примерно 500-600 СП. Найти границы на все СП вряд ли получится - предположим, что только на половину из недостающих, что составит ~5-6тыс.
Получается, что нужно 10-15 человек, но в реальности нужно в 2-3 раза больше, чтобы получилось по человеку на 2-3 области или республики.

Возможные варианты и сложности:

  • Если уже есть генпланы с границами СП, поделитесь - выложите в инет, где вам удобнее и пришлите ссылку.
  • Если есть почтовый ящик у Яндекса, то могу сделать общую папку с вашим регионом - так будет проще вам загружать файлы.
  • Вы не можете открыть сайт (по разным причинам) - возможно вам поможет VirtualBox или другая виртульная машина, поверьте - оно того стоит, если другим способом получить генпланы не реально.
  • Не удаляйте архивы. Объем данных большой, нужно будет не всё, а для данной акции - совсем мало. Если можете сами использовать - хорошо, если у вас нет интереса к этому региону, отпишитесь в теме по данной области или выложите в инет и дайте ссылку тем, кто заинтересован в скачанных архивах.
  • Если нет Яндекс.Диска, но есть Dropbox или что-то другое, то просто пришлите ссылку на папку с файлами - после того как обработаете (выберете, переименуете и выложите) файлы района или область, чтобы я смог скачать и добавить регион к себе.
  • Если данных нет: ищем официальный сайт администраций, самый простой способ поиска - начать со статьи по району/поселению на википедии, и там найти ссылку на официальный сайт района/поселения. На сайте администраций генпланы обычно находятся в разделе "Строительство", иногда ищутся через встроенный поиск, а иногда только через поиск картинок в гугле - сознательно или нет, я не знаю, но ссылки на генпланы часто меняются или бьются... зато прямые ссылки сохраняются в кеше гугла и картинку по ним можно скачать.
  • Если нигде нет генпланов и СТП - остаётся только ждать и проверять сайты раз в месяц или квартал.

(тут должны быть рассуждения, что руосму давно требуется bittorrent-трекер для обмена генпланами и СТП, возможно их оформлю отдельной заметкой)

P.S. вопрос работающим в Яндексе - есть возможность попасть под какую-нибудь программу расширения объёма Яндекс.Диска, для сбора генпланов и СТП на пользу ОСМ? ;) Можете поинтересоваться у коллег?

Калининградская область и 16 Гб данных

Posted by Xmypblu on 2 April 2014 in Russian (Русский)

На этот раз заметка о поднятии статистки населённых пунктов в Калининградской области. Пока не забыл.

--
Месяц назад, разбирая материалы, что я скачал с сайтов районных и областной администраций, а также с ФГИС ТП генпланы и схем территориального планирования (СТП) - понял, что у меня на диске есть почти все районы Калининградской области.

Скачав недостающие районы, принялся отмечать населённые пункты... и тут увидел ЭТО от пользователя Koolp :

больше 1400 точек "place=locality" (на момент обнаружения), с названиями на литовском, старо-литовском, немецком, старо-немецком (прусские?) и иногда на русском языке.

Количество названий наводит на мысль, что это "сборная солянка" из хуторов исчезнувшие как в советское время - после войны, так и до войны... не удивлюсь, если некоторые названия использовались только в 19 веке.

Для сравнения - всего в области, меньше 1200 населённых пунктов.

в Калининградской области меньше 1200 населённых пунктов

На севере и востоке области находил отмеченные им существующие населённые пункты в 1-3 км от реального расположения. Попытка выяснить у автора и тех кто рисует область, по каким данным происходил импорт - ничего не дала. Автор не отвечает, а народ с ним не связывался и вообще, обнаружили его правки только что.
Догадок много - ответов мало, видимо импорт был с плохо привязанных материалов и без проверки по Бингу - куда попадают точки на местности.

Возможно для исторического проекта - это интересные данные, но сомневаюсь, что отражает текущее положение вещей на местности, не говоря о точности. По моим расспросам, в настоящее время никто не использует эти названия для обозначения или навигации - разве что (предполагаю) историки, краеведы и ностальгирующие потомки с этих хуторов. Которых в проекте не так много, если вообще есть.

По мне - этот "исторический мусор", с которым непонятно что делать... поэтому предлагаю обсудить эти данные на форуме, в теме "Калининград и область". Будет здорово если автор объявится и выскажет свои соображения.

Не смотря на то, что снимки Бинга есть не на всей территории области, большую часть недостающего покрывает OrbView-3

Из сложных моментов, могу вспомнить только трудность принятия решения - где и как отмечать населённые пункты, которые по схемам состоят из множества разбросанных на достаточно большие расстояния хуторов/дворов.

Таких сёл набралось с десяток, я отмечал или сдвигал существующую точку на самый большой или самый кучный участок такого села. Если есть более удачные идеи, каким образом отмечать подобные сёла - никто против не будет, если их озвучат и реализуют.

Что в итоге:

Помимо поднятия статистики отмеченных населённых пунктов области до 98%, решил выложить в общий доступ все материалы ~16Гб, что есть у меня по Калининградской области, на "Яндекс.Диск". После их фейла в декабре, я стал обладателем дополнительных 200Гб, и решил их использовать для обмена материалами полученных из легальных источников.

http://yadi.sk/d/1eSnk61WLTmt2

Материалы предлагаю использовать для уточнения административных границ сельских поселений и населённых пунктов. Но помимо этого там много другой полезной и нужной информации - названия гидрографии, садовых/огородных товариществ, дорог, улиц и много всяко-разного.

P.S. на момент публикации, цифра "place=locality" снизилась на ~100 точек... видимо кто-то начал чистить

Location: Московский район, Калининград, городской округ Калининград, Калининградская область, Северо-Западный федеральный округ, Российская Федерация

Алтайский край - границы сельсоветов

Posted by Xmypblu on 17 February 2014 in Russian (Русский)

+3% по стране

Наконец закончил отрисовку границ сельских поселений Алтайского края.

Как-то тяжело и долго в этот раз у меня рисовались границы.
Еслиб не участник Википедии, обратившийся за данными по сельским поселениям, я бы всё бросил на первых десяти районах. Но расписав ему в красках и лицах, как плохо у нас с границами СП и с доступными материалами по ним, и что из примерно 19 тыс. сельских поселений в проекте отрисовано треть... решил продолжить и улучшить статистику.

Получилось с нуля отметить 658 и теперь это выглядит примерно так:

границы с http://overpass-turbo.eu

Рисовал по не самой точной и новой схеме территориального планирования Алтайского края. Столкнулся с перепутанными местами названий сельсоветов, опечатками, устаревшими границами и заморочками с "чересполосными участками" сельсоветов (анклавы/эксклавы), которые непонятно как отмечать.

СТП Алтайского края

Кстати, о первой картинке - Overpass вообще крайне полезная штука, жаль мало переведено на wiki, и в теме на форуме не так часто задают и отвечают на вопросы.

Я например для визуальной (с помощью http://overpass-turbo.eu) проверки границ, как и их наличие - создал табличку по регионам:

таблица с регионами

Обновляются данные в течении 5-10 минут, по мне - достаточно быстро. Ошибки и незамкнутые мультиполигоны сразу видно и удобно получать номер отношения, чтобы скопировать и загрузить (по "Ctrl+Shift+O") границу в JOSM для редактирования.

Данные по региону

Границы требуется уточнять, а картографические материалы для этого можно искать как на сайтах администраций районов или сельсоветов (я узнаю URL сайтов из статей на http://ru.wikipedia.org/ - ещё один плюс от тега "wikipedia"), так и на сайте http://fgis.minregion.ru/ (требуется установка Silverlight).
На сайте минрегиона есть схемы и генпланы примерно для половины районов и сельсоветов Алтайского края, на них границы точнее и детальнее тех, что нанёс я. Правда возможна ситуация, когда границы одного района, но из разных документов (или с разной датой загрузки) не будут совпадать друг с другом. На некоторых сайтах районных администраций видел материалы в виде набора файлов для MapInfo. Ну и картографическое описание границ из уставов районов/сельсоветов всегда есть - для тех кто заинтересован в детальной отрисовке этого региона ;) развлечение ещё то... но материалы есть, нужны желающие.

Последние 5 лет в крае происходит активное изменение границ сельсоветов, в этом году тоже планируется объединить несколько сельсоветов, так что местным мапперам придётся отслеживать изменения. Вроде такие есть, главное чтобы они не замыкались в своих "огородах".

Нерешённые проблемы

Для тех, кто будет дальше там разбираться с границами (я пас), есть проблемы которые я не осилил:

  1. Славгородский район: разобраться с текущим состоянием границ. С 1 сентября 2011 года в состав городского округа Славгород вошли все сельсоветы расформированного Славгородского района.
  2. Петропавловский район: Солдатовский сельсовет - надо детально разобраться, что там с передачей в другой район и включение в Акутихинский сельсовет Быстроистокского района.
  3. Ребрихинский район: В 2014 году планируется объединить Куликовский и Шумилихинский сельсовет в Ребрихинский. Георгиевский сельсовет в Беловский.
  4. Я занимался только сельсоветами, поэтому городские поселения нужно отдельно проверять и при необходимости отрисовать.

JOSM - патч 6832

В какой то момент однообразные манипуляции для создания границ реально утомили, и я написал akks вопрос - почему в поле тегов мультиполигонов границ я не могу вставить скопированный текст по правой клавише мыши? Причём в самых экзотических полях ввода - работало, а в ожидаемом месте, где больше всего это требовалось - нет.

В процессе переписки обнаружил, что поле "name" можно вызвать для редактирование через ссылку над окном тегов. Что оказалось удобно, но не очевидно:

В итоге переписки akks внёс патч 6832. Пока пользуюсь 6836 версией JOSM, там вставка заработала, а в следующий релиз видимо будет работать у всех.
Спасибо ему.

Location: улица Правый Берег Пруда, Центральный район, Барнаул, городской округ Барнаул, Алтайский край, Сибирский федеральный округ, 656000, Российская Федерация

python-social-auth

Posted by Xmypblu on 28 December 2013 in Russian (Русский)

Не смотря на то, что изучение Python идет медленно - мой первый (во всех смыслах) "pull request" с добавлением поддержки OpenStreetMap в python-social-auth приняли. В чем сильно помог Стас Кравец - спасибо ему за терпение.

Модуль пришел на смену django-social-auth, и содержит примеры для:

  • Django
  • Flask
  • Pyramid
  • Webpy
  • Tornado

по поводу CherryPy - непонятно...

Думаю этот модуль пригодится разработчикам валидаторов, форумов и различных приложений и сервисов.

https://github.com/omab/python-social-auth

Кракозябры

Posted by Xmypblu on 23 December 2013 in Russian (Русский)

Продолжаю рисовать Курилы и вот еще одна история.

В очередной раз просматривая сайт Министерства регионального развития, на предмет свежих генпланов и схем территориального планирования, обнаружил генплан города Северо-Курильска. Каждый раз жду подвоха, "повезло" и в этот раз.

надписи на генплане

Генплан был в формате PDF, в свойствах документа которого написано, что был сделан в AutoCAD 2012 (Rus), а весь текст переведен в кривые... из сотен надписей и сокращений, читались с десяток.

Ок, я уже заморачивался с подобным, но в меньших масштабах. Исходя из принципа: нужно - сделай сам, сделал таблицу алфавита и приступил к "дешифровке".
Пара вечеров и результат на лицо - запасаемся попкорном и смотрим как быстро растащут в другие проекты ;) да и на здоровье.

алфавит кракозябр

Исходный SVG файл, может кто захочет изменить или удалить "рекламу".

Надо как нибудь собрать все примеры и ссылки, и сделать обзорную статью - кто и как выкладывает в открытый доступ картографические материалы, опубликованные согласно 8-ФЗ от 9 февраля 2009 г. ("Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления") и 190-ФЗ от 29 декабря 2004 года ("Градостроительный кодекс Российской Федерации")

Если есть "достойные" примеры, которые вас рассмешили, удивили или разозлили - пришлите ссылку, не сочтите за труд.

Location: Парковая улица, Северо-Курильск, Северо-Курильский городской округ, Сахалинская область, Дальневосточный федеральный округ, Российская Федерация

Забытый источник данных?

Posted by Xmypblu on 19 December 2013 in Russian (Русский)

Недавно RSS-лента напомнила о некоторых проектах - о геоданных, описанные или созданные на GIS-Lab.

Походив по ссылкам заинтересовался проектом 2010 года "Свободные данные по границам субъектов РФ". Источником данных для которого стали публичные данные Росреестра, конкретно - "Перечень границ между кадастровыми округами". Более детально о проекте и вопросы лицензионной чистоты данных можно узнать по ссылкам:
"Границы субъектов РФ - координационная страница"
"Свободные данные по границам субъектов РФ - вопросы и ответы"

В том проекте была единственная цель - границы регионов, хотя на графических файлах присутствуют кроме границ еще много дополнительной информации:

  • направления течения рек и ручьев
  • наименования рек, ручьев, озер, перекатов, проток, речных островов, озёр, гор, хребтов, ледников
  • безымянные скалы, вершины
  • отметки высот
  • частичная Ёфикация

Но есть и проблемы.
В основном - небольшой охват, только вдоль границы.
Отсутствуют статусные части у рек и ручьев - я решил(?) эту проблему подключением каталога географических названий нужного региона... и тут получил новую проблему. Я так и не понял как действовать в ситуации, когда правила русского языка вступают в конфликт с статусной частью реки.

  • река Транзитный (а не Транзитная - одинаковое написание на листе и в каталоге названий)
  • река Белый (а не Белая)

такое ощущение, что было массовое изменение статусной части - из ручьёв делали реки, а окончания не стали менять? В итоге - писал как есть.

Масштаб и отсутствие хайреза Бинга в большинстве случаев, решил за меня "по чему рисовать" - Landsat. Неожиданно для себя обнаружил дикое смещение с поворотом, снимков Landsata на стыке границ Якутии-Хабаровского края-Амурской области. Так что заранее извиняюсь перед теми, кто будет там уточнять и рисовать более детально.

Я взял пакет файлов границы Якутии и Хабаровского края - это 38 файлов, в итоге нанес ~460 наименований ручьев, рек, озер, гор и т.д. Надеюсь, что не сильно испортил статистику валидатора водных объектов так как многие реки уже были до этого нанесены, я же нанес только истоки или часть притоков, с тем же "name". Так что останется только соединить эти части.

Если кого заинтересует - выложил архив скаченного с Росреестра (возможны пропуски), и отдельно архив с моими файлами (PNG и файлы привязки для JOSM)

Жаль что у нас нет табличного аналога http://mapcraft.nanodesu.ru - применение wiki для координации работ, тяжелое и не самое удачное решение. Этот набор файлов - по моему хороший повод для "диванной маппинг-пати", пройтись по границам и нанести гидрографию и вершины, имеющие свои названия.

Государственный каталог географических названий

Posted by Xmypblu on 7 May 2013 in Russian (Русский)

Отметил недостающие населенные пункты Республики Саха(Якутия), использовал архив gkgn_v5.zip с форума сделанный liosha из PDF опубликованных на сайте Росреестра

В архиве файлы с координатами НП (приблизительными), размер файлов от 7 Кб до 1,1 Мб , есть еще набор файлов с названиями других географических объектов, но это другая история и объемы

В исходном файле Якутии (98 Кб) - 651 координат, после обработки осталось 380 меток (НП и fixme)

Использовалась связка подложек: OpenStreetMap, Bing + активное использование поиска населенных пунктов на сайте Публичной кадастровой карты, в итоге - на всё ушло 7 часов чистого времени, на просмотр и сдвиг меток (10-5000 метров). Думаю, что с работающим валидатором Дежина, ушло бы меньше времени на 1-2 часа.

Aleksandr Dezhin - помним, ждем и надеемся ;)

...где-то на середине работы - понял, что надо вчитываться в названия НП которые уже есть в ОСМ, т.к. есть названия в транслите (привет немцам), есть взятые неизвестно откуда, есть просто перепутанные местами рядом стоящих поселков.

При просмотре других регионов стало понятно, что надо дополнительно парсить или просить liosha при парсинге - альтернативные названия НП разделять ";" (точка с запятой), чтобы потом заменить key "note" на "alt_name" и заодно проверять на длину строки в "note" - видимо происходит сбой и туда попадает огромный список НП

Московский лекторий Русского географического общества

Posted by Xmypblu on 9 April 2013 in Russian (Русский)

Неожиданно наткнулся, показалось интересным http://lektorium.rgo.ru

Есть онлайн-трансляции лекций и мастер-классов. Есть видео-записи последних(?) лекций.

Из анонсов на апрель - почти половина мне интересна, но особо хочется посмотреть или посетить лекцию по Крымску:

23 апреля (вторник), 18:30

Как избежать второго Крымска?

О том, как добиться высокой точности прогнозирования опасных природных процессов: наводнений, землетрясений, смерчей, оползней.

  • Дискуссионный клуб при Лектории Русского географического общества. Доклад делает Т.П. Варшанина – заведующая Центром интеллектуальных геоинформационных технологий Адыгейского государственного университета, заведующая базовой кафедрой геоинформатики ЮНЦ РАН, к.б.н., доцент кафедры географии АГУ, директор малого инновационного предприятия «Geo-Vertex». В обсуждении примут участие представители Министерства природных ресурсов и экологии РФ, МЧС России, Росгидромета, научных центров и др. Приглашаем принять участие в дискуссии!
Location: Китай-город, Тверской район, Центральный административный округ, Москва, Центральный федеральный округ, 109012, Российская Федерация

ссылки на RSS

Posted by Xmypblu on 7 November 2012 in Russian (Русский)

Куда-то пропали ссылки на RSS, за последние месяцы меня уже в третий раз спрашивали (а я в третий раз искал) как подписаться на русскую ленту или на дневники конкретного пользователя:

Вопрос к тем кто общается с разработчиками OSM.org :

  • как подписаться на правки пользователя по его UID ?
  • если сейчас никак - попросите их это реализовать, вандалы часто меняю свои ники, а поиск нового имени - отнимает время.

Статьи о GIS в журнале "BSD Magazine"

Posted by Xmypblu on 6 November 2012 in Russian (Русский)

Просматривал новости на OpenNet и наткнулся на анонсы статей в "BSD Magazine".

Оказывается, в прошлом году в журнале "BSD Magazine" была серия из 4-х статей про GIS.
Дело было вечером, делать было нечего(c)... решил объединить эти статьи в один файл.

В этом году у них идет серия статей о PostgreSQL.

gdal2tiles с поддержкой jpeg

Posted by Xmypblu on 30 October 2012 in Russian (Русский)

Как любителя нарезать большие картинки на тайлы, с момента появления статьи про OrbView-3 меня волновал вопрос - когда научат gdal2tiles сохранять тайлы в JPEG? И насколько меньше места будут занимать тайлы?

Сегодня получил патч от PShA и получил такие цифры:
Для теста взял GeoTIFF размером 15594х10931 px, 487 МБ (511 461 868 байт), который нарезал для 5 зума.

# По умолчанию режет в формате PNG - всё как обычно
$gdal2tiles -w none -n -z 5 test.tif tiles
размер папки: 1.49 МБ (1 564 650 байт)

# Параметр "-f jpg" даст нам тайлы с расширением .jpg
# по умолчанию в GDAL для JPEG стоит QUALITY = 75
gdal2tiles -f jpg -w none -n -z 5 test.tif tiles
размер папки: 402 КБ (411 703 байт)

# выставляем QUALITY = 90
gdal2tiles -q 90 -f jpg -w none -n -z 5 test.tif tiles
размер папки: 608 КБ (622 967 байт)

# Получаем файлы с расширением .jpeg и QUALITY = 95
gdal2tiles -q 95 -f jpeg -w none -n -z 5 test.tif tiles
размер папки: 810 КБ (829 693 байт)

в реальной ситуации снимки режутся для 16-19 зума, но это ооочень долго и больше места займет.

P.S. Спасибо и багрепорты отсылаем PShA , которого проще поймать в чатике про аниме ;)

ITO сломался

Posted by Xmypblu on 24 September 2012 in Russian (Русский)

хм... забавно его глючит (www.itoworld.com):

ITO image

Республика Саха (Якутия)

Posted by Xmypblu on 9 September 2012 in Russian (Русский)

После отрисовки всех границ сельских поселений (boundary-8) Курганской области и населенных пунктов с простановкой численности населения по данным переписи 2010 года, уточнил и добавил населенные пункты по валидатору в Ямало-Ненецком автономном округе и Ханты-Мансийском автономном округе.

Обратил внимание на Дальневосточный федеральный округ в валидаторе. По привычке взял кусок "по жирней" и стал изучать, что и где есть "полезного". Из-за нестабильной работы сайта или линий связи, официальный сервер органов государственной власти Республики Саха (Якутия) - sakha.gov.ru изучался несколько дней. Была найдена единственная схема, где хоть как-то были отмечены границы наслегов (поселений): "Схема границ особоохраняемых природных территорий" - 32 Мб, 9842х9842рх, в архиве с другими схемами http://sakha.gov.ru/node/58363, сам архив состоял из 9 частей... квест какой-то.

Схема границ особоохраняемых природных территорий

Так как мне показалось удобной работа с локальным TMS во время отрисовки Шикотана, пошел по уже пройденному пути:

  • QGIS - привязка
  • gdal2tiles - режет
  • nginx - раздает

Прописываем в JOSM:

tms[11]:http://localhost/{zoom}/{x}/{-y}.png

я нарезал схему с 1 по 11 зум, получилась папка размером 1,11 Гб, на это ушло примерно 2 суток. Вот такое будет в JOSM:

Схема после привязки

После чего возникла проблема - рисовать можно, но... на схеме нет подписей наименований наслегов. Есть валидатор, и можно попытаться сопоставить по населенным пунктам (которые еще надо отметить)... но нашелся сайт http://naslegy.ru/ и стало проще угадывать - что я тут нарисовал.
Еще есть хитрость в том, что есть "Межселенная территория" - которая как я понял, иногда отмечают как "национальный (кочевой) наслег", а иногда - никак.

Собственно к чему это я: могу поделится архивом тайлов, т.к. в ближайшее время рисовать помногу не получится.

P.S. решил попробовать Яндекс.Диск (реферал) - если хотите, помогите накрутить дополнительные 10 Гб

"Схема границ особоохраняемых природных территорий.jpg" - 32 Мб
Архив тайлов для локального TMS - 457 Мб

Location: улица Орджоникидзе, Якутск, городской округ Якутск, Республика Саха (Якутия), Дальневосточный федеральный округ, 677000, Российская Федерация

Диванные маппинг-пати

Posted by Xmypblu on 29 June 2012 in Russian (Русский)

Что-то меня пробило и я решил организовать и предложить сделать их регулярными.

После обновления Бинга, хайрез появился у многострадальной Коломны, с нее и начну. Дальше - подготовлю еще пирогов, у меня на примете 4-5 небольших городов, но надо посмотреть - как пойдет...

[proposal] Регулярные (еженедельные) диванные маппинг-пати

Пирог Коломны

P.S. Есть еще генплан и Я.Панорамы Коломны

Location: улица Ленина, Коломна, городской округ Коломна, Московская область, Центральный федеральный округ, 140408, Российская Федерация

Малая Курильская гряда

Posted by Xmypblu on 19 June 2012 in Russian (Русский)

Персональный мини-проект "Хабомаи"

Решил остановится и сделать паузу в маппинге региона, и заодно написать промежуточный мини-отчет о проделанной работе. Тем более сейчас произошло обновление снимков Bing... не самое удачное, теперь домики не порисуешь на Шикотане.

О чем речь:

Острова Малой Курильской гряды:
    Остров Шикотан
        Остров Айвазовского
        Остров Грига
        Остров Девятый Вал
        Остров Дальний
        Остров Средний
    Остров Зелёный
    Остров Полонского
    Остров Танфильева
    Остров Юрий
    Остров Анучина
    Острова Дёмина
    Острова Осколки
        Скала Кира
        Скала Пещерная
        Скала Парус
        Скала Свеча
        Острова Лисьи
        Острова Шишки
    Банка Опасная
        Остров Сторожевой
        Скала Осыхающая
        Остров Рифовый
        Остров Сигнальный
    Скала Удивительная
    Скала Чайка

Вид из самолета, со стороны Японии, на острова Малой Курильской гряды - на горизонте едва виден Шикотан
Вид из самолета, со стороны Японии, на острова Малой Курильской гряды - на горизонте едва виден Шикотан.
фото с сайта

Однажды, в студеную зимнюю пору...

После появления снимков OrbView-3 зимой и недели мучений с QGIS & gdal, решил заняться Малой Курильской грядой (они же Хабомаи + Шикотан). Практически все острова входят в заказник «Малые Курилы», поэтому решил ограничится гражданскими объектами (все Курилы - погранзона) и уделить особое внимание гидрографии (NB: никогда больше так не заморачиваться). К этому региону я давно присматриваюсь - видимо у меня тяга к островам, на которые никогда не попаду. Там есть хайрез Бинга, но кусками... недостающие куски были найдены у OrbView-3.
Из обитаемых островов там только Шикотан с примерно 2100 жителями (данные из wikipedia) в двух поселках. Остальные острова считаются необитаемыми, хотя там есть погранзаставы.

Почти на всех островах есть старые японские кладбища, и только на нескольких сохранились строения тех времен. Кладбища японцы посещают регулярно - есть межправительственное соглашение, но найти в рунете официальные маршруты и координаты мест посещений, мне не удалось. Зато видел на Flickr фото-отчет японца о поездке на остров Танфильева он там с группой посетили 2 кладбища, попутно снимая все вокруг, нарушая и подрывая нашу секретность и боеготовность.

смотровая вышка

православная церквушка

вид на мыс Зоркий
Источник фото

Незнание английского и/или японского не позволило связаться с автором - уточнить, что и где снималось и попросить отметить места посещений. Сами они, видимо из принципа, ничего отмечать и рисовать на этих островах в OSM или где-то еще - не будут.

Книги:

В процессе поиска информации о регионе, генпланов и схем территориального планирования, натыкался на упоминание разных книг про острова. Некоторые нашел, в основном на рутрекере, например:

другие книги вышли малым тиражом или слишком дороги... и в сети не найдено :

  • С.Д.Гальцева-Безюка "Топонимический словарь Сахалинской области".
  • "Атлас Курильских островов" ( эксклюзивное подарочное издание + CD-ROM ) - продавался по цене 45-50 т.руб.
  • "Маяки Сахалина и Курильских островов" И. А. Самарин - тираж 1000 экз., видимо весь тираж остался в библиотеках Сахалина.

Фото:

Кстати о маяках... пара фоток:

"Маяк Шпанберга в тумане. Мыс Краб. О. Шикотан 1975г."
Координаты: Мыс Краб. о. Шикотан

"Маяк на острове Сигнальный"
фото с сайта

Много интересного можно найти на Panoramio, Flickr и Яндекс.Фотках. Да и простой поиск картинок в гугле, приносит порой неожиданное :) и интересное. Жалко что народ зажимает (или не знает как делится) фотки и не закачивает на вики-склад под свободной лицензией.

Видео:

еще есть пара интересных видео на рутрекере:

В последнем кстати, была высказана мысль - "туризм развивать нужно, но лично я - против, вдруг все испортят" (хм... напомнило руосм)

Статьи и рассказы:

Через поиск в гугл, легко найти отчеты туристов посещавших Шикотан и рассказы служивших там пограничников. Отчет Темы Лебедева, видимо самый известный. В нескольких рассказах упоминается "генштаб", и что его постоянно пытаются "изъять" или тупо стянуть у туристов.

"Не генштаб" © по данным на 08.06.12:

По моей просьбе Runge сделал рендер региона со своим стилем MapSurfer.net - это не "генштаб" конечно... но "эту схему" можно довести до уровня "полезной для туристов". Все в наших руках ;) .

"Остров Шикотан"
Координаты: о. Шикотан 18000x14400px 13,4 Мб (примерно 16-17 zoom)

"Малая Курильская гряда"
Координаты: М.Курилы 18000x13000px 5,68 Мб

Используйте как хотите, только копирайты оставьте:

© OpenStreetMap contributors, CC BY-SA
© Maxim Rylov and GIScience Research Group, Heidelberg University

скажу "спасибо" если рендеры попадут на вики-склад

Если кому нужны данные OpenStreetMap Сахалинской области в формате Shape и PostGIS : брать на GIS-Lab

Кстати, у Яндекс.Карт - Малой Курильской гряды нет с 8 зума (из 10 возможных)... как-то не патриотично, все-таки люди там живут и трудятся :) если ели консервы сайры и горбуши - стопудово из тех мест.

Немного статистики:

На 06.06.12 отрисованные острова составляют 33,5% от данных Сахалинской области, за 3 месяца в 1 лицо - было нарисовано примерно 254999 точек, 10969 линий, 382 отношений, из них 2,5 месяца ушло на гидрографию Шикотана. Считаю, что отрисовал примерно ~40% из возможного. Двое суток (~47 часов) ушло только на нарезку 7 снимков Orbview-3 на тайлы с 5 по 18 зум, в итоге получилось 7,3 Гб которые занимают на диске 9,5 Гб (win xp). Все это "богатство" подключаю к JOSM как TMS при помощи nginx.

Ошибок и ляпов - наверняка много, а за некоторые вещи позже будет стыдно. Даже во время написания этого текста - заметил пару глупых ошибок. Если присмотреться, на разных островах - разная детализация, это я оценивал как трудно/нудно рисовать с помощью разных настроек, плагинов и устройств (тестировал wacom - не пошло) и как "это" будет выглядеть... короче - учился. К сожалению, с морскими обозначениями, так толком и не разобрался. Увидел у англичан и японцев обозначения проливов в виде отрезков рек или ручьев... и сделал так же. Да, "под рендер" - и мне стыдно.

Что дальше:

Из-за частых землетрясений, есть проблема в определении статуса зданий Шикотана (особенно после землетрясений в 1994 и 2005(?) годах). Тут без знаний местных или часто посещающих остров - трудно разобрать. Сидя в Москве и разглядывая спутниковые снимки, непонятно - руины, жилое здание или общежитие для сезонных рабочих, которые могут выглядеть как заброшенные здания, просто заброшенные здания - тоже вроде есть. Тем более что в последние годы, как пишут в СМИ там активно строят, а снимки не первой свежести. Использовались спутниковые снимки Шикотана - OrbView-3 (Acquisition Date: 21-DEC-06), Bing (15.06.05 - 21.05.06).

Так как требуется помощь местных жителей, чтобы указать на ошибки и глупости, попытаюсь на этой неделе связаться с региональными новостными сайтами. Если их заинтересует такой информационный повод... то есть шанс доделать адресацию, расположение и границы улиц и статус домов с помощью "Персональных карт" на http://osm.org.ru ,

"Персональные карты"

а в простых случаях - через OpenStreetBugs (как пользоваться).

Была идея - снова зарегистрироваться в соц.сетях и там вылавливать народ из нужного региона и задавать наводящие вопросы... но пока поищу из проекта, кто уже там зарегистрирован.

Вдруг есть люди, которым интересна социальная составляющая OSM больше, чем маппинг? Ау!

P.S. спасибо (по алфавиту) участникам проекта - без них трудностей было бы на порядок больше : Alexandr Zeinalov, Alno, Miroff, Runge, Scondo, sim, Vadim Zudkin
P.P.S. программа-минимум персонального мини-проекта "Хабомаи"- выполнена, с чистой совестью пошел покупать Diablo III.

Location: Южно-Курильский городской округ, Сахалинская область, Дальневосточный федеральный округ, Российская Федерация

Мысли вслух

Posted by Xmypblu on 18 July 2011 in Russian (Русский)

В процессе обсуждения со знакомым, как правильно описать словами или текстом "где, что, когда?" в городе и/или в чистом поле, возникла идея.

Что если, отметив маркером место на карте (или маршрут), и выбрав из списка "значимые" ориентиры (здания, улицы, остановки, лавочки, урны и т.п.), радиус охвата и детализацию описания - "по магическому кошачьему алгоритму" ;) создавать текстовое описание "места происшествия" или "как пройти" ...

Как пример:
сумка найдена напротив офисного здания по ул. Кукуева д.13, в 3 метрах от мусорной урны в сторону арки дома 10 по той же улице и в 10-15 метрах от автобусной остановки "Школа"
[Скопировать в уголовное дело][Мне повезет и новое описание будет проще]

А если это, да прикрутить к TED (http://habrahabr.ru/blogs/sound_and_music/120953/) или чему-то подобному - будет забавно и просто составлять виртуальные экскурсии. Описания для объектов, можно брать например из вики или локальной базы, вики. А если трафик до базы и карты, а в идеале и звонок на номер виртуального экскурсовода будет бесплатный + определение координат по GPS или по сотовым вышкам... и для любого города - престижная услуга для туристов, инвалидов, да и простых граждан. Имея только сотовый - в чужом городе, на любом языке, туристическая и другая информация с возможностью вызова оператора в сложных случаях... останется только следить за уровнем зарядки батареи.

Жаль, что такое возможно только в "странах вероятного противника".

Фото дня (09.07.11)

Posted by Xmypblu on 11 July 2011 in Russian (Русский)

Не знаю, насколько легально, но фото меня вдохновило на отрисовку острова.
Спас-Каменный с высоты птичьего полета
«Спас-Каменный с высоты птичьего полета»

Намного интересней, как это фото сделано - с воздушного змея.
В альбоме автора есть фото частей этого устройства: редуктор из частей 2-х игрушек, вращает кронштейн на котором закреплены 2-е мыльницы (Canon?), которые перепрошиты и снимают с частотой 1 кадр в секунду. Устройство делает один оборот за 30 секунд.

редуктор

Специально для панорам у него есть сайт http://tour3d.ru/

Попытался связаться с автором, но его видимо "накрыло вниманием"... попробую позже.

P.S. интересно, в этом году из тех кто на форуме пишет о сборке авиамодели - сделает серию снимков?
P.P.S. змей купить чтоли....

Location: Устьянское сельское поселение, Усть-Кубинский район, Вологодская область, Северо-Западный федеральный округ, Российская Федерация

Holux m-241 в Москве

Posted by Xmypblu on 30 June 2011 in Russian (Русский)

Внезапно, после долгих поисков и раздумий покупки б/у модели, стал владельцем нового даталоггера Holux m-241 ( www.holux.com )

Не знаю почему, но эту модель в Москве не продают... вообще. А тут на вопрос - "а можно как-то помочь в приобретении?" получил ответ на следующий день - "легко, но придется подождать поставки - мы уже заказали партию". На лицо гибкость небольших интернет-магазинов. Больше десяти магазинов покрупнее - тупо проигнорировали мои вопросы. В общем, кому интересно: www.gpsoff.su - молодцы ребята и доставка у них оперативная, удачи им. Да, там у них еще в продаже Holux m-241c - модель без bluetooth(зеленая)

Хотя модель и не новая, но все, что мне хотелось - есть. Так сказать "сбылась мечта идиота", память на 130000 точек и кнопка для POI, и ЖК дисплей (подсветка при нажатии кнопок), и работа от 1 пальчиковой (АА) батарейки 12-15 часов(надо точнее проверить), usb + bluetooth, многовсяких режимов записи (например запись точки каждые 1/5/10/15/30/60/120 секунд, и т.п.), даже значения высоты записывает (ну с погрешностью, ну и что? для идиота-неофита это неважно ;).

Минусы тоже есть, куда без них... самый главный минус - хлипкий крепеж крышки батарейного отсека, такое ощущение при открытии, что прям сейчас отвалится и сразу потеряется. Не герметичен. Походил по району меж домов и под кронами деревьев (типа в лесу/парке) - трек уводит на север.

В общем есть чем поиграться на выходных... поэтому вопрос:

в Москве народ встречается для картографирования или каждый сам по себе и сборы только в других городах?

Older Entries | Newer Entries