Наши клиенты задают самые разные вопросы, охватывающие весь спектр работы с ГИС и геоданными.
Это может быть что угодно начиная с простых вопросов, например, как составить карту или как собрать первичные данные с помощью мобильных инструментов, до более продвинутых тем, таких как анализ и визуализация пространственных данных.
Часто в геоаналитику и в пространственный анализ приходят эксперты из аналитики данных и business intelligence, и они задают интересный вопрос: «Можно ли использовать BI-системы для пространственного анализа?». Также во многих компаниях давно внедрены BI-решения с поддержкой карт. Поэтому перед тем, как решиться на приобретение ещё одного инструмента для аналитики, нужно точно понимать, что именно это даст. Может оказаться, что все задачи компании решаются и в BI-системах (или даже в специализированных надстройках Excel), и специализированные системы не потребуются.
В целом интуитивно понятно, что пространственные данные имеют дополнительную сложность по сравнению с непространственными. А BI-инструменты создавались для анализа данных, которые не являются пространственными по своей природе.
А в частностях мы решили разобраться в этой статье. Мы подробно рассмотрим, какие возможности и недостатки есть у систем бизнес-аналитики (BI) при использовании их для пространственного анализа, а также выясним, какие задачи можно успешно решать с помощью BI-систем, а для чего потребуются специализированные геоаналитические системы.
История развития анализа геоданных в BI-системах
Чтобы понять разницу между возможностями BI и ГИС в пространственном анализе, попробуем посмотреть на пересечение их функций на примере таких популярных BI-систем, как Tableau и Power BI.
Во многих табличных отчётах есть элементы местоположения — названия городов и областей, адреса, почтовые индексы, координаты и другие. Показать такие данные на карте — понятное желание.
Согласитесь, данные на карте справа представлены чуть интереснее, чем в табличке слева (хотя это одни и те же данные о работе магазинов в разных местах).
Поэтому карты всегда были частью BI-платформ. Сначала это были простые карты с возможностью отображения точек или значений (например, объём продаж в магазинах сети). Со временем возможности работы с пространственными данными постепенно развивались, и сегодня во многих BI-решениях есть разные операции для пространственного анализа и несколько типов карт.
В BI-системах можно легко создать карты, не слишком углубляясь в пространственный анализ и предиктивную аналитику.
В целом обе системы позволяют примерно один и тот же набор возможностей для визуализации и анализа геоданных, и немного отличаются по функциям. Обычно говорят, что Power BI прост в использовании (особенно для тех, кто знаком с другими продуктами Microsoft), а Tableau — более гибкий и предлагает больше типов карт и возможностей работы с несколькими слоями данных на одной карте.
Что умеют BI в части пространственного анализа: интерактивные карты и базовые пространственные функции
В BI-системах представлены инструменты для базового пространственного анализа, включая измерение расстояний и определение буферных зон вокруг точки.
Также BI-системы позволяют объединять данные из разных источников, например, сопоставить местоположения школ с городскими районами, или дорожную сеть и автобусные остановки.
Рассмотрим подробнее, что умеют системы BI в области геоаналитики.
Пространственные функции в BI-системах
Пространственные функции позволяют выполнять разные операции и объединять пространственные файлы с данными в других форматах (текстовые или excel-файлы и другие).
Рассмотрим набор пространственных функций на примере Tableau.
- AREA: Вычисляет площадь полигона.
- BUFFER: Создаёт буферную область вокруг точки.
- DISTANCE: Измеряет расстояние между двумя точками.
- INTERSECTS: Определяет, пересекаются ли два пространственных объекта.
- MAKELINE: Создаёт линейный объект из точек.
- MAKEPOINT: Создаёт точечный объект на основе широты и долготы.
- LENGTH: Измеряет длину линейного объекта.
- OUTLINE: Извлекает границу пространственного объекта.
- SHAPETYPE: Определяет тип пространственного объекта.
Источники пространственных данных для BI-систем
В BI-системах поддерживаются самые распространённые форматы пространственных данных: Shapefiles, KML (Keyhole Markup Language), GeoJSON, TopoJSON, а также Esri File Geodatabases и MapInfo таблицы. Также можно преобразовать текстовые данные, содержащие координаты данные из csv или xls, в пространственные данные. Например, в Tableau для такого преобразования используется MAKEPOINT.
Кроме этого, эти системы также поддерживают различные форматы баз данных, в том числе реляционные и noSQL, и предлагают интеграцию с разными веб-сервисами.
Все типы пространственных данных должны сопровождаться информацией о системе координат (CRS).
Картографическая основа и геокодирование
В Power BI используется Bing Maps и Azure Maps, а в Tableau — OpenStreetMap, Google Map и другие.
Обе системы обеспечивают возможности геокодирования и добавления географических данных на карты, с различными уровнями функциональности. О том, что такое геокодирование, можно посмотреть в нашей статье здесь.
Создание интерактивных тематических карт
BI-системы предлагают широкие возможности по настройке карт, включая цветовые схемы и подписи, а также создание интерактивных тематических карт.
Tableau начиная с версии 2020.4 обеспечивает возможность наложения нескольких слоёв данных из разных источников на одну карту.
Перечислим основные типы карт, которые используются в BI-системах.
Карты распределения точек (Dot Maps). Показывают точки данных, представляющие конкретные данные в разных местоположениях, например, распределение предприятий или случаев заболевания. Пример карты в Tabeau (там она называется Point distribution map).
Карты пузырьков (Bubble Maps). Похожи на точечные карты, но с варьируемым размером пузырьков в зависимости от количественных показателей, таких как объём продаж. Также могут быть отображены значения нескольких аналитических параметров для каждого элемента. Например, объём продаж может быть представлен с использованием размера символа, диапазон прибыльности категории продуктов — цвета, а наиболее популярные продукты — типа символа. Пример такой карты в Tableau (там она называется Proportional symbol map).
Хороплеты (Choropleths). Используют цвета для представления данных внутри географических областей, например, для сравнения плотности населения или результатов опросов в разных регионах. Могут строиться по предопределённым областям (страны, области, штаты, города, районы и другие) или по областям, которые заданы пользователем (например, территории продаж или экологические зоны). В первом случае эти карты называются Filled Maps, а во втором — Shaped Maps.
Изоплеты (Isopleths). Отображают данные независимо от границ, по контурам или областям интереса. Этот тип карт позволяет видеть постепенные изменения, происходящие на карте из-за отсутствия строгих границ.
Тепловые карты (Heat Maps). Показывают плотность или интенсивность данных в регионах с помощью градиентов цвета.
Spider и Flow Maps. Иллюстрируют связи и перемещения между географическими объектами, например, маршруты пассажирских перевозок.
Дополнительные карты для Power BI. Включают различные картографические решения, доступные на Маркетплейсе Microsoft, включая карты движения и потоков (Карта маршрутов и Карта потоков), трёхмерные карты (Панели данных Globe и Карта Globe), детализированные карты (Choropleth с детализацией, Картограмма с детализацией и Drill Down Map PRO), кастомизируемые карты (Icon Map) и отраслевые приложения.
Мы посмотрели, что могут BI-системы в пространственном анализе. На первый взгляд, не так уж и мало. Теперь давайте разберёмся, чего не хватает.
Функциональные ограничения BI-систем в пространственном анализе
Мы увидели, что инструменты BI подходят для решения задач базовой визуализации геоданных и построения различных интерактивных карт с ограничениями по объёму обрабатываемых данных.
Поэтому если для ваших проектов этого достаточно, то дальше можно не читать.
Но если вы делаете что-то более сложное, то давайте поймём, какие ограничения есть при решении типовых задач пространственного анализа в BI.
Если вы не сталкивались с пространственными данными ранее, то нужно уточнить, что на первый взгляд они похожи на «обычные» непространственные данные, которые можно просматривать в табличном виде. Однако пространственные данные отличаются от обычных данных своей способностью представлять географические местоположения и отношения.
Основные отличия включают географическую привязку, пространственная зависимость и неоднородность, а также топологические отношения.
Мы написали о пространственном анализе в статье Пространственный анализ: как смотреть на данные и видеть больше.
Поэтому в этой публикации не будем повторять описание концепций и методов пространственного анализа, а только перечислим основные инструменты, которые используются для анализа данных с учётом пространственной составляющей.
Эти функции или совсем отсутствуют в BI-системах, или имеют ограничения.
Конечно, если задаться целью, то можно постараться интегрировать BI-систему с ГИС-инструментами или использовать скрипты на языках R или Python для выполнения операций пространственного анализа. Вопрос целесообразности и особенностей такого решения вынесем за пределы этой публикации.
Также не будем останавливаться здесь на существующих коммерческих и открытых интеграционных продуктах BI и ГИС (Mapbox для Tableau, ArcGIS для Power BI и др.).
Не поддерживается анализ растровых данных
BI-системы обычно ограничены обработкой векторных данных и не поддерживают обработку растровых данных, таких как спутниковые изображения, аэрофотоснимки или цифровые модели рельефа.
Картометрические функции представлены частично
Системы BI предлагают базовые картометрические функции, полезные для простого пространственного анализа.
К ним относятся вычисления площадей полигонов и длины линии, создание буферных зон вокруг точки, измерение расстояний между двумя точками, проверка пересечений и создание точек из координат и линий из точек.
Пример вычисления площади полигона в Tableau
Пример создания линии в Tableau
Однако BI-системы обычно не справляются с более сложными картометрическими задачами и моделированием поверхностей, такими как вычисление углов наклона, зон видимости и невидимости, освещённости или точных измерений поверхности, учитывающих форму поверхности Земли. Для выполнения этих функций требуются специализированные ГИС-системы.
Это делает инструменты BI менее эффективными для решения множества задач пространственного анализа.
Трёхмерное моделирование и анализ
Создание и анализ трёхмерных моделей на основе пространственных данных, часто используется в геологии и градостроительстве и других отраслях, и тоже недоступны в BI-решениях.
Интерполяция
BI-системы могут включать в себя инструменты для создания гладких линейных трендов на графиках. Однако для выполнения пространственной интерполяции требуются специализированные ГИС-системы.
Существуют различные методы интерполяции (триангуляция Делоне, кригинг (kriging), обратное взвешенное расстояние (IDW — Inverse Distance Weighted), метод естественных соседей (Natural Neighbor), Сплайн (Spline)), которые поддерживаются в специализированных ГИС и не поддерживаются в BI-системах.
Пример применения интерполяции измерений силы сигнала сотовой связи можно посмотреть в кейсе.
Определение зон близости (диаграммы Вороного)
Создать диаграмму Вороного (диаграмму Дирихле или полигоны Тиссена) можно в различных ГИС-системах, которые предлагают готовые встроенные инструменты для этого (например, в QGIS функций так и называется Полигоны Вороного). BI-системы такую возможность, как правило, не предоставляют.
На рисунке — диаграмма Вороного.
Пример использования диаграмм Вороного в проекте определения местоположения базовых станций сотовых операторов можно посмотреть в кейсе.
Создание буферных зон
Формирование новых областей (полигонов), границы которых находятся на заданном расстоянии от исходных объектов. Например, вокруг водоёма можно создать буферную зону, которая будет представлять водоохранную зону или санитарно-защитную зону. В BI-решениях буферные зоны строятся вокруг точек (на примере Tableaue это функция BUFFER).
Однако часто встречаются ситуации, когда нужно создать буферные зоны вокруг линий или полигонов. Например, для выявления областей, подверженных шумовому воздействию вдоль автомобильных дорог или для создания защитных зон вокруг природных заповедников. Такой возможности в BI-решениях нет.
Оверлейные операции
Этот метод позволяет решать различные задачи, например, узнать, находится ли определённая точка внутри заданной территории (полигона); проверить, проходит ли какая-либо линия (например, дорога) через эту территорию; определить, как две разные территории перекрываются или входят друг в друга; убрать границы между смежными территориями одного типа для создания единой области или объединить однотипные объекты в один большой объект; определить точки, где линия (например, река) касается других объектов; выявить перекрытия и пересечения.
Инструменты наложения широко используются в проектах пространственного анализа и реализованы в ГИС-системах, а в BI-системах представлены частично.
Сетевой анализ
Подробно мы описали методы сетевого анализа в публикации Сетевой анализ: где ГИСы встречаются с математикой.
В рамках сетевого анализа решаются задачи поиска ближайшего объекта, вычисления оптимального маршрута и стоимости выполнения маршрута, построение изохрон и многие другие, требующие анализа графа дорог и других сетевых моделей. Решение этих задач не поддерживается в BI.
Пространственные индексы
В BI-системах недоступны специализированные методы пространственной индексации (H3, S2 и другие), используемые для ускорения пространственных запросов в больших наборах геоданных.
В BI-системах для агрегирования данных может использоваться функция Hexbin (получение координат и объединение их в шестиугольные ячейки). Размер шестиугольников настраивается, и шестиугольники могут совпадать с используемой картографической проекцией. Ячейки Hexbin поддерживают многие распространённые операции, такие как поиск соседей и расстояний по сетке. Однако у Hexbin много недостатков и есть ограничения на количество ячеек данных и степень детализации отображения данных на картах.
Например, используемые Hexbin идентификаторы полезны только в конкретной сетке Hexbin и не переносятся в другую сетку, что ограничивает их возможность использования для объединения наборов данных. Идентификаторы ячеек Hexbin не являются иерархическими, поэтому сопоставление данных при разных разрешениях сетки затруднено. Также Hexbin ограничены проекционной системой, поверх которой они создаются. Обычно это приводит к разрывам по краям выступов, например, в меридиане или на полюсах.
Пространственная статистика
BI-решения могут легко справиться с расчётом среднего арифметического, медианы или моды для наборов непространственных данных.
Но когда речь заходит о наборах пространственных данных, то BI не подойдёт. К пространственным статистическим показателям относятся: средний центр (для определения среднего местоположения точек), медианный центр (минимизирует расстояние до всех точек), центральный объект (находит физически ближайшую точку к другим), стандартное расстояние (измеряет разброс точек относительно среднего центра) и подобные.
Корреляционный анализ
В большинстве BI-систем можно проводить корреляционный анализ с помощью коэффициентов Пирсона, Кендалла, Спирмена. В некоторых случаях они подойдут и для пространственных данных. Но для выявления пространственной корреляции нужны специализированные статистические методы, такие как индекс Морана I, Getis-Ord G, Geary C, недоступные в большинстве BI-решений.
Регрессионный анализ
Так же, как и в непространственных задачах, регрессионные модели используются для анализа и прогнозирования данных.
Методы регрессионного анализа, такие как МНК (метод наименьших квадратов) и другие, могут применяться к пространственным и пространственно-временным данным точно так же, как они применяются для прогнозирования новых наблюдений в непространственных задачах.
Однако, в случае, если в данных есть пространственная автокорреляция, эти методы приведут к ошибочным результатам.
В непространственном статистическом анализе предполагается, что каждое наблюдение независимо от других. Однако наличие пространственной автокорреляции не соответствует этому предположению. Когда данные автокоррелированы, наблюдения не являются полностью независимыми.
В этом случае рекомендуется использовать методы, учитывающие пространственную зависимость, например, ГВР (географическую взвешенную регрессию).
Многие BI-системы обычно включают в себя встроенные инструменты МНК, а ГВР не поддерживают.
Пространственная кластеризация
Методы пространственной кластеризации используются для решения задач улучшения доступности до центра кластера, выделения однородных и максимально отличающихся друг от друга регионов, деления территории на минимальное число зон для достижения определённых метрик. Используются методы, такие как K-средних для географических данных, DBSCAN, и иерархическая кластеризация с пространственными ограничениями, которые помогают в решении этих задач, учитывая пространственные связи и географическое расположение объектов.
Недостаточный уровень детализации для специализированных отраслевых приложений
Для некоторых специализированных применений, таких как экологическое моделирование, геологический анализ или урбанистическое планирование и многие другие, BI-системы могут не предоставлять необходимого уровня детализации, производительности и специализированных инструментов анализа.
Для подготовки данных нужны внешние инструменты
Первое ограничение заключается в отсутствии в BI-системах встроенных инструментов для подготовки данных.
До начала анализа выполняется отбор данных на основе их однородности и достоверности. Затем следует этап очистки данных, где неактуальные данные удаляются или отфильтровываются. После очистки данных их форматируют и преобразуют для моделирования, учитывая новые атрибуты или изменения. Далее выполняется преобразование данных в единый формат для последующего использования в инструментах бизнес-аналитики.
Поэтому для отбора, очистки и преобразования данных придётся использовать внешние инструменты (например, Alteryx), или Python (например, GeoPandas, NumPy). Это предполагает дополнительные расходы, ограничения и необходимость в привлечении аналитиков и дата-инженеров.
Ограничения производительности BI-систем в проектах пространственного анализа
При работе с большими объёмами геоданных в BI-системах возникают проблемы с производительностью, особенно при визуализации данных. BI-системы не могут отобразить множество точек или сложные полигоны.
Давайте рассмотрим эти ограничения.
Под большими наборами данных здесь мы будем понимать те наборы данных, которые слишком большие:
- для размещения в рабочей памяти;
- для размещения на локальном жёстком диске;
- для загрузки в локально управляемую инфраструктуру (например, подключённое к сети хранилище.
Эти три категории могут (на сегодняшний день) очень приблизительно соответствовать наборам данных размером в гигабайт, терабайт и петабайт.
Основная причина низкой производительности BI при работе с большими данными: операции выполняются в памяти
Основное ограничение BI-систем связано с тем, что они обрабатывают и анализируют данные в оперативной памяти. Это означает, что данные, используемые для визуализации и анализа, хранятся и обрабатываются в памяти приложения, будь то на компьютере или сервере пользователя или в облачном сервисе.
Собственные пространственные функции BI-инструмента (например, пространственное соединение или пересечение) тоже выполняются в памяти. Это значит, что скорость выполнения всех пространственных функций, которые можно использовать для анализа, также напрямую зависят от доступного объёма памяти.
Это приводит к тому, что когда объём данных начинает превышать возможности памяти (например, при попытке визуализации миллиона точек на карте), пользователи могут столкнуться с задержками или даже невозможностью отображения данных.
Традиционно BI-инструменты не хранят никаких данных, а извлекают их из внешних источников (от excel-файлов до хранилищ данных). Поэтому с увеличением объёма данных их способность обрабатывать информацию ограничена вычислительной мощностью устройства или сервера.
Это ключевой аспект, который следует учитывать при работе с большими объёмами данных в BI-инструментах.
И это причина № 1, почему не следует использовать инструменты бизнес-аналитики для пространственного анализа. В определённый момент производительность начнёт снижаться, поскольку у BI-систем есть доступ только к тем вычислительным ресурсам или процессорам, на которых они установлены.
Ограничено количество объектов для визуализации на карте
Существуют ограничения на визуализацию общего количества объектов, которые вы можете отобразить на карте. Пользователи Power BI достигли предела в 35 тыс. объектов, а в Tableau он приближается к 65 тыс. объектов.
Другие примеры технических сложностей, обсуждаемых на форумах
Совместимость географических проекций. Пользователи BI-систем могут столкнуться с трудностями при использовании различных географических проекций.
Например, для создания Shape Maps в Power BI нужно преобразовать данные в формат TopoJSON. Это становится проблематичным, когда исходные данные представлены в проекциях, не поддерживаемых в BI-системе. Или преобразовать Eastings и Northings в широту и долготу, используя код EPSG.
Такие преобразования могут потребовать применения инструментов перепроецирования в специализированных ГИС-системах или с использованием других внешних инструментов для подготовки данных.
Точность геокодирования. В Power BI геокодирование выполняется геокодером Bing Maps. Он может неточно работать с адресами и координатами за пределами США и Западной Европы.
В Tableau процесс геокодирования также может быть сложным, подобный этому, или требовать использования внешних геокодеров.
Ограничения при работе со сложными геометриями. Power BI имеет ограничения размера текстового представления многоугольников. Если текстовая строка, описывающая многоугольник, превышает 32 767 символов, Power BI автоматически «обрезает» её.
Ограничения на количество точек для визуализации на карте
Что предлагают ГИС и специализированные геоаналитические платформы
Скорость анализа и визуализации больших данных
Когда вы достигаете предела в инструментах бизнес-аналитики, нужна система, которая использует все возможности базы данных или хранилища данных.
Построение систем для анализа и визуализации больших объёмов данных предполагает использование двух уровней архитектуры:
1.Облачное хранилище данных. Современные геоаналитические платформы, включая Epsilon On Point, используют вычислительные мощности облачных хранилищ, а также развивают приложения для визуализации и анализа больших объёмов пространственных данных.
В таких системах облачные хранилища данных выступают в качестве основного ресурса для хранения и обработки данных, обеспечивают масштабируемость и высокую скорость обработки. Часто используются и GPU-ускоренные базы данных, которые предлагают ещё более высокую скорость (хотя такие решения пока остаются значительно более дорогими).
2.Прикладной уровень для визуализации больших объёмов пространственных данных. Задача визуализации таких больших данных решается с применением технологии тайлинга карт. Это позволяет быстро загружать и показывать на картах большие наборы данных. Пользователи могут динамически изменять запросы к хранилищу данных. Запросы обрабатываются в облачных хранилищах, что позволяет быстро обрабатывать даже очень большие запросы.
Тайлинг карт
Когда дело касается обработки больших геоданных в BI-системах, возникают проблемы производительности, особенно при работе с большими файлами GeoJSON, содержащими исходные данные. Эти файлы могут быть настолько объёмными (достигая сотен мегабайт), что замедляют работу с картами или даже делают её невозможной.
В ГИС-системах данные отображаются напрямую из источника только до определённого предела (порядка нескольких десятков МБ или сотен тысяч элементов). Для визуализации данных сверх этого ограничения используется метод тайлинга карт.
Тайлинг карты – это метод, при котором большая карта делится на много дискретных маленьких частей (плиток). Этот подход впервые применили в Google во время разработки Google Maps. Вместо того чтобы каждый раз при перемещении или масштабировании пользователя «рендерить» всю карту, карта делится на множество небольших фрагментов.
Поскольку загружаются только те участки карты, которые видит пользователь, это ускоряет прокрутку карты, снижает задержки в загрузке и нагрузку на сервер.
Эту технологию обычно иллюстрируют в виде пирамиды, где карта рисуется с постепенным увеличением масштаба, и в самом уменьшенном масштабе используется меньшее количество плиток.
Технология тайлинга также адаптирует отображаемые данные к масштабу. Например, при просмотре карты мира нет необходимости показывать все дороги, поэтому они не отображаются.
В ГИС и системах геоанализа тайлы генерируются в хранилище данных. Этот процесс использует вычислительные мощности самого́ хранилища данных. Такой подход исключает необходимость переноса данных в другое место, что помогает сэкономить ресурсы. Кроме того, он позволяет хранилищу оставаться единственным источником достоверной информации, обеспечивая целостность данных.
No-code workflow для пространственного анализа
Инструменты workflow для пространственного анализа разрабатываются так, чтобы пользователи могли выполнять сложные пространственные вычисления в хранилище данных, не написав ни одной строчки кода.
Основная идея таких инструментов — сделать так, чтобы пространственный анализ могли проводить не только профессиональные команды data science, но и эксперты без навыков программирования.
Workflow предлагает понятный no-code интерфейс и возможность настройки процессов под конкретные проекты и задачи.
Пользователи запускают встроенные no-code инструменты для выполнения конкретных пространственных функций (например, геокодирование, расчёт зон охвата, расчёт оптимальных маршрутов и многие другие), и могут сразу просматривать результаты выполнения каждой операции и выполнять отладку на каждом шаге. Также поддерживается интеграция с разными источниками данных, включая данные сторонних поставщиков и их визуализацию, что позволяет быстро обогащать данные.
Модули workflow работают в среде облачного хранилища данных. Это значит, что пользователи могут выполнять пространственную аналитику с сохранёнными данными без необходимости экспортировать или перемещать их в отдельный инструмент для анализа. Это основная причина высокой производительности системы при работе с геоданными.
Такие возможности можно найти только в профессиональных геоаналитических платформах. BI-системы в этом направлении пока не развиваются.
Заключение
BI-инструменты имеют ограничения при работе с данными большого объёма. По мере увеличения размера пространственных данных эти инструменты становятся неэффективными, и всё больше и больше времени и финансов будет тратиться на обеспечение работы этих систем.
Использование хранилища данных, а также системы, которая может поддерживать пространственный анализ и визуализацию больших данных, принесёт пользу аналитической работе и освободит больше времени аналитикам данных для работы над решением следующих масштабных сложных аналитических задач.
BI-системы, хотя и могут создавать карты, лучше всего подходят для быстрого отображения базовых слоёв геоданных. Они идеальны для простых задач визуализации. Однако, когда речь идёт о более сложных пространственных данных и задачах, таких как пространственный анализ или прогнозирование, здесь на первый план выходят специализированные ГИС-инструменты с поддержкой искусственного интеллекта.
