ISSN 0016-7126 (Print)
ISSN 2587-8492 (Online)
Аннотация:
Статья посвящена разработке сквозной методики преобразования слабоструктурированных пространственных данных в стандартизированные геопространственные продукты. Актуальность исследования обусловлена проблемой интеграции гетерогенной информации, которой свойственны слабая структурная организация, разнородные форматы координат, полиморфные атрибутивные характеристики. Предложен комплексный подход на базе скриптовых средств обработки, включающий формализацию математического аппарата на основе теории множеств, создание алгоритмов парсинга и нормализации данных, а также построение многоэтапного технологического конвейера. Разработаны специализированные алгоритмы для транслитерации атрибутов, агрегации данных по территориальному принципу, парсинга разноформатных координат и интеграции с эталонными геопространственными слоями. Метод реализован в виде программного комплекса на языке программирования Python и апробирован в рамках создания геоинформационной системы мониторинга геомагнитной обстановки, базирующейся на веб-технологиях доступа к данным. Решение обеспечивает автоматизацию процессов обработки, исключение субъективных ошибок и генерацию готовых слоев в формате GeoJSON, пригодных для анализа и визуализации в средах современных геоинформационных систем
Исследование выполнено за счет гранта Российского научного фонда № 25-21-00143 (https://rscf.ru/project/25-21-00143/).
Список литературы:
| 1. Гвишиани А. Д., Добровольский М. Н., Дзеранов Б. В., Дзебоев Б. А. Большие данные в геофизике и других науках о Земле // Физика Земли. – 2022. – № 1. – С. 3–34. DOI: 10.31857/S0002333722010033. |
| 2. Кароль А. Д., Титюнников А. В., Бессчетнов А. В. Методы территориализации: картографическое исследование // Проблемы науки. – 2019. – № 5 (41). – С. 44–49. |
| 3. Невзорова О. А., Хакимуллин Р. Р., Идрисов И. И. Цифровая научная платформа «Агрегатор неструктурированных геолого-промысловых данных»: архитектура и базовые модели извлечения данных // Георесурсы. – 2023. – № 4. – С. 149–162. DOI: 10.18599/grs.2023.4.13. |
| 4. Черкасов А. А., Махмудов Р. К., Сопнев Н. В. Пространственный анализ городов и агломераций: интеграция технологий ГИС и Big Data // Наука. Инновации. Технологии. – 2021. – № 4. – С. 95–112. DOI: 10.37493/2308-4758.2021.4.6. |
| 5. Alam M., Uz Z. K., Miraz M. (2025) AstuteRAG-FQA: Task-Aware Retrieval-Augmented Generation Framework for Proprietary Data Challenges in Financial Question Answering // Annals of Emerging Technologies in Computing. 9, 5, pp. 13–31. |
| 6. Aiken P., Thebault ≈., Beggan C. D. et al. (2021) International Geomagnetic Reference Field: the thirteenth generation // Earth Planets Space . 73 (49), DOI: 10.1186/s40623-020-01288-x. |
| 7. Bagirova L. F., Quliyeva N. C., Ibrahimova I. Q. (2023) Elements of set theory and new methods of their study // Colloquium-journal. 28 (187), pp. 21–23. DOI: 10.24412/2520-6990-2023-28187-21-23. |
| 8. Bill R., Blankenbach J., Breunig M. et al. (2022) Geospatial Information Research: State of the Art, Case Studies and Future Perspectives // PFG – Journal of Photogrammetry, Remote Sensing and Geoinformation Science. 90, pp. 349–389. DOI: 10.1007/s41064-022-00217-9. |
| 9. Fosci P., Psaila G. (2023) Soft Querying Features in GeoJSON Documents: The GeoSoft Proposal // International Journal of Computational Intelligence Systems. 16 (1), DOI: 10.1007/s44196-023-00325-3. |
| 10. Gjerloev J. W. (2012) The SuperMAG data processing technique // Journal of Geophysical Research. 117, A09213, DOI: 10.1029/2012JA017683. |
| 11. Iwashokun O., Ade-Ibijola A. (2024) Parsing of Research Documents into XML Using Formal Grammars // Applied Computational Intelligence and Soft Computing. 6671359, DOI: 10.1155/2024/6671359. |
| 12. Ji X., Cao Y., Zhang J., Zhao X. (2025) STSE: Spatio-temporal state embedding for knowledge graph completion // Knowledge-Based Systems. 317, 113469, DOI: 10.1016/j.knosys.2025.113469. |
| 13. Jin Y., Chen D., Zhu H., Xie M. (2025) An efficient knowledge graph storage framework with adaptive query processing and online updating // World Wide Web. 28 (6), DOI: 10.1007/s11280-025-01384-6. |
| 14. Nahrstedt F., Karmouche M., Bargieł K., Banijamali P., Kumar A. N. P., Malavolta I. (2024) An Empirical Study on the Energy Usage and Performance of Pandas and Polars Data Analysis Python Libraries. Proceedings of the 28th International Conference on Evaluation and Assessment in Software Engineering (EASE `24) Association for Computing Machinery, New York, USA, pp. 58–68. DOI: 10.1145/3661167.3661203. |
| 15. Newell P. T., Gjerloev J. W. (2011) Evaluation of SuperMAG auroral electrojet indices as indica-tors of substorms and auroral power // Journal of Geophysical Research. 116, A12211, DOI: 10.1029/2011JA016779. |
| 16. Stefanakis E. (2002) Representation of Map Objects with Semi-Structured Data Models // Advances in Spatial Data Handling. Springer, Berlin, Heidelberg, pp. 547–562. DOI: 10.1007/978-3-642-56094-1_40. |
| 17. Stockus A., Bouju A., Bertrand F., Boursier P. (1999) Integrating GPS data within embedded Internet GIS // Proceedings of the 7th ACM international symposium on Advances in geographic information systems (GIS `99). pp. 34–139. DOI: 10.1145/320134.320168. |
| 18. Teyssier J.-P., de Groote F., Mayeret M., Schlemko P., Rumantsev A., Khutko V., Gesche R., Doerner R. (2007) The XML file format as a general solution for measurement data storage and exchange // 69th ARFTG Conference. Honolulu, HI, USA: IEEE. DOI: 10.1109/ARFTG.2007.5456319. |
| 19. Vorobev A., Vorobeva G. (2018) Inductive Method of Geomagnetic Data Time Series Recovering // SPIIRAS Proceedings. 2 (57), pp. 104–133. DOI: 10.15622/sp.57.5. |
| 20. Vorobev A. V., Vorobeva G. R. (2024) An approach to dynamic visualization of heterogeneous geospatial vector images // Computer Optics. 48, 1, pp. 123–138. DOI: 10.18287/2412-6179-CO-1279. |
| 21. Wachs A., Zacharatou E. T. (2024) Analysis of Geospatial Data Loading // Proceedings of the Tenth International Workshop on Testing Database Systems (DBTest `24). Association for Computing Machinery, New York, NY, USA, pp. 36–42. DOI: 10.1145/3662165.3662761. |
| 22. Yuan G., Lu J., Yan Z., Wu S. (2023) A Survey on Mapping Semi-Structured Data and Graph Data to Relational Data // ACM Computing Surveys. 55 (10), pp. 1–38. DOI: 10.1145/3567444. |
Образец цитирования:
| Подход к преобразованию слабоструктурированных данных в тематические геопространственные слои // Геодезия и картография. – 2026. – № 3. – С. 19-30. DOI: 10.22389/0016-7126-2026-1029-3-19-30 |