Intelligent Computational Representation of Urban Imagery

HUANG Yingjing; ZHANG Fan; LI Yong; WU Lun; LIU Yu

doi:10.13203/j.whugis20240472

您当前的位置：

首页 >

文章列表页 >

Intelligent Computational Representation of Urban Imagery

更新时间：2026-11-05

- Intelligent Computational Representation of Urban Imagery
- Geomatics and Information Science of Wuhan University Vol. 51, Issue 1, Pages: 22-31(2026)
- 作者机构：
  
  1.北京大学地球与空间科学学院遥感与地理信息系统研究所，北京，100871
  2.香港科技大学土木及环境工程学系，香港，999077
- 作者简介：
- 基金信息：
- DOI：10.13203/j.whugis20240472
  CLC： P208;P237
- Received：22 March 2025，
  
  Published：05 January 2026
- 稿件说明：
移动端阅览
黄颖菁,张帆,李勇，等.城市影像的智能计算表征[J].武汉大学学报（信息科学版）,2026,51(1):22-31.

HUANG Yingjing,ZHANG Fan,LI Yong,et al.Intelligent Computational Representation of Urban Imagery[J].Geomatics and Information Science of Wuhan University,2026,51(1):22-31.
黄颖菁,张帆,李勇，等.城市影像的智能计算表征[J].武汉大学学报（信息科学版）,2026,51(1):22-31. DOI：10.13203/j.whugis20240472

HUANG Yingjing,ZHANG Fan,LI Yong,et al.Intelligent Computational Representation of Urban Imagery[J].Geomatics and Information Science of Wuhan University,2026,51(1):22-31. DOI：10.13203/j.whugis20240472

摘要

城市影像能够详尽刻画城市物理环境，支持从全球到微观层面的多尺度分析。基于高效的特征工程方法，从庞大且复杂的城市影像像素数据中提取高层次语义特征，用于模式识别和决策支持，一直是城市研究的重要方向。相较于传统的语义要素表征，表示学习支持下的计算表征方法能够从城市影像中学习高维深度特征，这些特征不仅提炼了更丰富的城市语义与结构信息，还促进了多模态数据的融合和更精准、更鲁棒的城市模型的构建。特别地，基于自监督学习的智能计算表征，能够在无需标注数据的情况下自动编码与城市任务相关的关键信息，进一步提升了城市影像分析的自动化水平。通过探讨城市影像智能计算表征的特点、发展历程及其可解释性，发现该方法有望显著提升城市智能化分析能力，从而为城市研究、规划、管理和可持续发展提供更精准的决策支持。

Abstract

Objectives

Urban imagery

including high-resolution remote sensing imagery and street view imagery

provides a detailed representation of the physical environment of cities. It enables multi-scale analysis ranging from global perspectives to microscopic details. Extracting high-level semantic features from the vast and complex pixel data of urban imagery for applications in pattern recognition and decision-making support has long been a critical focus in urban studies.

Methods

Traditional approaches

which progress from handcrafted shallow features like color histograms to semantic element representations

are often insufficient. These methods are limited by expert knowledge and fail to capture deep attributes or complex spatial relationships inherent in urban environments. In response

computational representation methods supported by representation learning can extract high-dimensional deep features from urban imagery. These features not only capture richer urban semantic and structural information but also facilitate more effective multimodal data integration by reducing semantic conflicts

thereby enabling the development of more accurate and robust urban models. Unlike handcrafted features

these computational representations are inherently data-driven and learn directly from the intrinsic structure and patterns within the raw data itself. Notably

intelligent computational representations based on self-supervised learning (SSL) stand out as a critical solution to the data-labeling bottleneck. Given the massive scale of urban imagery and the prohibitively high cost of manual annotation

which often suffers from inconsistent quality

SSL advances the automation of urban imagery analysis by learning powerful representations from the data's own intrinsic properties

requiring no labeled datasets. We believe that the most effective SSL representations

moving beyond generic augmentations which are ill-suited for complex urban tasks

must be task-centric. This is achieved by autonomously encoding key information by designing specialized pretext tasks. These tasks utilize the unique attributes and structure of urban imagery to systematically learn distinct representations

such as isolating time-invariant features by ignoring dynamic elements for location recognition

versus capturing ambient socio-economic and cultural semantics for regional-level prediction tasks.

Results

We explore the characteristics

evolutionary trajectory

and interpretability of these intelligent computational representations. Given that deep features often lack explicit semantic meaning

we emphasize interpretability analysis as essential for validating the effectiveness of the encoding process and understanding what information has been encoded. We discuss a two-fold approach: (1) Revealing the semantic content within features using methods like SemAxis or visualizing clustering and separation patterns in low-dimensional space via T-SNE and PacMap. (2) Discovering the model's focus using visualization techniques like Grad-CAM and Attention Maps to understand which image regions are critical for a decision.

Conclusions

Consequently

these advancements offer more precise support for urban research

planning

and sustainable development. We also highlight future opportunities and challenges

including: (1) Developing robust multimodal alignment to bridge the gap between areal remote sensing features and point-based street view representations. (2) Integrating visual features with large language models (LLM) to summarize complex urban concepts

facts

and opinions. (3) Addressing the fundamental "black box" nature of deep features to advance AI for Science.

关键词

Keywords

references

李德仁 . 脑认知与空间认知：论空间大数据与人工智能的集成［J］. 武汉大学学报（信息科学版）， 2018 ， 43 （ 12 ）： 1761 - 1767 .

LI Deren . Brain Cognition and Spatial Cognition： On Integration of Geo‑Spatial Big Data and Artificial Intelligence ［J］. Geomatics and Information Science of Wuhan University ， 2018 ， 43 （ 12 ）： 1761 - 1767 .

李德仁，沈欣 . 论基于实景影像的城市空间信息服务：以影像城市·武汉为例［J］. 武汉大学学报（信息科学版）， 2009 ， 34 （ 2 ）： 127 - 130 .

LI Deren ， SHEN Xin . Geo‑Spatial Urban Information Services Based on Real Image： Take Image City·Wuhan as an Example ［J］. Geomatics and Information Science of Wuhan University ， 2009 ， 34 （ 2 ）： 127 - 130 .

涂伟，曹劲舟，高琦丽，等 . 融合多源时空大数据感知城市动态［J］. 武汉大学学报（信息科学版）， 2020 ， 45 （ 12 ）： 1875 - 1883 .

TU Wei ， CAO Jinzhou ， GAO Qili ， et al . Sensing Urban Dynamics by Fusing Multi‑sourced Spatiotemporal Big Data ［J］. Geomatics and Information Science of Wuhan University ， 2020 ， 45 （ 12 ）： 1875 - 1883 .

ZHANG F ， SALAZAR-MIRANDA A ， DUARTE F ， et al . Urban Visual Intelligence： Studying Cities with Artificial Intelligence and Street‑Level Imagery ［J］. Annals of the American Association of Geographers ， 2024 ， 114 （ 5 ）： 876 - 897 .

BILJECKI F ， ITO K . Street View Imagery in Urban Analytics and GIS： A Review ［J］. Landscape and Urban Planning ， 2021 ， 215 ： 104217 .

LOWE D G . Object Recognition from Local Scale-Invariant Features ［C］// The 7th IEEE International Conference on Computer Vision ， Kerkyra， Greece ， 2002 .

DALAL N ， TRIGGS B . Histograms of Oriented Gradients for Human Detection ［C］// IEEE Computer Society Conference on Computer Vision and Pattern Recognition ， San Diego， USA ， 2005 .

邵振峰，孙悦鸣，席江波，等 . 智能优化学习的高空间分辨率遥感影像语义分割［J］. 武汉大学学报（信息科学版）， 2022 ， 47 （ 2 ）： 234 - 241 .

SHAO Zhenfeng ， SUN Yueming ， XI Jiangbo ， et al . Intelligent Optimization Learning for Semantic Segmentation of High Spatial Resolution Remote Sensing Images ［J］. Geomatics and Information Science of Wuhan University ， 2022 ， 47 （ 2 ）： 234 - 241 .

李彦胜，张永军 . 耦合知识图谱和深度学习的新一代遥感影像解译范式［J］. 武汉大学学报（信息科学版）， 2022 ， 47 （ 8 ）： 1176 - 1190 .

LI Yansheng ， ZHANG Yongjun . A New Paradigm of Remote Sensing Image Interpretation by Coupling Knowledge Graph and Deep Learning ［J］. Geomatics and Information Science of Wuhan University ， 2022 ， 47 （ 8 ）： 1176 - 1190 .

龚健雅，张展，贾浩巍，等 . 面向多源数据地物提取的遥感知识感知与多尺度特征融合网络［J］. 武汉大学学报（信息科学版）， 2022 ， 47 （ 10 ）： 1546 - 1554 .

GONG Jianya ， ZHANG Zhan ， JIA Haowei ， et al . Multi-source Data Ground Object Extraction Based on Knowledge-Aware and Multi‑scale Feature Fusion Network ［J］. Geomatics and Information Science of Wuhan University ， 2022 ， 47 （ 10 ）： 1546 - 1554 .

FAN Z Y ， ZHANG F ， LOO B P Y ， et al . Urban Visual Intelligence： Uncovering Hidden City Profiles with Street View Images ［J］. Proceedings of the National Academy of Sciences of the United States of America ， 2023 ， 120 （ 27 ）： e2220417120 .

GEBRU T ， KRAUSE J ， WANG Y L ， et al . Using Deep Learning and Google Street View to Estimate the Demographic Makeup of Neighborhoods Across the United States ［J］. Proceedings of the National Academy of Sciences of the United States of America ， 2017 ， 114 （ 50 ）： 13108 - 13113 .

CORDTS M ， OMRAN M ， RAMOS S ， et al . The Cityscapes Dataset for Semantic Urban Scene Understanding ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Las Vegas， USA ， 2016 .

ROS G ， SELLART L ， MATERZYNSKA J ， et al . The SYNTHIA Dataset： A Large Collection of Synthetic Images for Semantic Segmentation of Urban Scenes ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Las Vegas， USA ， 2016 .

BENGIO Y ， COURVILLE A ， VINCENT P . Representation Learning： A Review and New Perspectives ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2013 ， 35 （ 8 ）： 1798 - 1828 .

FENG S S ， CONG G ， AN B ， et al . POI2Vec： Geographical Latent Representation for Predicting Future Visitors ［C］// The 31st AAAI Conference on Artificial Intelligence ， San Francisco， USA ， 2017 .

ZHAI W ， BAI X Y ， SHI Y ， et al . Beyond Word2vec： An Approach for Urban Functional Region Extraction and Identification by Combining Place2vec and POIs ［J］. Computers， Environment and Urban Systems ， 2019 ， 74 ： 1 - 12 .

JANOWICZ K ， GAO S ， MCKENZIE G ， et al . GeoAI： Spatially Explicit Artificial Intelligence Techniques for Geographic Knowledge Discovery and Beyond ［J］. International Journal of Geographical Information Science ， 2020 ， 34 （ 4 ）： 625 - 636 .

高松 . 地理空间人工智能的近期研究总结与思考［J］. 武汉大学学报（信息科学版）， 2020 ， 45 （ 12 ）： 1865 - 1874 .

GAO Song . A Review of Recent Researches and Reflections on Geospatial Artificial Intelligence ［J］. Geomatics and Information Science of Wuhan University ， 2020 ， 45 （ 12 ）： 1865 - 1874 .

LI W W ， HSU C Y . GeoAI for Large‑Scale Image Analysis and Machine Vision： Recent Progress of Artificial Intelligence in Geography ［J］. ISPRS International Journal of Geo‑Information ， 2022 ， 11 （ 7 ）： 385 .

DUBEY A ， NAIK N ， PARIKH D ， et al . Deep Learning the City： Quantifying Urban Perception at a Global Scale ［C］// The 14th European Conference on Computer Vision ， Amsterdam， Netherlands ， 2016 .

ZHANG Z L ， ZHAO T C ， GUO Y L ， et al . RS5M and GeoRSCLIP： A Large Scale Vision-Language Dataset and a Large Vision‑Language Model for Remote Sensing ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2024 ， 62 ： 1 - 23 .

MANS LARSSON M ， STENBORG E ， HAMMARSTRAND L ， et al . A Cross‑Season Correspondence Dataset for Robust Semantic Segmentation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Long Beach， USA ， 2019 .

TOWNSHEND J ， JUSTICE C ， LI W ， et al . Global Land Cover Classification by Remote Sensing： Present Capabilities and Future Possibilities ［J］. Remote Sensing of Environment ， 1991 ， 35 （ 2/3 ）： 243 - 255 .

XIE Y C ， SHA Z Y ， YU M . Remote Sensing Imagery in Vegetation Mapping： A Review ［J］. Journal of Plant Ecology ， 2008 ， 1 （ 1 ）： 9 - 23 .

TUCKER C J . Red and Photographic Infrared Linear Combinations for Monitoring Vegetation ［J］. Remote Sensing of Environment ， 1979 ， 8 （ 2 ）： 127 - 150 .

ZHANG X Y ， DU S H ， WANG Q . Integrating Bottom-up Classification and Top‑Down Feedback for Improving Urban Land‑Cover and Functional-Zone Mapping ［J］. Remote Sensing of Environment ， 2018 ， 212 ： 231 - 248 .

SETO K C ， FRAGKIAS M ， GÜNERALP B ， et al . A Meta‑Analysis of Global Urban Land Expansion ［J］. PLoS One ， 2011 ， 6 （ 8 ）： e23777 .

ANGUELOV D ， DULONG C ， FILIP D ， et al . Google Street View： Capturing the World at Street Level ［J］. Computer ， 2010 ， 43 （ 6 ）： 32 - 38 .

NEUHOLD G ， OLLMANN T ， BULÒ S R ， et al . The Mapillary Vistas Dataset for Semantic Understanding of Street Scenes ［C］// IEEE International Conference on Computer Vision ， Venice， Italy ， 2017 .

GOEL R ， GARCIA L M T ， GOODMAN A ， et al . Estimating City‑Level Travel Patterns Using Street Imagery： A Case Study of Using Google Street View in Britain ［J］. PLoS One ， 2018 ， 13 （ 5 ）： e0196521 .

LI X J ， ZHANG C R ， LI W D ， et al . Assessing Street‑Level Urban Greenery Using Google Street View and a Modified Green View Index ［J］. Urban Forestry & Urban Greening ， 2015 ， 14 （ 3 ）： 675 - 685 .

SUN M R ， ZHANG F ， DUARTE F ， et al . Understanding Architecture Age and Style Through Deep Learning ［J］. Cities ， 2022 ， 128 ： 103787 .

ZHOU B L ， LAPEDRIZA A ， XIAO J X ， et al . Learning Deep Features for Scene Recognition Using Places Database ［C］// The 28th International Conference on Neural Information Processing Systems ， Montreal， Canada ， 2014 .

TIGHE J ， NIETHAMMER M ， LAZEBNIK S . Scene Parsing with Object Instance Inference Using Regions and Per‑exemplar Detectors ［J］. International Journal of Computer Vision ， 2015 ， 112 （ 2 ）： 150 - 171 .

WANG J J ， ZHENG Z ， MA A L ， et al . LoveDA： A Remote Sensing Land‑Cover Dataset for Domain Adaptive Semantic Segmentation ［C］// The 25th Neural Information Processing Systems Track on Datasets and Benchmarks ， Online ， 2021 .

ZHOU B L ， LAPEDRIZA A ， KHOSLA A ， et al . Places： A 10 Million Image Database for Scene Recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 6 ）： 1452 - 1464 .

HOU Y J ， QUINTANA M ， KHOMIAKOV M ， et al . Global Streetscapes： A Comprehensive Dataset of 10 Million Street‑Level Images Across 688 Cities for Urban Science and Analytics ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2024 ， 215 ： 216 - 238 .

JEAN N ， BURKE M ， XIE M ， et al . Combining Satellite Imagery and Machine Learning to Predict Poverty ［J］. Science ， 2016 ， 353 （ 6301 ）： 790 - 794 .

ZHANG F ， ZHOU B L ， LIU L ， et al . Measuring Human Perceptions of a Large‑Scale Urban Region Using Machine Learning ［J］. Landscape and Urban Planning ， 2018 ， 180 ： 148 - 160 .

HE K ， CHEN X ， XIE S ， et al . Masked Autoencoders Are Scalable Vision Learners ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Louisiana， USA ， 2022 .

HE K M ， FAN H Q ， WU Y X ， et al . Momentum Contrast for Unsupervised Visual Representation Learning ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， USA ， 2020 .

LI T ， XIN S D ， XI Y X ， et al . Predicting Multi-level Socioeconomic Indicators from Structural Urban Imagery ［C］// The 31st ACM International Conference on Information & Knowledge Management ， Atlanta， USA ， 2022 .

LIAO C ， HU H ， YUAN X K ， et al . BCE-Net： Reliable Building Footprints Change Extraction Based on Historical Map and Up‑to‑Date Images Using Contrastive Learning ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2023 ， 201 ： 138 - 152 .

STALDER S ， VOLPI M ， BÜTTNER N ， et al . Self-Supervised Learning Unveils Urban Change from Street‑Level Images ［J］. Computers， Environment and Urban Systems ， 2024 ， 112 ： 102156 .

AYUSH K ， UZKENT B ， MENG C L ， et al . Geography‐Aware Self‑Supervised Learning ［C］// IEEE/CVF International Conference on Computer Vision ， Online ， 2021 .

MAÑAS O ， LACOSTE A ， GIRO‑I‑NIETO X ， et al . Seasonal Contrast： Unsupervised Pre‑training from Uncurated Remote Sensing Data ［C］// IEEE/CVF International Conference on Computer Vision ， Online ， 2021 .

LI Y ， HUANG Y J ， ZHANG F . Learning Street View Representations Based on a Spatiotemporal Contrastive Learning Framework ［J］. Computers， Environment and Urban Systems ， 2026 ， 125 ： 102393 .

LIU Y ， ZHANG X ， DING J T ， et al . Knowledge-Infused Contrastive Learning for Urban Imagery-Based Socioeconomic Prediction ［C］// The ACM Web Conference ， Austin， USA ， 2023 .

LI T ， XI Y X ， WANG H D ， et al . Learning Representations of Satellite Imagery by Leveraging Point-of-Interests ［J］. ACM Transactions on Intelligent Systems and Technology ， 2023 ， 14 （ 4 ）： 1 - 32 .

AN J S ， KWAK H ， AHN Y Y . SemAxis： A Lightweight Framework to Characterize Domain‑Specific Word Semantics Beyond Sentiment ［C］// The 56th Annual Meeting of the Association for Computational Linguistics ， Melbourne， Australia ， 2018 .

MAATEN L ， HINTON G . Visualizing Data Using t-SNE ［J］. Journal of Machine Learning Research ， 2008 ， 9 （ 86 ）： 2579 - 2605 .

WANG Y F ， HUANG H Y ， RUDIN C ， et al . Understanding How Dimension Reduction Tools Work： An Empirical Approach to Deciphering t-SNE， UMAP， TriMAP， and PaCMAP for Data Visualization ［J］. Journal of Machine Learning Research ， 2021 ， 22 （ 1 ）： 9129 - 9201 .

ZHANG Y ， LI Y ， ZHANG F . Multi‑level Urban Street Representation with Street‑View Imagery and Hybrid Semantic Graph ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2024 ， 218 ： 19 - 32 .

SELVARAJU R R ， COGSWELL M ， DAS A ， et al . Grad-CAM： Visual Explanations from Deep Networks via Gradient‑Based Localization ［J］. International Journal of Computer Vision ， 2020 ， 128 （ 2 ）： 336 - 359 .

ZHANG F ， WU L ， ZHU D ， et al . Social Sensing from Street‑Level Imagery： A Case Study in Learning Spatio‑Temporal Urban Mobility Patterns ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2019 ， 153 ： 48 - 58 .

MUHTAR D ， ZHANG X L ， XIAO P F . Index Your Position： A Novel Self‑Supervised Learning Method for Remote Sensing Images Semantic Segmentation ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2022 ， 60 ： 4411511 .

CHEFER H ， GUR S ， WOLF L . Transformer Interpretability Beyond Attention Visualization ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Nashville， USA ， 2021 .

HOU C ， ZHANG F ， LI Y ， et al . Urban Sensing in the Era of Large Language Models ［J］. The Innovation ， 2025 ， 6 （ 1 ）： 100749 .

HUANG Y J ， ZHANG F ， GAO Y ， et al . Comprehensive Urban Space Representation with Varying Numbers of Street‑Level Images ［J］. Computers， Environment and Urban Systems ， 2023 ， 106 ： 102043 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Rethinking the Authority of Remote Sensing News and Its Risk Governance in the AIGC Era

Functional Zoning and Architectural Color Differentiation in Shanghai Historic and Cultural Conservation Area from Dual Spatial and Temporal Perspectives

Thoughts on Smart Nautical Charts

Intelligent Change Detection Method and Application Based on Wuhan-1 Satellite Imagery

Three-State Fusion Support Problem of Marine Geographic Information for Ship Navigation

Related Author

ZHANG Xinchang

QI Ji

SHI Tiandong

CUI Hao

SHENG Haocheng

LI Shuang

Related Institution

School of Geography and Remote Sensing, Guangzhou University

College of Geography and Remote Sensing Sciences, Xinjiang University

School of Geosciences and Info⁃Physics, Central South University

State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University

Center for Historical Geographical Studies,Fudan University

AI问答

⁰