shp數(shù)據(jù)處理全流程：從字段清洗到空間掛接)
簡介這份資源面向地理信息、城市規(guī)劃與人口統(tǒng)計等方向的學習者和從業(yè)者提供2017年中國縣級行政區(qū)劃的矢量邊界數(shù)據(jù)采用1:100萬比例尺適合大范圍空間分析與制圖實踐。壓縮包共7個文件、約46.33MB以shp主文件承載幾何圖形dbf保存縣名與代碼等屬性prj定義CGS_WGS_1984坐標系sbn、sbx、shx等索引文件加速檢索xml記錄元數(shù)據(jù)配套結(jié)構(gòu)完整可直接在主流GIS軟件中加載使用。已有615人學習下載說明其在教學與項目練習中具有一定參考價值。讀者可借助該數(shù)據(jù)完成行政區(qū)劃底圖制作、人口密度與地形氣候等專題疊加分析并理解Shapefile各組成文件的分工與坐標系統(tǒng)一要點為后續(xù)空間統(tǒng)計與規(guī)劃決策打下數(shù)據(jù)基礎(chǔ)。1. 拿到一份 2017 縣級行政區(qū) shp先別急著往地圖里拖一份標注為 2017 年、覆蓋縣級行政區(qū)劃的 shp 文件落到手里第一件事往往不是打開 QGIS 看效果而是判斷它到底能不能用、該怎么用?；A(chǔ)地理數(shù)據(jù)庫里的縣級行政區(qū)圖層本質(zhì)是一份帶屬性表的矢量面數(shù)據(jù)承載的是行政區(qū)名稱、代碼、幾何邊界三樣東西。它最常見的用途是給統(tǒng)計數(shù)據(jù)做空間掛接、給業(yè)務(wù)系統(tǒng)做底圖、給分析任務(wù)做區(qū)域裁剪。但 2017 這個年份很關(guān)鍵區(qū)劃調(diào)整年年有撤縣設(shè)區(qū)、合并、更名都會讓邊界和代碼對不上今天的口徑。所以真正要問的是三件事——坐標系是什么、屬性字段能不能對上你的業(yè)務(wù)主鍵、幾何有沒有拓撲問題。這篇筆記按我實際處理這類數(shù)據(jù)的順序走一遍從字段結(jié)構(gòu)、坐標轉(zhuǎn)換、入庫掛接到避坑和驗證新手能照著復(fù)現(xiàn)熟手能直接跳到參數(shù)和邊界那幾節(jié)。2. 拆開 shp 看結(jié)構(gòu)字段、編碼與坐標系的三個確認點shp 從來不是單個文件而是一組同名文件的集合。拿到壓縮包先解壓用命令行把目錄列清楚比在圖形界面里點開更可靠因為你能立刻發(fā)現(xiàn)缺了 .prj 或 .dbf 這種致命問題。2.1 先確認文件組是否完整一個能正常讀取的 shapefile 至少要有 .shp幾何、.shx索引、.dbf屬性三個文件.prj投影定義和 .cpg編碼聲明屬于強烈建議存在的補充文件。缺 .prj 意味著坐標系未知缺 .cpg 意味著中文字段可能亂碼。# 列出解壓目錄下所有同名文件組確認完整性 ls -lh ./county_2017/ | awk {print $9, $5} # 期望看到成對出現(xiàn)的 .shp .shx .dbf .prj .cpg這段命令只是把文件名和大小打出來重點看兩件事同名文件是否成套、.dbf 大小是否合理。如果 .dbf 只有幾 KB 而 .shp 有幾十 MB說明屬性表幾乎是空的這種數(shù)據(jù)只能當?shù)讏D用做不了屬性掛接。參數(shù)上沒什么可調(diào)的-lh只是讓人眼可讀awk取第 9 列文件名和第 5 列大小不同系統(tǒng)ls列序略有差異看不準就直接ls -l人工核對。2.2 用 Python 讀出字段清單和坐標系圖形界面能看但批量判斷和留痕要靠代碼。用 geopandas 讀進來先打印 CRS 和字段類型這一步?jīng)Q定了后面所有轉(zhuǎn)換動作。import geopandas as gpd # 讀取時顯式指定編碼中文屬性表常見 GBK/GB18030 gdf gpd.read_file(./county_2017/county_2017.shp, encodinggb18030) print(要素數(shù)量:, len(gdf)) print(坐標系:, gdf.crs) print(字段與類型:) print(gdf.dtypes) print(前兩行屬性:) print(gdf.drop(columnsgeometry).head(2))邏輯說明encoding參數(shù)是這類國內(nèi)基礎(chǔ)地理數(shù)據(jù)最容易翻車的地方默認 UTF-8 讀 GBK 編碼的 .dbf 會拋 UnicodeDecodeError 或讀出亂碼字段名。先試gb18030它兼容 GBK 且覆蓋更全。gdf.crs如果打印出None說明 .prj 缺失或損壞必須手動補坐標系不能靠猜。字段類型里要特別關(guān)注行政區(qū)代碼字段——如果它被讀成 int64前導(dǎo)零會丟比如110101變成110101還好但010101這種就會變成10101掛接時全對不上。2.3 行政區(qū)代碼字段的三種常見命名與清洗不同來源的縣級圖層代碼字段可能叫ADCODE、CODE、XZQDM、AREA_CODE名稱字段可能叫NAME、XZQMC、COUNTY。不要假設(shè)先看實際列名再寫映射。清洗的核心是把代碼統(tǒng)一成 6 位字符串并去掉可能存在的空格。# 按實際列名調(diào)整這里假設(shè)代碼列叫 ADCODE名稱列叫 NAME code_col ADCODE name_col NAME # 統(tǒng)一轉(zhuǎn) 6 位字符串補前導(dǎo)零去空格 gdf[code_col] gdf[code_col].astype(str).str.strip().str.zfill(6) gdf[name_col] gdf[name_col].astype(str).str.strip() # 檢查代碼長度分布異常長度說明數(shù)據(jù)有問題 print(gdf[code_col].str.len().value_counts()) # 正常應(yīng)幾乎全是 6出現(xiàn) 5 或 7 要逐條排查參數(shù)說明zfill(6)是補零的關(guān)鍵astype(str)必須在它之前否則對數(shù)值型補零無效。str.strip()處理的是從 Excel 或數(shù)據(jù)庫導(dǎo)出時混入的首尾空格這類空格肉眼看不見但會讓merge靜默失敗——這是血淚經(jīng)驗里最常見的一類。長度分布打印出來如果出現(xiàn)非 6 位不要急著刪先定位是哪些行往往是某個特殊區(qū)劃或數(shù)據(jù)錄入錯誤。3. 坐標系與投影從地理坐標到可計算面積的轉(zhuǎn)換路徑縣級行政區(qū)數(shù)據(jù)最常見的坐標系是 CGCS2000 地理坐標單位度或某種高斯-克呂格投影單位米。前者適合存儲和展示后者適合算面積、算距離。選錯坐標系不會報錯但會讓面積統(tǒng)計差出幾十倍這是最隱蔽的坑。3.1 判斷當前是地理坐標還是投影坐標看gdf.crs的輸出如果unit是degree就是地理坐標如果是metre就是投影坐標。也可以直接看幾何坐標數(shù)值范圍經(jīng)度在 73 到 135 之間、緯度在 3 到 54 之間基本可判定為地理坐標。# 打印 CRS 詳細信息和幾何范圍 print(gdf.crs.to_string() if gdf.crs else CRS 缺失) print(幾何邊界:, gdf.total_bounds) # 地理坐標下 total_bounds 大致是 [73, 3, 135, 54] 量級如果total_bounds出現(xiàn)幾百萬量級的數(shù)值說明已經(jīng)是投影坐標單位大概率是米。這一步的判斷直接決定下一步要不要做投影轉(zhuǎn)換。注意total_bounds返回的是[minx, miny, maxx, maxy]別把經(jīng)緯順序搞反。3.2 面積計算必須切到等積投影在地理坐標下直接調(diào).area得到的是平方度沒有任何物理意義。正確做法是先投影到適合中國區(qū)域的等積坐標系再算面積。常見選擇是 Albers 等積投影參數(shù)按中國范圍設(shè)定。# 定義中國區(qū)域 Albers 等積投影 albers_crs projaea lat_125 lat_247 lat_00 lon_0105 x_00 y_00 datumWGS84 unitsm no_defs gdf_proj gdf.to_crs(albers_crs) gdf_proj[area_km2] gdf_proj.geometry.area / 1e6 print(gdf_proj[[NAME, area_km2]].sort_values(area_km2, ascendingFalse).head(5))參數(shù)說明lat_1和lat_2是標準緯線取 25 和 47 覆蓋中國大部分緯度帶能壓低面積變形lon_0105是中央經(jīng)線取中國中部經(jīng)度。這套參數(shù)是業(yè)內(nèi)常用配置不是唯一解但對全國尺度統(tǒng)計足夠。/1e6是把平方米轉(zhuǎn)平方公里。如果只做單省分析可以把標準緯線和中央經(jīng)線收窄到該省范圍面積精度會更好。注意to_crs會重算幾何原始gdf不受影響別在轉(zhuǎn)換后的對象上再調(diào)原始字段做混用。3.3 投影轉(zhuǎn)換后的幾何有效性檢查投影轉(zhuǎn)換本身可能放大原本就存在的幾何問題比如自相交、重復(fù)點。轉(zhuǎn)換后必須做一次有效性檢查否則后續(xù)空間疊加會報拓撲錯誤。# 檢查無效幾何并嘗試修復(fù) invalid gdf_proj[~gdf_proj.geometry.is_valid] print(無效幾何數(shù)量:, len(invalid)) if len(invalid) 0: gdf_proj[geometry] gdf_proj.geometry.buffer(0) print(修復(fù)后無效數(shù)量:, (~gdf_proj.geometry.is_valid).sum())buffer(0)是修復(fù)自相交的常用手段原理是把幾何做一次零距離緩沖多數(shù)自相交會被規(guī)整。但它不是萬能藥對嚴重破損的幾何可能產(chǎn)生空幾何或碎片修復(fù)后要再查一次is_valid和is_empty。如果無效數(shù)量占比很高說明源數(shù)據(jù)質(zhì)量差應(yīng)該回到源頭核對而不是硬修。4. 入庫與掛接把縣級行政區(qū)接到業(yè)務(wù)統(tǒng)計表上數(shù)據(jù)清洗完真正的落地動作是入庫和掛接。這一步的目標是讓縣級行政區(qū)圖層能和你的統(tǒng)計表按行政區(qū)代碼一一對上對不上的要能定位原因而不是靠肉眼找。4.1 導(dǎo)出為 GeoPackage 或 PostGIS 的取舍shp 有字段名長度限制10 字符和編碼問題長期使用建議轉(zhuǎn)成 GeoPackage 或直接入 PostGIS。GeoPackage 單文件、無字段名限制、UTF-8 原生適合中小規(guī)模PostGIS 適合多用戶并發(fā)和空間查詢。# 導(dǎo)出 GeoPackage字段名不受 10 字符限制 gdf_proj.to_file(./county_2017.gpkg, layercounty, driverGPKG) # 如需入 PostGIS用 sqlalchemy 引擎 # from sqlalchemy import create_engine # engine create_engine(postgresql://user:passhost:5432/gisdb) # gdf_proj.to_postgis(county_2017, engine, if_existsreplace, indexFalse)參數(shù)說明driverGPKG必須顯式指定否則 geopandas 可能按擴展名推斷失敗。if_existsreplace會覆蓋同名表生產(chǎn)環(huán)境慎用建議先append再校驗。入 PostGIS 前確認目標庫已啟用 PostGIS 擴展否則建表會失敗。字段名在 GeoPackage 里可以保留中文但跨系統(tǒng)交換時仍建議用英文列名加中文別名減少編碼依賴。4.2 按行政區(qū)代碼做左連接并統(tǒng)計匹配率掛接的核心是左連接以業(yè)務(wù)統(tǒng)計表為主表縣級圖層為右表按代碼連接統(tǒng)計匹配率。匹配率低于預(yù)期時問題一定出在代碼格式或區(qū)劃變更上。import pandas as pd # 模擬業(yè)務(wù)統(tǒng)計表代碼為 6 位字符串 stats pd.DataFrame({ ADCODE: [110101, 130102, 310101, 999999], value: [120, 340, 210, 50] }) merged stats.merge( gdf_proj[[ADCODE, NAME, geometry]], onADCODE, howleft ) matched merged[NAME].notna().sum() print(f匹配率: {matched}/{len(merged)}) print(未匹配代碼:, merged.loc[merged[NAME].isna(), ADCODE].tolist())邏輯說明howleft保證業(yè)務(wù)表所有行保留未匹配的NAME為 NaN便于定位。匹配率是判斷數(shù)據(jù)可用性的硬指標低于 95% 就要停下來查。未匹配代碼常見原因有三類業(yè)務(wù)表代碼帶前導(dǎo)零丟失、圖層是 2017 口徑而業(yè)務(wù)表用了新代碼、代碼字段混入了空格或全角字符。逐類排查比盲目重試有效。4.3 區(qū)劃變更導(dǎo)致的代碼對不上怎么處理2017 年的縣級圖層和今天的業(yè)務(wù)數(shù)據(jù)之間必然存在撤縣設(shè)區(qū)、合并更名的情況。處理方式不是改圖層而是建一張代碼映射表把舊代碼映射到新代碼掛接前先過一遍映射。# 維護一張變更映射表舊代碼 - 新代碼 code_map pd.DataFrame({ old_code: [130102, 310101], new_code: [130102, 310101] # 示例占位實際按真實變更填寫 }) stats stats.merge(code_map, left_onADCODE, right_onold_code, howleft) stats[ADCODE] stats[new_code].fillna(stats[ADCODE]) stats stats.drop(columns[old_code, new_code])這張映射表要作為獨立資產(chǎn)維護每次區(qū)劃調(diào)整后更新而不是散落在腳本里。參數(shù)上注意fillna的順序先用新代碼填充沒有映射的保留原代碼這樣不會把未變更的記錄誤改。映射表本身要有來源記錄否則半年后沒人說得清某條映射的依據(jù)。5. 避坑與排查縣級行政區(qū) shp 處理中最容易翻車的五件事5.1 中文屬性亂碼字段名讀出來是問號現(xiàn)象gdf.columns打印出一堆\uXXXX或問號NAME列的值也是亂碼。原因.dbf 的編碼聲明缺失或與 .cpg 不一致geopandas 按默認 UTF-8 解碼 GBK 內(nèi)容。解決讀取時顯式傳encodinggb18030如果仍亂碼用dbfread單獨讀 .dbf 確認原始編碼再決定是否用iconv轉(zhuǎn)碼后重寫 .cpg。不要反復(fù)用不同編碼試讀后直接覆蓋原文件先備份。5.2 面積算出來大得離譜或小得離譜現(xiàn)象某縣面積算出幾十萬平方公里。原因在地理坐標下直接調(diào).area得到的是平方度或者投影參數(shù)的標準緯線設(shè)錯。解決先確認gdf.crs的unit地理坐標必須先to_crs到等積投影再算面積。投影參數(shù)按分析范圍設(shè)定全國尺度用 Albers 標準緯線 25/47單省分析收窄參數(shù)。算完拿幾個已知面積的縣做交叉驗證偏差超過 5% 就回頭查參數(shù)。5.3 merge 之后匹配率莫名很低現(xiàn)象代碼肉眼看著一樣merge后大量 NaN。原因一側(cè)是 int 一側(cè)是 str或一側(cè)帶前導(dǎo)零一側(cè)沒有或混入了不可見空格。解決連接前兩側(cè)都做astype(str).str.strip().str.zfill(6)并在 merge 前各自打印str.len().value_counts()確認長度一致。這類問題不會報錯只能靠匹配率統(tǒng)計發(fā)現(xiàn)所以每次掛接都要打印匹配率別省這一步。5.4 投影轉(zhuǎn)換后幾何報拓撲錯誤現(xiàn)象to_crs后做空間疊加拋TopologyException。原因源數(shù)據(jù)本身有自相交或重復(fù)點投影放大了問題。解決轉(zhuǎn)換后立即做is_valid檢查對無效幾何用buffer(0)修復(fù)修復(fù)后再查is_empty。如果無效比例超過 1%不要硬修回到源數(shù)據(jù)核對硬修出來的邊界可能已經(jīng)偏離實際。5.5 用 2017 數(shù)據(jù)直接對今天的業(yè)務(wù)表現(xiàn)象掛接后某些區(qū)縣永遠匹配不上或匹配上了但邊界明顯不對。原因2017 至今的區(qū)劃調(diào)整沒有處理。解決建代碼映射表掛接前先映射對邊界敏感的分析明確標注數(shù)據(jù)年份不要默認它代表現(xiàn)狀。年份不是元數(shù)據(jù)里的一個裝飾字段它決定了這份數(shù)據(jù)能回答什么問題、不能回答什么問題。6. 驗證與進階用抽樣核對和版本留痕把數(shù)據(jù)用穩(wěn)數(shù)據(jù)能不能信不靠感覺靠可重復(fù)的驗證。我一般會做兩層核對一層是抽樣人工核對挑幾個熟悉的縣把算出的面積和公開的行政區(qū)面積對比另一層是內(nèi)部一致性核對檢查代碼唯一性、幾何是否重疊、名稱是否有重復(fù)。# 內(nèi)部一致性三項檢查 print(代碼重復(fù):, gdf_proj[ADCODE].duplicated().sum()) print(名稱為空:, gdf_proj[NAME].isna().sum()) print(幾何為空:, gdf_proj.geometry.is_empty.sum()) # 抽樣核對取幾個縣打印面積人工比對 sample gdf_proj.sample(5, random_state42)[[NAME, area_km2]] print(sample)duplicated().sum()應(yīng)為 0出現(xiàn)重復(fù)說明同一行政區(qū)有多條記錄掛接時會產(chǎn)生笛卡爾積式的行數(shù)膨脹。is_empty檢查能抓出投影修復(fù)后產(chǎn)生的空幾何。抽樣用固定random_state保證可復(fù)現(xiàn)方便下次對比。進階用法上我習慣把整個處理流程固化成一條可重跑的腳本鏈讀取 → 編碼清洗 → 代碼標準化 → 投影轉(zhuǎn)換 → 有效性修復(fù) → 導(dǎo)出 → 匹配率報告。每一步的輸出都落盤中間產(chǎn)物帶日期后綴這樣任何一次結(jié)果異常都能回溯到具體環(huán)節(jié)。參數(shù)不寫死在代碼里而是集中到一個配置字典投影參數(shù)、編碼、代碼字段名都從配置讀換一批數(shù)據(jù)只改配置不改邏輯。檢查項合格標準不合格時的動作代碼唯一性重復(fù)數(shù)為 0定位重復(fù)記錄確認是否多版本混入代碼長度全部為 6 位逐條排查前導(dǎo)零或錄入錯誤幾何有效性無效占比低于 1%低于閾值修復(fù)超過則回源核對掛接匹配率高于 95%查代碼格式與區(qū)劃變更映射面積抽樣偏差與參考值偏差低于 5%復(fù)查投影參數(shù)與單位換算這張表我每次處理新批次數(shù)據(jù)都會過一遍五項全綠才敢往業(yè)務(wù)里推。最后說個習慣任何一份帶年份的行政區(qū)數(shù)據(jù)我都會在文件名和圖層名里保留年份并在屬性表加一列data_year不是為了好看是為了半年后有人問“這個邊界怎么和現(xiàn)在不一樣”時能一句話說清是數(shù)據(jù)口徑問題而不是處理錯誤。希望幫到你。本文還有配套的精品資源點擊獲取 2017縣級行政區(qū)shp數(shù)據(jù)處理全流程：從字段清洗到空間掛接
簡介這份資源面向地理信息、城市規(guī)劃與人口統(tǒng)計等方向的學習者和從業(yè)者提供2017年中國縣級行政區(qū)劃的矢量邊界數(shù)據(jù)采用1:100萬比例尺適合大范圍空間分析與制圖實踐。壓縮包共7個文件、約46.33MB以shp主文件承載幾何圖形dbf保存縣名與代碼等屬性prj定義CGS_WGS_1984坐標系sbn、sbx、shx等索引文件加速檢索xml記錄元數(shù)據(jù)配套結(jié)構(gòu)完整可直接在主流GIS軟件中加載使用。已有615人學習下載說明其在教學與項目練習中具有一定參考價值。讀者可借助該數(shù)據(jù)完成行政區(qū)劃底圖制作、人口密度與地形氣候等專題疊加分析并理解Shapefile各組成文件的分工與坐標系統(tǒng)一要點為后續(xù)空間統(tǒng)計與規(guī)劃決策打下數(shù)據(jù)基礎(chǔ)。1. 拿到一份 2017 縣級行政區(qū) shp先別急著往地圖里拖一份標注為 2017 年、覆蓋縣級行政區(qū)劃的 shp 文件落到手里第一件事往往不是打開 QGIS 看效果而是判斷它到底能不能用、該怎么用?；A(chǔ)地理數(shù)據(jù)庫里的縣級行政區(qū)圖層本質(zhì)是一份帶屬性表的矢量面數(shù)據(jù)承載的是行政區(qū)名稱、代碼、幾何邊界三樣東西。它最常見的用途是給統(tǒng)計數(shù)據(jù)做空間掛接、給業(yè)務(wù)系統(tǒng)做底圖、給分析任務(wù)做區(qū)域裁剪。但 2017 這個年份很關(guān)鍵區(qū)劃調(diào)整年年有撤縣設(shè)區(qū)、合并、更名都會讓邊界和代碼對不上今天的口徑。所以真正要問的是三件事——坐標系是什么、屬性字段能不能對上你的業(yè)務(wù)主鍵、幾何有沒有拓撲問題。這篇筆記按我實際處理這類數(shù)據(jù)的順序走一遍從字段結(jié)構(gòu)、坐標轉(zhuǎn)換、入庫掛接到避坑和驗證新手能照著復(fù)現(xiàn)熟手能直接跳到參數(shù)和邊界那幾節(jié)。2. 拆開 shp 看結(jié)構(gòu)字段、編碼與坐標系的三個確認點shp 從來不是單個文件而是一組同名文件的集合。拿到壓縮包先解壓用命令行把目錄列清楚比在圖形界面里點開更可靠因為你能立刻發(fā)現(xiàn)缺了 .prj 或 .dbf 這種致命問題。2.1 先確認文件組是否完整一個能正常讀取的 shapefile 至少要有 .shp幾何、.shx索引、.dbf屬性三個文件.prj投影定義和 .cpg編碼聲明屬于強烈建議存在的補充文件。缺 .prj 意味著坐標系未知缺 .cpg 意味著中文字段可能亂碼。# 列出解壓目錄下所有同名文件組確認完整性 ls -lh ./county_2017/ | awk {print $9, $5} # 期望看到成對出現(xiàn)的 .shp .shx .dbf .prj .cpg這段命令只是把文件名和大小打出來重點看兩件事同名文件是否成套、.dbf 大小是否合理。如果 .dbf 只有幾 KB 而 .shp 有幾十 MB說明屬性表幾乎是空的這種數(shù)據(jù)只能當?shù)讏D用做不了屬性掛接。參數(shù)上沒什么可調(diào)的-lh只是讓人眼可讀awk取第 9 列文件名和第 5 列大小不同系統(tǒng)ls列序略有差異看不準就直接ls -l人工核對。2.2 用 Python 讀出字段清單和坐標系圖形界面能看但批量判斷和留痕要靠代碼。用 geopandas 讀進來先打印 CRS 和字段類型這一步?jīng)Q定了后面所有轉(zhuǎn)換動作。import geopandas as gpd # 讀取時顯式指定編碼中文屬性表常見 GBK/GB18030 gdf gpd.read_file(./county_2017/county_2017.shp, encodinggb18030) print(要素數(shù)量:, len(gdf)) print(坐標系:, gdf.crs) print(字段與類型:) print(gdf.dtypes) print(前兩行屬性:) print(gdf.drop(columnsgeometry).head(2))邏輯說明encoding參數(shù)是這類國內(nèi)基礎(chǔ)地理數(shù)據(jù)最容易翻車的地方默認 UTF-8 讀 GBK 編碼的 .dbf 會拋 UnicodeDecodeError 或讀出亂碼字段名。先試gb18030它兼容 GBK 且覆蓋更全。gdf.crs如果打印出None說明 .prj 缺失或損壞必須手動補坐標系不能靠猜。字段類型里要特別關(guān)注行政區(qū)代碼字段——如果它被讀成 int64前導(dǎo)零會丟比如110101變成110101還好但010101這種就會變成10101掛接時全對不上。2.3 行政區(qū)代碼字段的三種常見命名與清洗不同來源的縣級圖層代碼字段可能叫ADCODE、CODE、XZQDM、AREA_CODE名稱字段可能叫NAME、XZQMC、COUNTY。不要假設(shè)先看實際列名再寫映射。清洗的核心是把代碼統(tǒng)一成 6 位字符串并去掉可能存在的空格。# 按實際列名調(diào)整這里假設(shè)代碼列叫 ADCODE名稱列叫 NAME code_col ADCODE name_col NAME # 統(tǒng)一轉(zhuǎn) 6 位字符串補前導(dǎo)零去空格 gdf[code_col] gdf[code_col].astype(str).str.strip().str.zfill(6) gdf[name_col] gdf[name_col].astype(str).str.strip() # 檢查代碼長度分布異常長度說明數(shù)據(jù)有問題 print(gdf[code_col].str.len().value_counts()) # 正常應(yīng)幾乎全是 6出現(xiàn) 5 或 7 要逐條排查參數(shù)說明zfill(6)是補零的關(guān)鍵astype(str)必須在它之前否則對數(shù)值型補零無效。str.strip()處理的是從 Excel 或數(shù)據(jù)庫導(dǎo)出時混入的首尾空格這類空格肉眼看不見但會讓merge靜默失敗——這是血淚經(jīng)驗里最常見的一類。長度分布打印出來如果出現(xiàn)非 6 位不要急著刪先定位是哪些行往往是某個特殊區(qū)劃或數(shù)據(jù)錄入錯誤。3. 坐標系與投影從地理坐標到可計算面積的轉(zhuǎn)換路徑縣級行政區(qū)數(shù)據(jù)最常見的坐標系是 CGCS2000 地理坐標單位度或某種高斯-克呂格投影單位米。前者適合存儲和展示后者適合算面積、算距離。選錯坐標系不會報錯但會讓面積統(tǒng)計差出幾十倍這是最隱蔽的坑。3.1 判斷當前是地理坐標還是投影坐標看gdf.crs的輸出如果unit是degree就是地理坐標如果是metre就是投影坐標。也可以直接看幾何坐標數(shù)值范圍經(jīng)度在 73 到 135 之間、緯度在 3 到 54 之間基本可判定為地理坐標。# 打印 CRS 詳細信息和幾何范圍 print(gdf.crs.to_string() if gdf.crs else CRS 缺失) print(幾何邊界:, gdf.total_bounds) # 地理坐標下 total_bounds 大致是 [73, 3, 135, 54] 量級如果total_bounds出現(xiàn)幾百萬量級的數(shù)值說明已經(jīng)是投影坐標單位大概率是米。這一步的判斷直接決定下一步要不要做投影轉(zhuǎn)換。注意total_bounds返回的是[minx, miny, maxx, maxy]別把經(jīng)緯順序搞反。3.2 面積計算必須切到等積投影在地理坐標下直接調(diào).area得到的是平方度沒有任何物理意義。正確做法是先投影到適合中國區(qū)域的等積坐標系再算面積。常見選擇是 Albers 等積投影參數(shù)按中國范圍設(shè)定。# 定義中國區(qū)域 Albers 等積投影 albers_crs projaea lat_125 lat_247 lat_00 lon_0105 x_00 y_00 datumWGS84 unitsm no_defs gdf_proj gdf.to_crs(albers_crs) gdf_proj[area_km2] gdf_proj.geometry.area / 1e6 print(gdf_proj[[NAME, area_km2]].sort_values(area_km2, ascendingFalse).head(5))參數(shù)說明lat_1和lat_2是標準緯線取 25 和 47 覆蓋中國大部分緯度帶能壓低面積變形lon_0105是中央經(jīng)線取中國中部經(jīng)度。這套參數(shù)是業(yè)內(nèi)常用配置不是唯一解但對全國尺度統(tǒng)計足夠。/1e6是把平方米轉(zhuǎn)平方公里。如果只做單省分析可以把標準緯線和中央經(jīng)線收窄到該省范圍面積精度會更好。注意to_crs會重算幾何原始gdf不受影響別在轉(zhuǎn)換后的對象上再調(diào)原始字段做混用。3.3 投影轉(zhuǎn)換后的幾何有效性檢查投影轉(zhuǎn)換本身可能放大原本就存在的幾何問題比如自相交、重復(fù)點。轉(zhuǎn)換后必須做一次有效性檢查否則后續(xù)空間疊加會報拓撲錯誤。# 檢查無效幾何并嘗試修復(fù) invalid gdf_proj[~gdf_proj.geometry.is_valid] print(無效幾何數(shù)量:, len(invalid)) if len(invalid) 0: gdf_proj[geometry] gdf_proj.geometry.buffer(0) print(修復(fù)后無效數(shù)量:, (~gdf_proj.geometry.is_valid).sum())buffer(0)是修復(fù)自相交的常用手段原理是把幾何做一次零距離緩沖多數(shù)自相交會被規(guī)整。但它不是萬能藥對嚴重破損的幾何可能產(chǎn)生空幾何或碎片修復(fù)后要再查一次is_valid和is_empty。如果無效數(shù)量占比很高說明源數(shù)據(jù)質(zhì)量差應(yīng)該回到源頭核對而不是硬修。4. 入庫與掛接把縣級行政區(qū)接到業(yè)務(wù)統(tǒng)計表上數(shù)據(jù)清洗完真正的落地動作是入庫和掛接。這一步的目標是讓縣級行政區(qū)圖層能和你的統(tǒng)計表按行政區(qū)代碼一一對上對不上的要能定位原因而不是靠肉眼找。4.1 導(dǎo)出為 GeoPackage 或 PostGIS 的取舍shp 有字段名長度限制10 字符和編碼問題長期使用建議轉(zhuǎn)成 GeoPackage 或直接入 PostGIS。GeoPackage 單文件、無字段名限制、UTF-8 原生適合中小規(guī)模PostGIS 適合多用戶并發(fā)和空間查詢。# 導(dǎo)出 GeoPackage字段名不受 10 字符限制 gdf_proj.to_file(./county_2017.gpkg, layercounty, driverGPKG) # 如需入 PostGIS用 sqlalchemy 引擎 # from sqlalchemy import create_engine # engine create_engine(postgresql://user:passhost:5432/gisdb) # gdf_proj.to_postgis(county_2017, engine, if_existsreplace, indexFalse)參數(shù)說明driverGPKG必須顯式指定否則 geopandas 可能按擴展名推斷失敗。if_existsreplace會覆蓋同名表生產(chǎn)環(huán)境慎用建議先append再校驗。入 PostGIS 前確認目標庫已啟用 PostGIS 擴展否則建表會失敗。字段名在 GeoPackage 里可以保留中文但跨系統(tǒng)交換時仍建議用英文列名加中文別名減少編碼依賴。4.2 按行政區(qū)代碼做左連接并統(tǒng)計匹配率掛接的核心是左連接以業(yè)務(wù)統(tǒng)計表為主表縣級圖層為右表按代碼連接統(tǒng)計匹配率。匹配率低于預(yù)期時問題一定出在代碼格式或區(qū)劃變更上。import pandas as pd # 模擬業(yè)務(wù)統(tǒng)計表代碼為 6 位字符串 stats pd.DataFrame({ ADCODE: [110101, 130102, 310101, 999999], value: [120, 340, 210, 50] }) merged stats.merge( gdf_proj[[ADCODE, NAME, geometry]], onADCODE, howleft ) matched merged[NAME].notna().sum() print(f匹配率: {matched}/{len(merged)}) print(未匹配代碼:, merged.loc[merged[NAME].isna(), ADCODE].tolist())邏輯說明howleft保證業(yè)務(wù)表所有行保留未匹配的NAME為 NaN便于定位。匹配率是判斷數(shù)據(jù)可用性的硬指標低于 95% 就要停下來查。未匹配代碼常見原因有三類業(yè)務(wù)表代碼帶前導(dǎo)零丟失、圖層是 2017 口徑而業(yè)務(wù)表用了新代碼、代碼字段混入了空格或全角字符。逐類排查比盲目重試有效。4.3 區(qū)劃變更導(dǎo)致的代碼對不上怎么處理2017 年的縣級圖層和今天的業(yè)務(wù)數(shù)據(jù)之間必然存在撤縣設(shè)區(qū)、合并更名的情況。處理方式不是改圖層而是建一張代碼映射表把舊代碼映射到新代碼掛接前先過一遍映射。# 維護一張變更映射表舊代碼 - 新代碼 code_map pd.DataFrame({ old_code: [130102, 310101], new_code: [130102, 310101] # 示例占位實際按真實變更填寫 }) stats stats.merge(code_map, left_onADCODE, right_onold_code, howleft) stats[ADCODE] stats[new_code].fillna(stats[ADCODE]) stats stats.drop(columns[old_code, new_code])這張映射表要作為獨立資產(chǎn)維護每次區(qū)劃調(diào)整后更新而不是散落在腳本里。參數(shù)上注意fillna的順序先用新代碼填充沒有映射的保留原代碼這樣不會把未變更的記錄誤改。映射表本身要有來源記錄否則半年后沒人說得清某條映射的依據(jù)。5. 避坑與排查縣級行政區(qū) shp 處理中最容易翻車的五件事5.1 中文屬性亂碼字段名讀出來是問號現(xiàn)象gdf.columns打印出一堆\uXXXX或問號NAME列的值也是亂碼。原因.dbf 的編碼聲明缺失或與 .cpg 不一致geopandas 按默認 UTF-8 解碼 GBK 內(nèi)容。解決讀取時顯式傳encodinggb18030如果仍亂碼用dbfread單獨讀 .dbf 確認原始編碼再決定是否用iconv轉(zhuǎn)碼后重寫 .cpg。不要反復(fù)用不同編碼試讀后直接覆蓋原文件先備份。5.2 面積算出來大得離譜或小得離譜現(xiàn)象某縣面積算出幾十萬平方公里。原因在地理坐標下直接調(diào).area得到的是平方度或者投影參數(shù)的標準緯線設(shè)錯。解決先確認gdf.crs的unit地理坐標必須先to_crs到等積投影再算面積。投影參數(shù)按分析范圍設(shè)定全國尺度用 Albers 標準緯線 25/47單省分析收窄參數(shù)。算完拿幾個已知面積的縣做交叉驗證偏差超過 5% 就回頭查參數(shù)。5.3 merge 之后匹配率莫名很低現(xiàn)象代碼肉眼看著一樣merge后大量 NaN。原因一側(cè)是 int 一側(cè)是 str或一側(cè)帶前導(dǎo)零一側(cè)沒有或混入了不可見空格。解決連接前兩側(cè)都做astype(str).str.strip().str.zfill(6)并在 merge 前各自打印str.len().value_counts()確認長度一致。這類問題不會報錯只能靠匹配率統(tǒng)計發(fā)現(xiàn)所以每次掛接都要打印匹配率別省這一步。5.4 投影轉(zhuǎn)換后幾何報拓撲錯誤現(xiàn)象to_crs后做空間疊加拋TopologyException。原因源數(shù)據(jù)本身有自相交或重復(fù)點投影放大了問題。解決轉(zhuǎn)換后立即做is_valid檢查對無效幾何用buffer(0)修復(fù)修復(fù)后再查is_empty。如果無效比例超過 1%不要硬修回到源數(shù)據(jù)核對硬修出來的邊界可能已經(jīng)偏離實際。5.5 用 2017 數(shù)據(jù)直接對今天的業(yè)務(wù)表現(xiàn)象掛接后某些區(qū)縣永遠匹配不上或匹配上了但邊界明顯不對。原因2017 至今的區(qū)劃調(diào)整沒有處理。解決建代碼映射表掛接前先映射對邊界敏感的分析明確標注數(shù)據(jù)年份不要默認它代表現(xiàn)狀。年份不是元數(shù)據(jù)里的一個裝飾字段它決定了這份數(shù)據(jù)能回答什么問題、不能回答什么問題。6. 驗證與進階用抽樣核對和版本留痕把數(shù)據(jù)用穩(wěn)數(shù)據(jù)能不能信不靠感覺靠可重復(fù)的驗證。我一般會做兩層核對一層是抽樣人工核對挑幾個熟悉的縣把算出的面積和公開的行政區(qū)面積對比另一層是內(nèi)部一致性核對檢查代碼唯一性、幾何是否重疊、名稱是否有重復(fù)。# 內(nèi)部一致性三項檢查 print(代碼重復(fù):, gdf_proj[ADCODE].duplicated().sum()) print(名稱為空:, gdf_proj[NAME].isna().sum()) print(幾何為空:, gdf_proj.geometry.is_empty.sum()) # 抽樣核對取幾個縣打印面積人工比對 sample gdf_proj.sample(5, random_state42)[[NAME, area_km2]] print(sample)duplicated().sum()應(yīng)為 0出現(xiàn)重復(fù)說明同一行政區(qū)有多條記錄掛接時會產(chǎn)生笛卡爾積式的行數(shù)膨脹。is_empty檢查能抓出投影修復(fù)后產(chǎn)生的空幾何。抽樣用固定random_state保證可復(fù)現(xiàn)方便下次對比。進階用法上我習慣把整個處理流程固化成一條可重跑的腳本鏈讀取 → 編碼清洗 → 代碼標準化 → 投影轉(zhuǎn)換 → 有效性修復(fù) → 導(dǎo)出 → 匹配率報告。每一步的輸出都落盤中間產(chǎn)物帶日期后綴這樣任何一次結(jié)果異常都能回溯到具體環(huán)節(jié)。參數(shù)不寫死在代碼里而是集中到一個配置字典投影參數(shù)、編碼、代碼字段名都從配置讀換一批數(shù)據(jù)只改配置不改邏輯。檢查項合格標準不合格時的動作代碼唯一性重復(fù)數(shù)為 0定位重復(fù)記錄確認是否多版本混入代碼長度全部為 6 位逐條排查前導(dǎo)零或錄入錯誤幾何有效性無效占比低于 1%低于閾值修復(fù)超過則回源核對掛接匹配率高于 95%查代碼格式與區(qū)劃變更映射面積抽樣偏差與參考值偏差低于 5%復(fù)查投影參數(shù)與單位換算這張表我每次處理新批次數(shù)據(jù)都會過一遍五項全綠才敢往業(yè)務(wù)里推。最后說個習慣任何一份帶年份的行政區(qū)數(shù)據(jù)我都會在文件名和圖層名里保留年份并在屬性表加一列data_year不是為了好看是為了半年后有人問“這個邊界怎么和現(xiàn)在不一樣”時能一句話說清是數(shù)據(jù)口徑問題而不是處理錯誤。希望幫到你。本文還有配套的精品資源點擊獲取