西周的平遙是個狹小的土城，是周宣王（公元前827—前782年）為了防禦獫狁南侵，而命尹吉甫屯兵修建。當時的遺址就在今日古城的西北處，至西漢時期設平遙為京陵縣，成為晉中地區的商貿集散地。到了南北朝，北魏以今山西大同市為都，後南遷洛陽。期間大大促進了周邊縣城的發展，平遙城也不例外。平遙城自魏朝定址後，至今未變，只是土城堰於明代洪武三年（1370年）擴建改築為磚石牆，那就是今日的平遙古城牆。著名學者余秋雨在《抱愧山西》中評價：「在山西最紅火的年代，財富的中心並不在省會太原，而是在平遙、祁縣和太谷，其中尤以平遙為最。」可見平遙是個重要商城。明代中葉的平遙商人足跡遍全國，清代的平遙勁旅商幫則稱雄大江南北。平遙自明末清初起，成為中國金融城市之一，曾經繁榮一時。專營匯款業務的金融界行業「票號」，就是在平遙首先創辦。當年平遙以「日昇昌」為首的八大票號，被譽為「匯通天下」，在全國17個省的45個城市均設有分號，有的票號甚至跟美國紐約、三藩市也有匯兌業務往來。古城票號的發展和歷史，促進了中國金融的發展。
平遙古城至今仍能保持古色古香的風格，並非出於偶然。由於歷年的戰亂、人為破壞及風雨侵蝕，特別是七十年代末期的大水，古城牆嚴重受損。經多次維修，才回復今日的完整面貌。城內的樓房，也抵不住戰火和歲月摧殘而破敗不堪。1981年，平遙縣的工程師根據當時的實際情況，制定了一份《平遙縣城市總體規劃》，規劃在古城內縱橫開拓幾條大馬路，城牆上也要相應開挖8個大出口。當時的古城城牆的東端已掘開了一個出口，正在拓寬馬路，並拆去兩旁長180米的傳統民居房屋群。同年，中國同濟大學建築城市規劃學院的阮儀三教授，受山西省委委託，正在榆次市做城市規劃工作，《平遙縣城市總體規劃》送到他手上徵求意見。阮教授看後大吃一驚，他早於六十年代在平遙考察，深知古城的價值，於是鄭重建議縣領導停止這種所謂「建設性的破壞」工作，並和山西省建設委員會商定，由阮協助重新規劃平遙。1981年7月，阮教授率領10名研究生和大學生，開赴平遙，重新編制規劃，重新安排汽車環行道、上下水道及電纜線的走向，並在古城的西面和南面開闢新區。完成的規劃直接送到北京，得到有關專家和負責官員的認可，國家文物局也批撥專款維修城牆。山西省很快批覆了這個規劃，於是平遙古城才得以保存下來。