甘谷古称冀,据《史记·秦本纪》记载:“秦武公十年,伐邽、冀戎,初县之。”秦武公十年即公元前688年。冀县为全国县治肇始之地,故甘谷有“华夏第一县”之称。冀县县址在今甘谷县城西,历秦、汉,至西晋太康三年,废县。后因地震、兵燹、水淹,城址湮没。

北魏太平真君八年(447年),置当亭,北周改当亭为冀城县。

汉晋时期,甘谷古城曾是天水及汉阳郡治、凉州州治、秦州州治之所在,是当时陇上政治经济文化中心。

隋大业二年(606年),始移县治于今县城之南，仍称冀城县，城址尚在。

唐武德三年(620年),改冀城县为伏羌县。

宋大中祥符九年(1016年),秦州知州曹玮在其地构筑土城。

宋元祐三年(1088年),伏羌县令牟安仁在北街创修县衙,坐北向南。

明景泰元年(1450年),县令王珣増筑城池，并将城址北移。今县城十字口即旧城北关。

明嘉靖二十一年(1542年)，知县李灌増修县城,城围4.3里,高2.5丈，顶宽0.8丈，护城河深宽各一丈。明嘉靖ニ十六年(1547年),知县王调元迂公署于东街北向,大堂五楹,右幕厅，仪门外左为典史宅,右为狱。嘉靖三十四年(1555年),知县李世相建谯楼于城门之上。明隆庆六年(1572年),县令甘芍增设城墙,使之增高加厚,并在城楼上增修敌台七座。

清康熙五十年(1711年)，知县侯琰捐俸重修。后经风雨剥蚀,城墙大多坍塌。

乾隆三十一年(1766年),清政府拨银一万八千两,由知县殷兆燕领修,周围高厚如旧,四城东曰阳和，南曰阜财，西曰挹爽,北曰迎恩。

民国五年(1916年)四月,甘肃省财政司原司长田骏丰罢官归里，以重修北塔款移修县城,民国六年(1917年)夏历四月告成。城墙为土质结构,全长2.5千米。高8.3米,底宽12米，设东西南北四座砖砌城门,门拱高4米，门洞深11.8米，宽3.8米,各城门均有双开木制门,门板高3米,厚0.07米。城外护城河深宽各3.3米。城内有东西南北四条大街,分别通往东西南北四座城门。

中华人民共和国成立后,甘谷古城的城楼、敌台先后拆除。因城市建设需要,除西南角城墙保留外，其余各墙均在20世纪九十年代前拆除,护城河亦被填平。