甘谷古属雍州,为冀戎繁衍活动之地,周庄王九年(前688年),秦武公伐冀戎,置冀县,为中国县制之肇始，称“华夏第一县”。冀据渭水河谷,控制秦陇咽喉，为秦“开地千里，遂霸西戎”提供了有利条件。周赧王四十三年(前272年)秦昭王灭义渠戎后,置北地、陇西两郡,冀属陇西郡。秦始皇(赢政)ニ十六年(前221年)统一六国,实行郡县制,分全国为36郡,其中陇西郡辖冀县。

汉沿秦制。元鼎三年(前114年)增设天水郡,冀县由陇西郡改属天水郡(郡治冀)。永始三年(前14年)王莽篡汉。建新朝,废西汉旧制,改天水郡为填戎。改冀县为冀治。东汉更始元年(23年),隗嚣起兵应汉,拥兵十万,自立为上将军;光武帝建武八年(32年)自称西伯,都于冀,占有安定、北地、陇西、天水四郡,并为宁朔王。九年(33年)嚣死,予纯立,总兵据冀。十年(34年)纯降,恢复西汉旧制,废冀治名,复为冀县,仍为天水郡治。永平十七年(74年),改天水郡为汉阳郡。永初五年(111年)。汉阳杜琦、杜季贡和王信与羌人联合起义，据冀。灵帝建宁元年(168年),凉州刺史部治从陇迁冀。当时的凉州,东至长安附近的三辅，西到西域地区,几乎包括了现在的整个大西北。汉末争夺凉州的战争,多围绕冀城进行。中平四年(187年),马腾、韩遂起兵,攻克汉阳郡,联合占据冀城，割据凉州。汉献帝建安十七年(212年)，马腾为曹操所杀,十八年(213年),马超反曹攻冀，杀凉州刺史韦康，据冀，自称征西将军,督凉州军事。

三国魏文帝黄初元年(220年)分所辖境内为十二州,凉州由冀移治于姑臧(今武威)，甘肃东南部改属雍州,改汉阳郡为天水郡,仍治冀县。蜀汉建兴六年(228年)，诸葛亮首次出兵祁山,冀县属蜀。街亭失守,亮移民入汉中,冀城一空,冀县复属魏。

西晋泰始五年(269年),分雍州为陇西五郡(陇西、南安、天水、武都、略阳)及凉州金城、梁州阴平共七郡,始置秦州,治冀,冀复为州(秦州)郡(天水)县(冀)治所在地。太康三年(282年),废秦州入雍州,七年(286年)复立,将秦州、天水郡由冀移治上邽,冀县仍属秦州天水郡。怀帝永嘉元年(307年),废冀县。以上其地建治共995年,城址今已湮没。

东晋十六国兴,冀城仍为军事必争要地。东晋永昌元年(322年),前凉取陇西南安郡及冀城,前凉主张茂派韩璞为秦州刺史,镇冀城。太宁元年(323年)八月,赵主刘曜率兵围陇城(今甘肃张家川),派将刘咸攻韩璞于冀城。晋咸和二年(327年),前凉又派张阆等攻秦州失败,冀亦归前赵。咸和三年(328年)其复入前凉,仍置秦州。太元十一年(386年)秋八月，后秦姚硕德在陇上称征西将军,因响应姚苌起兵,聚众于冀,与前秦秦州刺史王统相持。九月王统以秦州降于后秦,后秦以姚硕德为使持节、秦州刺史，镇上邽，都督陇右诸军事,属冀城。太元十四年(389年),后秦主姚苌使姚邢奴守冀城。同年,仇池杨定攻克陇、冀,拘姚邢奴，自称秦州牧,领冀城。太元ニ十一年(396年),前秦(394年已亡)苻崇为西秦乞伏乾归所逐,自湟中来冀,求援于杨定,杨定留司马邵疆守冀,自己与苻崇联合攻乾归,兵败俱死。西秦气伏乾归占领苑川(西泰州)、陇西南安(东秦州)及天水冀城。隆安四年(400年)八月,西秦降后秦,义熙五年(409年)复立。十三年(417年),东晋都督刘裕破后秦兵于长安,秦主姚泓投降。因晋将内乱自相残杀,无力西征,是年十月,后秦秦州刺史姚艾向西秦称蕃,其城复入西秦。

北魏太平真君八年(447年),分置天水郡和汉阳郡,以原冀县地置当亭县,属天水郡。北周孝闵元年(557年),置秦州总管府,改当亭为冀城县。

隋大业二年(606年),废秦州总管府,置天水郡,废黄瓜归冀城县,属天水郡。

唐武德三年(620年),改冀城县为伏羌县。是年,以伏羌及渭州永宁置伏州,八年(625年),废伏州,县仍属秦州。九年(626年),析置盐泉县,治今西二十里铺(古称盐泉铺)。太宗贞观元年(627年),设陇右道秦州天水郡中都督府,更名夷宾、夷寅;三年(629年),又并入伏羌县。肃宗宝应元年(762年),吐蓄乘安史之乱。尽取陇右地,伏羌同时被占。宣宗大中三年(849年)收复,仍为伏羌县,属秦州天水郡中都督府。四年(850年),改素州隶凤翔军,辖伏羌。

宋初，废伏羌县。太祖建隆三年(962年)。以废县以南地置大潭县,属秦州。北宋徽宗崇宁三年(1104年)以废伏羌以西地永宁寨置永宁县，治今四十里铺。金仍废为永宁寨。建隆三年因吐蕃尚波于进略伏羌,乃以旧城置伏羌寨。天禧三年(1019年)置安远寨(今安远镇政府驻地),属秦州,并于熙宁元年(1068年)在安远寨以北40里杨家城子地,由秦凤路副都总管杨文广筑筚篥城,阻止西夏入境,称大甘谷口砦(甘谷城)。熙宁三年(1070年)改伏羌寨为伏羌城,仍属秦州,领得胜、榆林、大像、芳园、探长、新水、柽林、丙龙、石人、驼项、旧水11堡。熙宁七年(1074年)属岷州,治今西和县西南。南宋绍兴间伏羌、甘谷两城均陷于金。高宗绍兴二十六年(金正隆元年,1156年),甘谷城升为甘谷县,属秦凤路秦州。金贞祐四年(1216年),隶西宁州。元废,入通渭县(1950年秋,其地随安远镇划入今甘谷县)。

元世祖至元十三年(1276年),以伏羌城复为伏羌县,属陇西行中书省兴远路巩昌总帅府录事司。

明仍为伏羌县,属陕西省承宣布政司巩昌府。

清初仍沿明制。康熙三年(1664年),分陕西省为左右布政司,左布政司驻巩昌府。六年(1667年),又改陕西右布政司为巩昌布政司。七年(1668年),改甘肃布政司,移治兰州。清并设巩秦道辖巩昌府,驻秦州。伏羌县直属巩昌府。

民国二年(1913年),废秦州,改巩秦阶道为陇南道。旋改渭川道辖伏羌等十四县。民国十六年(1927年),改渭川道为渭川区行政公署,伏羌县属渭川区。民国十八年(1929年)1月1日,国民党内政部改伏羌县为甘谷县。民国二十四年(1935年),天水设甘肃第四区行政督察专员公署,辖甘谷县。

中华人民共和国成立后,于1950年5月设天水专区,辖甘谷等县。1958年底撤销甘谷与漳县，并入武山县;1962年元月,甘、武、漳县分县，恢复原甘谷县治。1985年7月8日,撤销天水地区,改为地级市,实行市领导县体制,辖2区及甘谷等5县。