1949年8月组建，由第2兵团兼。司令员许光达、政治委员张德生、王世泰；副司令员徐国珍、任谦、周祥初，参谋长侯世奎、张文舟，政治部主任王再兴、朱明，副参谋长侯世奎。辖天水、平凉、庆阳、岷县、张掖、临夏、会宁、武都、武威、酒泉军分区。隶属西北军区。1950年9月1日，第2兵团部调北京，改编为中国人民解放军装甲兵领导机关。另组建甘肃军区兼兰州警备司令部，司令员王世泰，政治委员张德生，副司令员周祥初，副政治委员王再兴，参谋长侯世奎。尔后，对部分军分区进行了调整。撤销张掖军分区，增设海固军分区，另将岷县军分区改为甘南军分区，会宁军分区改为定西军分区。1954年3月，又将平凉、庆阳、武威、定西军分区改为专区兵役局。军区仅辖天水、甘南、武都、海固、临夏、酒泉等6个军分区。1955年5月，甘肃军区撤销。各军分区归兰州军区直辖。