西汉时期，公元前60年左右，匈奴虚闾权渠单于死，引起内部分裂，先后出现五单于争立的情况，混战不断，最后发展为呼韩邪单于和郅支单于的相互攻伐，分为南下归降汉朝的南匈奴、留在漠北的为北匈奴。北匈奴曾击败大宛、乌孙等国，强迫四方各族进贡，威震西域，一度领导了匈奴的短暂复兴。前36年，被西汉远征军甘延寿、陈汤等人诛灭。 东汉时期，公元46年左右，匈奴国内发生严重的自然灾害，人畜饥疫，死亡大半。而统治阶级因争权夺利，再次分裂为南北两部。东汉永元初年（公元89年），北匈奴被东汉和南匈奴击败（窦宪燕然勒功），91年东汉大将军左校尉耿夔再次出击金微山（今阿尔泰山）大败北匈奴军。这导致北匈奴走向没落。大部分西迁至伊犁河流域的乌孙国，与东汉仍然发生多次战役，便再迁于西边的康居国，后来，余部西迁至中亚地区和东欧地区，其小部分留居鄂尔浑河流域，后被鲜卑所并，北匈奴与鲜卑的混血后代铁弗人在河套地区建立过胡夏。