悍将、大司马吴汉率四位将军，共计五万人的大军，开始对卢芳伪政权发起强大的攻势。
伪汉皇帝派将领贾览、闵堪在高柳一带防御吴汉大军，匈奴单于紧急调集大批骑军南下参战，经过一番血战之后，吴汉大军抵挡不住，不得不撤退。看来匈奴人的军事力量绝不容低估，这一战的胜利，使得匈奴人更加不把东汉军队放在眼中，认为中国再也无法恢复到西汉强盛时代的军事水平。
然而吴汉很快便证明给匈奴人看了，建武十年（34年）正月，大司马吴汉再次率领六万大军，第二次征讨卢芳。匈奴人派遣数千骑兵南下参战，会合卢芳部将贾览，共同抵挡吴汉大军，双方在平城展开一番大战，东汉军队终于击溃匈奴人，赢得了遭遇战的胜利。
由于光武帝决心发动“平蜀战役”，吴汉大军被调往西南战场。建武十二年（36年），吴汉击破蜀地公孙述势力，至此，光武帝刘秀基本上完成了统一全国的使命，下一步，就是要解决北方卢芳伪政权并扼制匈奴势力的南下。
中国自王莽以来数十年的乱局，给匈奴重新崛起提供良机，匈奴骑兵既控制了卢芳伪政权，又频频南下，烧杀抢掠，掠夺了大量的人力与财物，使国家的实力大大增强，再次成为中国的劲敌。
平蜀之役结束后，刘秀派骠骑大将军杜茂统领大军，屯驻北方诸要塞，重新修建碉堡与烽火台，抵御匈奴与乌桓的入侵。杜茂的军队与匈奴、乌桓军队打了大大小小数百战，始终无法取得决定性的胜利。
建武十三年（37年），伪汉皇帝卢芳仗着匈奴人的支持，出兵攻打云中郡。云中郡本来是卢芳控制的五个郡之一，但是在六年前投降东汉政府，卢芳想要武力夺回云中郡。然而这次围攻战不仅旷日无功，反而后院起火。
留守伪汉政府首都的卢芳手下大将随昱，密谋投降东汉政府，显然随昱看出卢芳这个汉室宗亲的招牌是打不响了，只不过是匈奴人的一颗棋子罢了。随昱计划劫持卢芳，作为投降光武帝的见面礼，卢芳得知消息后，大惊失色，仓惶带了十几名亲信出逃匈奴。随昱以五原郡降东汉政府，被光武帝刘秀封为五原太守。
匈奴单于大为震怒，出动骑兵南下，入侵河东地区。
面对匈奴人嚣张的气焰，北方州郡军民伤亡极重，久经战乱的百姓生活陷于水深火热之中。建武十五年（39年），光武帝从怜恤百姓的角度考虑，将雁门、代郡、上谷等几个重兵灾区的军民共计六万余人，全部迁徒到居庸关、常山关（河北唐县西北）以东，以避开匈奴人的兵锋。如此一来，北方雁门等诸郡成为无人区，匈奴人遂越过长城，涌入塞内。
在匈奴军队的护送下，卢芳再次返回中国境内，在高柳（山西阳高）继续当他的傀儡皇帝。
东汉政府设高额赏金购求卢芳，此时中国内乱结束，匈奴单于越发觉得卢芳已经没有利用价值了，便对东汉政府的高额赏金动了心，建武十六年（40年）便遣卢芳归降东汉政府。卢芳派出使节与光武政府取得联系，这次匈奴单于失算了。卢芳虽然是一个傀儡皇帝，但决不是一个傻子，他心里很明白，东汉政府北方面临匈奴人巨大的压力，他的归降不仅无罪，还有大功哩，所以他只字不提匈奴人遣他归降。果然，光武帝闻讯大喜，授卢芳为“代王”，用尽心机的匈奴单于结果却两手空空，一无所获，不禁恼羞成怒，对中国更是频频用兵。
卢芳准备入长安朝见光武帝，走到半途时，却接到命令，要他一年后朝见皇帝。又过了一年，朝见的日期不断被推迟，卢芳内中恐惧，深怕东汉政府反悔，心生叛意，建武十八年（42年）终于又逃亡入匈奴，十余年后在匈奴病死。
帝国的北疆仍然局势严峻。
除了匈奴之外，乌桓与鲜卑也侵扰中国边境。建武二十一年（45年），乌桓入侵代郡以东，马援率三千骑兵反击乌桓军队，无功而返；鲜卑入侵辽东，辽东太守祭肜率数千人迎战鲜卑一万多名骑兵，祭肜勇猛无比，鲜卑骑兵落荒而逃，结果在逃亡渡河过程，落水而死的超过五千人。经此一役，鲜卑军队不敢再近中国边塞。
运气不佳的匈奴人在此时遭遇到天灾（46年），连年旱蝗灾害，赤地数千里，全国又一次陷入大饥荒之中，人口与牲畜总数锐减一半以上。这次天灾对匈奴的命运有着深远的影响，匈奴趁中国内乱时再度崛起为军事大国，对东汉帝国频频用兵，在战略上居于主动地位，然而这次致命的天灾，将匈奴积累多年的优势统统消除了。在此之前，匈奴曾有过两次大饥荒，一次是前71年，饿死人口达三分之一；一次是前68年，饿死人口达三分之二；而46年的这次大饥荒，则达到二分之一。所以在评估匈奴兴衰史时，除了汉帝国的打击之外，一定得将这三次大灾难的因素考虑进去。
大饥荒使匈奴的实力遭到重创。乌桓与匈奴的关系本来就十分紧张，幸灾乐祸，趁机出兵，席卷匈奴漠南地区。饱一顿饥一顿的匈奴骑兵怎么敌得过身强力壮的乌桓骑兵，一溃千里，向北部与西部大撤退，一时间漠南地区成为真空地带。
此时呼都单于已经去世，新上台的是蒲奴单于，他十分害怕东汉政府会借此机会对匈奴发动报复性的打击，便派使节抵达中国，希望与中国政府和亲。其实光武帝刘秀无意在北方大打出手，刘秀有自己的打算，整个国家正从战乱中恢复过来，百废待兴，无意将国家重新拖入与强敌匈奴旷日持久的战争之中。
不能不说刘秀是一个非常幸运的皇帝，虽然东汉政府没有调遣大军进攻匈奴，但匈奴国内政局的发展，对东汉政府却是出人意料的有利。建武二十四年（48年），匈奴爆发权力之争，统领匈奴南方八部的右奥鞬日逐王比自立为“呼韩邪单于”（为了与前呼韩邪单于区分，称之为“小呼韩邪单于”），与蒲奴单于表成南北对峙的局面。匈奴再度分裂为南匈奴、北匈奴两部分。
小呼韩邪单于采取了与老呼韩邪单于相同的作法，派出使节前往东汉帝国首都洛阳，表示愿意成为中国的藩属，为中国抵御北匈奴的敌人。
对于光武帝，这真是意外的惊喜，北疆最严重的匈奴入侵，竟然由于匈奴大饥荒、匈奴乌桓战争以及匈奴分裂、南匈奴归附而得以解决。