前文已叙，高祖在天下初定后分封了各路诸侯，其中韩王韩信仍做韩王，建都于阳翟，封地在颍川。这个韩王韩信，与那个淮阴侯韩信他当然是比不了，但他也很有军事才干，从高祖进入关中时开始一直带兵跟随作战，很受高祖赏识。韩王的封地颍川，靠近战略要地洛阳，周边又多精锐部队驻扎，高祖就在汉六年（公元前201年）把韩王信的封地改到匈奴常常进攻的太原以北的代地，都城设在晋阳（今山西太原北边）。
高祖的这个决定有两个用意：一方面可以利用韩王信的军事才能来抗击匈奴：另一方面也对这个外姓王有点不放心：让他呆在战略要地颍川，时间长了恐怕生变。况且颍川周边已有重兵把守，太原以北的边地军事力量较弱，恰恰需要一个有能力的诸侯去驻守。
韩王信到了新的封地后，不久，上书高祖要求把王都由晋阳迁移到马邑（今山西朔州），理由是晋阳距边境太远，不便于抵御匈奴的入侵。高祖答应了他的请求，韩王信便把都城迁到了马邑。这年秋天，匈奴王冒顿单于率大军包围了韩王信所在的马邑城，韩王信没有与匈奴死战，而是多次派使者去匈奴那边要求和解。
马邑被围后，高祖马上派军去援救。援军到达后，发现韩王信在没有中央政权授意的情况下，有私自与匈奴方议和的迹象，于是上报到高祖处。高祖就派使者到韩王信处，责备他不该私下与敌方议和，这种行为是怀有二心的表现。韩王信被使者这么一责备，怕被汉朝所诛杀，于是在马邑投降了匈奴，并与匈奴联军进攻太原（今山西太原）。
匈奴是中国北方一个很古老的游牧民族，《史记》称其祖先是夏后氏（夏朝君主的姓氏）的后裔叫做淳维的，这么说它也是咱华夏族的一个分支了。匈奴族人逐水草而居，没有文字和书籍，只用他们独特的语言来进行交流。他们从小就会骑马射箭，战斗力十分强悍，而且经常入侵汉人所在的中原地区。秦朝时，秦始皇派大将蒙恬率领十万大军向北攻打了主要包括匈奴在内的北方少数民族，收复了河套地区。后来又修筑了长城，沿黄河修筑四十四座城池，迁徙内地的一些罪徒去戍守。
匈奴王头曼单于（也就是冒顿单于的父亲）时期，匈奴势力比较弱小，东胡和月氏这两个游牧民族开始兴盛起来。头曼不敌秦朝，不得不向北迁徙，无力进犯中原。十几年后，蒙恬死了，秦朝的暴政激起了诸侯的反叛，中原骚乱，那些戍边的罪徒也纷纷逃回原籍，边防几乎无兵备。这样匈奴的势力又再次扩张至黄河流域，与中原为敌。
冒顿本是头曼单于的太子，但是后来头曼又想废掉他，改立他所宠幸的阏氏（匈奴王后，冒顿的后母）生的小儿子，也就是冒顿的异母弟为太子。因为一场政治交换，头曼便派冒顿到月氏国去做人质。结果冒顿到了月氏后，头曼马上派兵攻打了月氏，估计是想假手月氏把这个不受待见的太子给灭了，好给他小儿子让位。月氏果然准备杀掉冒顿，但是这个冒顿很机智，他知道他老子派兵来打月氏，月氏能饶过他这个敌国人质吗？于是他偷了一匹月氏宝马，骑马逃回了匈奴。
头曼看到逃回来的冒顿，认为他很勇敢，也没把他怎么样，反而拨了一万骑兵让他来统领。冒顿就先从射箭开始，要求这支军队绝对服从首领的指挥，并做了专门的训练。冒顿派人做了一支响箭，他下令说：“我的响箭射到哪儿，不管射什么，你们都要跟着射到哪儿，否则，斩之。”有一次，他用响箭去射他的爱妻，跟从他的人犹豫惊恐而不敢跟从着去射击，冒顿就斩杀了他们。后来，冒顿再用响箭去射老单于的爱马时，随从他的人就毫不犹豫地跟着去射了。这样，冒顿知道这支军队已经被他训练成指哪打哪的铁军了。
冒顿在一次跟随他父亲头曼单于行猎的行动中，用响箭射向了他的父亲，跟随他的侍从便本能般地也跟着把箭射向了老单于。头曼被杀后，冒顿又杀死了他的后母及其同父异母的弟弟，还杀尽了那些不服从他的大臣，自己做了单于。
强大的东胡听说冒顿杀掉了他父亲头曼自立为单于，以为这个年轻的新单于可以戏侮一番。于是派使者向冒顿说，想要得到老单于的千里马。冒顿与群臣商量这事，群臣们认为千里马是匈奴的宝马良驹，不应答应东胡的无理要求。冒顿认为作为邻国，不应吝啬一匹马，毫不犹豫地把千里马送给了东胡。不久，东胡又派使者来索求匈奴单于的一位阏氏。冒顿又与左右侍从商量这事，侍从们都大怒起来，认为东胡简直是得寸进尺，竟敢索要阏氏，看来不发兵攻打是不行的了。冒顿又不顾群臣的反对把自己一位心爱的阏氏送给了东胡王。这样，东胡王认为冒顿太怂了，愈加骄纵起来，不时地向匈奴发动挑衅。
东胡和匈奴之间有一块方圆一千多里的荒地，这是两者之间的战略缓冲带。多年来两个势力之间似乎达成了这样的默契：这块地谁都有份，但谁都不能首先占有。东胡王在向冒顿索取了老单于的千里马和新单于的阏氏后，胃口越来越大了，又派使者向冒顿索求这块荒地了。冒顿又与群臣商量这事，竟然有人说这是块荒地，对于匈奴无关紧要，给不给都无所谓。冒顿顿时大怒说：“土地是国家的根本，怎么能给人呢？”于是，把那些主张送土地给东胡的大臣全部斩首。。
冒顿前者之所以两次答应东胡的无理要求，是因为他懂得韬光养晦之术。匈奴的实力确实不如东胡，贸然出击只会于己不利。同时也是为了让东胡王轻敌，自己则趁机积蓄实力，做好战争的准备工作。冒顿觉得这次反击东胡的时机来了，于是他跳上战马，率领国人袭击东胡，敢后退者斩之。东胡王果然轻敌，对匈奴不设防备。冒顿大军一到，东胡军慌忙应战，很快就被击败，东胡王也在战争中被杀死。
冒顿大败东胡，掠走了他们的百姓和财富。回师之后，又向西赶跑了月氏，向南进一步扩充势力范围，逐渐收复了被蒙恬夺去的原匈奴之地，跟汉朝的边塞为邻，并不时入侵燕地和代地。楚汉相争时期，汉军因与楚军对峙，无暇顾及边境，冒顿得以为所欲为。他拥有军队三十多万，势力盛极一时。