内部权柄收束已定，禁军牢牢掌控于手，赵匡胤便将目光投向了依旧处于割据状态的南方诸国，开始了其波澜壮阔的统一进程。
他采纳了赵普等人基于周世宗时期王朴《平边策》所修订的“先南后北、先易后难”之战略，意在积蓄力量，最终与北方强敌契丹决战。
乾德元年正月，他派遣山南东道节度使慕容延钊为都部署，枢密副使李处耘为都监，以借道为名，会合湖南周保权军讨伐叛将张文表。
宋军势如破竹，不仅迅速平定张文表之乱，更顺势以“假途灭虢”之计，一举攻灭荆南高继冲与湖南周保权两个割据政权，兵不血刃地收取荆、湖之地，犹如利剑出鞘，首战告捷，不仅获得大量人口财富，更打通了西进与南下的战略通道，使后蜀等南方政权暴露在宋军兵锋之下。
是年十一月，赵匡胤命忠武军节度使王全斌为西川行营凤州路都部署，与刘光义、曹彬等分兵两路，自剑门与夔州水陆并进，伐后蜀。
孟昶虽拥重兵，然其将帅无能，士卒离心，宋军进展神速，王全斌部仅六十六日便攻入成都，孟昶出降，后蜀灭亡。
此战虽速胜，然王全斌等将领在蜀地贪黩滥杀，激起了全师雄为首的蜀军兵变，耗费年余方得平定，此事给赵匡胤极大震动，更坚定其抑制武将、整顿军纪之决心。
开宝三年，宋军以潘美为帅，攻南汉。
南汉主刘鋹（类人榜能进前十的）荒淫暴虐，民心尽失，宋军连克贺州、昭州、桂州、连州，势如破竹，次年二月攻破广州，刘鋹出降，南汉平。
南方诸国已去其三，剩余南唐、吴越、漳泉陈洪进则采取羁縻策略，尤其是对实力最强的南唐，赵匡胤一方面保持压力，另一方面则通过羁縻、威慑，迫使吴越钱俶与漳泉陈洪进实质上听命于宋，孤立南唐。
开宝七年，赵匡胤以李煜“倔强不朝”为由，命宣徽南院使曹彬为升州西南面行营马步军战棹都部署，偕潘美、曹翰等发兵十万，水陆并进，征伐南唐。
他特意于出征前告诫曹彬：“南方之事，一以委卿，切勿暴掠生民，务广威信，使自归顺，不须急击也。”
且授以匣剑，曰：“副将以下，不用命者斩之。”
宋军自荆南沿江东下，连破池州、芜湖、当涂，进屯采石矶。
期间，南唐水师曾试图反击，然宋军凭借预先架设的浮桥渡江，并于秦淮河大破南唐军，直逼金陵城下。
李煜虽一度寄望于朱令赟自湖口而来的十万援军，然宋军王明部在皖口巧妙设伏，以火攻击溃南唐援军，朱令赟被俘，金陵最后希望破灭。
曹彬严格执行赵匡胤的意图，围城而不猛攻，屡次致书劝降，直至开宝八年十一月，金陵粮尽援绝，曹彬方下令总攻，城破，李煜奉表投降，南唐灭亡。
至此，南方基本平定，赵匡胤的统一大业完成了关键一步。
对于北方的北汉，他亦曾数次用兵，开宝元年、二年，他两次亲征太原，然北汉倚仗契丹为援，太原城坚，宋军虽屡战屡胜，却始终未能攻克，加之暑雨或契丹援军将至，不得已撤军。
赵匡胤晚年，已将战略重心完全转向北方，积极储备物资，训练军队，意图一举扫平北汉，甚至收复燕云十六州。
在致力于统一战争的同时，赵匡胤并未放松内政建设。
他深知“王者禁人为非，莫先于法令”。
建隆四年，他命工部尚书判大理寺窦仪等人，更定《刑统》，成《重详定刑统》三十卷，又称《宋刑统》，并于同年刊印颁行天下，这是中国历史上第一部刊印颁行的法典，使法律条文更为明晰统一，有力地支撑了中央集权的统治。
在经济上，他鼓励垦荒，兴修水利，整治以汴河为中心的运河系统，使漕运畅通，保证了开封作为帝都的物资供应。他重视农业生产，曾言“厚农桑，薄纨绮，务敦朴，去奢泰”，自身亦较为俭朴。
在科举取士方面，他大幅增加录取名额，且及第后不需经吏部试即可授官，提高了科举的地位，使更多寒门子弟得以进入仕途，扩大了统治基础，也为“与士大夫治天下”的国策奠定了基础。他自身虽出身行伍，却极为尊重文士，曾立下“不杀士大夫及上书言事人”的誓碑，藏于太庙，这固然有助于形成较为宽松的政治氛围，但也使得文人地位空前提高。
然而，其“强干弱枝”、“重文轻武”的祖宗家法，在巩固中央集权的同时，也埋下了军事积弱的远因。
对武将的过度防范，如频繁调动、以文制武、兵将分离等，虽确保了内部稳定，却在很大程度上削弱了军队的战斗力与应变能力，为后世应对北方强敌时的被动局面埋下了隐患。
开宝九年，赵匡胤的身体状况似乎出现了问题。
是年正月，他西幸洛阳，视察山川形势，甚至有意迁都于此，认为开封“形势涣散，防维为难”，不如洛阳“据山河之胜而去冗兵，循周、汉故事，以安天下也”，这一极具远见的提议却遭到了群臣，尤其是其弟晋王赵光义的强烈反对，理由是“迁都未便”、“在德不在险”，赵匡胤只好怅然放弃，叹道：“不出百年，天下民力殚矣！”
这一预言，不幸在北宋末年言中。
自洛阳返京后，赵匡胤似乎加速了某些安排。
他授予赵光义过人的权柄，使其位在宰相之上，开封尹兼晋王的身份几乎等同于储君，然却始终未正式册立太子，其心意令人琢磨不透。是年十月，赵匡胤猝然崩逝于万岁殿，年仅五十。
关于其死因，正史记载含糊，仅云“帝崩于万岁殿，年五十”，然野史笔记如《续湘山野录》等却留下了“斧声烛影”的千古谜案，言是夜赵匡胤召赵光义入宫饮酒，宫人遥见烛影下，赵光义时或离席，若逊避之状，既而太祖引柱斧戳地，大声对光义说：“好为之，好为之！”是夜，太祖崩，皇后宋氏使宦官王继恩召皇子德芳，继恩竟径趋开封府召晋王光义，宋后见光义，惊愕曰：“吾母子之命，皆托于官家。”
光义泣曰：“共保富贵，勿忧也。”
无论真相如何，赵匡胤的突然离世，使其收复燕云、完成天下一统的宏愿戛然而止，留下了无尽的遗憾与一个在其既定国策下走向文治巅峰，却也隐伏着深刻边防危机的庞大帝国。