再后来，曹丕继位后司马懿便活得没那么憋屈了，比曹操在时好了很多，毕竟曹丕比曹操更需要司马懿，也更信任他一些，
在仕途上也官职升得更高了，他也算得上个两朝老臣了，可是司马氏的命运还是操控在他人手中，只不过以前是曹操，
现在是曹丕而已，要想真正的将自己、司马家的命运真正掌握在自己手中，不将生死操控在他人手中，他司马懿还有很长的一段路要走！
魏文帝黄初元年（220年）十一月，曹丕登皇帝位，史称魏文帝。曹丕登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。
黄初二年（221年），免去督军官职，升任侍中、尚书右仆射。
黄初五年（224年），曹丕伐吴，临江观兵。司马懿奉命镇守许昌，并改封司马懿为向乡侯，转抚军、假节，领兵五千，加给事中、录尚书事。
司马懿力辞不受，曹丕说：“朕夜以继日处理国家大事，没有须臾片刻的休息时间。如今册封你不是加以优荣，而是要你为我分忧。”
黄初六年（225年），曹丕再次大兴舟师伐吴，命司马懿留守许都，对内镇抚百姓，对外为大军提供军资。
临行，曹丕下诏给司马懿说：“我深深地担心后勤和朝内之事，所以将这些大事委托给你。
历史上曹参虽多有战功，但是萧何在后方的支持才更为重要。如今你留守后方，使我无西顾之忧，这可行吗！”
之后曹丕由广陵（今江苏扬州广陵区）回师京都，又下诏对司马懿说：“我向东用兵孙权，你该总理京都洛阳的事情，我在洛阳，你则应当总理东征孙权的战事。”
于是又命司马懿留镇许昌，可见那时的他已是深得曹丕的信任、器重，而曹丕身体状况还行，也才三十九岁，才活到了而立之年的尾巴，
明年才进入不惑之年，而曹丕也以为自己至少还能活一二十年，牢牢掌控司马懿这个双刃剑还是绰绰有余的，
说不定曹丕还能熬死司马懿，可惜天不遂人愿，前一年还身体状态良好，御驾亲征的曹丕，第二年的身体状况便急转直下，要先一步去了。
黄初七年（226年）五月，曹丕病重。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。
曹丕对太子曹叡说：“在这里的三位重臣，一定不要怀疑他们。”
可见生命垂危的曹丕已经在忧心儿子曹叡能不能驾驭住司马懿了，曹叡即位，改封司马懿为舞阳侯。
孙权得知魏文帝去世后，于八月出兵攻魏。
命诸葛瑾、张霸兵分两路进攻襄阳，亲自率军进攻江夏郡（治石阳县，即今武汉黄陂西南）。
司马懿击退了孙权，又击败诸葛瑾，并斩杀张霸，斩首千余级。十二月，司马懿升任骠骑将军。
太和元年（227年）六月，魏明帝曹叡命司马懿驻扎宛城，加督荆、豫二州诸军事。
蜀将孟达降魏时，魏待其甚厚，司马懿认为他言行倾巧，不可信任。
但曹叡不听，任命孟达领新城（今湖北房县）太守。
曹丕死后，孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。
诸葛亮恐他言行反复无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。
孟达闻此泄露，准备马上起兵。
申仪将此事密告司马懿后，司马懿怕他突然发难，给他去信，详为慰解。
孟达得信大喜，但是犹豫不决。
司马懿则暗中率军进讨，诸将见孟达与吴蜀交接，劝司马懿先观而后动。
司马懿说：“孟达没有信义，现在正是他犹豫不决之时，应当趁他没有决定而及时平定他。”
司马懿亲自率军日夜兼程前去讨伐孟达，八天抵达新城城下，当然那已经是好多年之前的事情了，
换做现在，他的身体能不能支撑起八天的日夜兼程都还得两说了，当然若是像上次那般的大逃亡却又是又要另说了，如果跑得不快的话那命都早没了，就算是跑不动的话也得拼了命的往前跑。
吴、蜀派出援兵解救孟达，被司马懿部拦阻于西城的安桥、木兰塞等地。
此前，诸葛亮曾告诫孟达加紧防范，孟达写信给诸葛亮认为：“宛城和洛阳相距八百里，离我处一千二百里，上表给天子，来回路程，少需一个月，那时我的城池已修固，诸军都作好了准备。
我驻扎的地形深险，司马懿必不会亲自来，其他部将来，则不足为患”。
而司马懿先斩后奏，仅八日就兵临城下，孟达又写信给诸葛亮，惊叹：“我想要举事，而司马懿八日就兵临城下，何其神速也！”上庸城（今湖北竹山县西南）三面环水，孟达在城外树立木栅，加固城防。司马懿挥师渡水，毁其木栅，直逼城下。
太和二年（228年）正月，司马懿兵分八路攻城，仅十六天，孟达的外甥邓贤、部将李辅开城投降。
魏军入城，擒斩孟达，传首京师，俘获万余人。
司马懿回军，仍驻宛城，奖劝农桑，禁止浪费。南方吏民心悦诚服。起初，申仪久在魏兴郡，专威弄权，擅自借皇帝名义刻制印信，私相授予。
孟达被杀之后，申仪自生疑虑。当时各郡郡守见司马懿克敌制胜，纷纷奉礼祝贺。
司马懿听之任之，并让人向申仪暗示。申仪只好前来祝贺。司马懿乘机将他收捕，送往京师。司马懿又将孟达余众七千余家迁往幽州。
不久蜀将姚静、郑他等率其部属七千余人来降。当时边郡新附，户口不实。朝廷想加以核实，请司马懿进京，征询他的意见。
司马懿认为：“叛贼以严苛的法令约束部下，所以被部下遗弃。应该以宽和待他们，那就会自然安乐”。
曹叡又问他吴、蜀都该讨伐，应该先从何处着手？司马懿回答说：“吴国认为我们北兵不习惯水战，所以才敢散居东关。
只要攻打敌军，一定要扼住敌军的咽喉而撞击他们的心脏，而夏口、东关就是吴军的心喉。
如果在陆上以军攻打皖城，因孙权的兵马东下，派水师攻向夏口，乘其虚而击之，一定能大破吴军。”
曹叡对他的看法深以为然，再次命司马懿屯兵宛城备战。
八月，大司马曹休不依计划，迳下皖城深入敌境接应诈降的吴将周鲂，在石亭被陆逊伏击，大败，曹休病死，
对于曹休病死之事，他冷眼旁观的看着，没有强出头，就像熬死曹丕一样，只有熬死更多的曹魏宗室，他才能在大魏朝堂上说的算，能自己做自己的主！