司馬懿在曆史上先後輔佐曹操、曹丕、曹睿以及曹芳四代君王，曹操時期作爲謀臣，幫助曹丕奪嫡；曹丕時期他已經是曹魏核心重臣了，曹丕死前成爲了四位輔政大臣之一；曹睿時期，司馬懿開始正式領兵作戰，伐孟達、禦諸葛、滅遼東，威震天下，是曹睿留下的兩位輔政大臣之一；曹芳時代，司馬懿打倒曹爽，後期已經成爲了曹魏的主宰。
【曹操謀臣】
司馬懿年少有爲，出身于世家大族，不過因爲當時漢室已經衰落，所以司馬懿不願意出仕做曹操的部下，曹操幾度征召均不止，最後被曹**迫才出仕的。
建安十三年（208），曹操爲丞相以後，使用強制手段辟司馬懿爲文學掾。之後司馬懿和曹操之子曹丕往來很多，是曹丕四友之一，他曆任黃門侍郎、議郎、丞相東曹屬、丞相主簿等職。
在曹操平定漢中張魯之後，司馬懿勸曹操曾經出兵讨伐益州，被曹操拒絕。關羽讨伐曹仁之前，司馬懿還曾經指出荊州刺史胡修粗暴，南鄉太守傅方驕奢，不應該駐守邊防，曹操未予重視。後來二人都背叛投降了關羽。關羽水淹七軍後，司馬懿和蔣濟一起勸阻曹操遷都，認爲可以拉攏孫權對付關羽，後來孫權果然發兵襲取江陵。
曹操認爲荊州遺民及在颍川屯田的軍民逼近南方寇賊，想把他們遷走。司馬懿認爲：“荊楚輕脫，易動難安。關羽新破，諸爲惡者藏竄觀望。今徙其善者，既傷其意，将令去者不敢複還。”曹操聽了他的建議，沒有移民。之前藏竄逃亡者果然都複出歸化。
在奪嫡之時，司馬懿是曹丕的主要支持者之一，可惜的是并沒有關于他幫助曹丕奪嫡具體事例的記載。
【曹丕重臣】
曹**後，曹丕上位，司馬懿成爲了曹丕麾下的紅人，官職升遷很快，曆任尚書、督軍、禦史中丞、侍中、尚書右仆射，後假節、擔任撫軍大将軍。
曹丕因爲襄樊殘破，害怕孫權來襲一度将此地抛棄，司馬懿則認爲孫權必然不會得罪曹魏奪取此地，曹丕不聽，後來追悔不及。曹丕掌權時多次南下讨伐孫權，以司馬懿鎮守許昌，曾經下诏書給司馬懿說：“吾深以後事爲念，故以委卿。曹參雖有戰功，而蕭何爲重。使吾無西顧之憂，不亦可乎！”曹丕最後一次南伐後由廣陵回師洛陽，又下诏對司馬懿說：“吾東，撫軍當總西事；吾西，撫軍當總東事。”
曹丕臨終時，令司馬懿與中軍大将軍曹真、鎮軍大将軍陳群、征東大将軍曹休爲輔政大臣。還對太子曹叡說：“有間此三公者，慎勿疑之。”
【曹睿統帥】
在曹操以及曹丕時期，司馬懿都未能有過統兵作戰的經曆，一直到了曹睿掌權時，司馬懿才真正開始了自己的軍事生涯，當時司馬懿曆任大将軍、太尉。
相對其他人來說，司馬懿因爲已經位居高位，所以領兵的起點是很高的，一開始就是作爲統帥領兵作戰，司馬懿的首戰就是抵禦江東的入侵。在曹睿上台之後，孫權立刻就給了他一個下馬威，親自率兵攻打江夏，還派諸葛瑾和張霸攻襄陽，司馬懿領兵抵禦，擊退孫權，擊敗諸葛瑾，斬殺張霸。
太和元年（227），孟達聯合諸葛亮，密謀作亂，被司馬懿以閃電般的速度平定，此地專權的申儀也被司馬懿所調走，此戰是日後司馬懿三大戰功之一。這一年，明帝曹睿詢問司馬懿讨伐吳蜀之策，司馬懿認爲應該先讨伐吳國的荊州江夏一帶。次年，曹休出兵接應詐降的吳将周鲂，司馬懿也配合出兵，很快就被召回。
太和四年（230），曹真大舉伐蜀，司馬懿和張郃等人配合曹真出兵，司馬懿從西城開拓道路，水陸并進，沿着沔水逆流而上，直達朐忍，攻克新豐縣，駐軍丹口，後遇雨班師。
太和五年（231），因爲曹真病重還朝，明帝曹睿以司馬懿爲西線主帥對抗包圍祁山的諸葛亮，派他西駐長安，都督左将軍張郃、雍州刺史郭淮等防禦漢軍。
司馬懿先是保證了上邽一帶的大部分糧草，後諸葛亮退兵，與其在祁山的鹵城一帶開展了一次正面對決，司馬懿兵敗，略有虧損，諸葛亮因爲補給不足而退兵回漢中，他派出張郃追擊，結果張郃中伏戰死。
青龍元年（233），安定保塞匈奴大人胡薄居姿職等叛，司馬懿派遣胡遵等追讨并破降。
青龍二年（234），諸葛亮親自領兵第五次率領大軍讨伐曹魏，雙方在五丈原一帶開展對峙，諸葛亮先期強攻不克，于是邀請司馬懿正面對決，司馬懿避戰，後期諸葛亮在半兵半農，甚至送花衣服的情況下司馬懿仍然拒絕出戰，最終諸葛亮病逝五丈原。
熬死諸葛亮後，司馬懿一度出兵追擊，蜀将楊儀返旗鳴鼓，做出回擊的樣子，司馬懿以‘窮寇莫追’收軍退回。後蜀漢内鬥，楊儀殺死魏延，司馬懿想趁機伐蜀，被曹睿拒絕。次年，司馬懿升任太尉，累增封邑。蜀将馬岱入境侵擾，司馬懿派牛金迎擊，斬蜀軍千餘人。武都氐王苻雙和強端率領其屬下六千餘人來降。
景初二年（238），曹睿派司馬懿第三次讨伐遼東公孫淵，他聯合幽州刺史毌丘儉等人一舉将遼東平定。次年，曹睿去世，以太尉司馬懿和大将軍曹爽輔政幼帝曹芳。
【曹芳權臣】
在曹芳時期，先是曹爽奪權，以司馬懿爲太傅，明升暗降，将曹魏的政治和軍事大權逐漸控制在自己手中，因爲曹爽是曹魏親族，司馬懿無法阻止，隻能看着曹爽專權。正始二年（241年），孫權發兵數路大舉北伐，司馬懿親自出兵擊退吳将朱然，後來還從諸葛恪手中奪回皖城。
在曹爽出兵伐蜀以及幽禁郭太後的事情上司馬懿都反對過，可惜都無果而終，無可奈何的情況下司馬懿隻能稱病回家，密謀打倒曹爽。
曹爽在後期已經準備謀逆，于是派李勝試探司馬懿，司馬懿輕易的将其忽悠，使得曹爽等人不再重視。正始十年（249）司馬懿最終在曹爽三兄弟和曹芳一起祭掃魏明帝的墳墓高平陵時，在洛陽發動政變，一舉将曹爽趕下台。
政變之後，司馬懿成爲了曹魏的實質主宰，他打壓曹氏親族，提拔自己的親信，爲日後司馬家上台奠定了基礎。
嘉平三年（251），淮南軍事統帥王淩準備作亂，司馬懿親自南下一舉平定叛亂，王淩自殺，事後司馬懿不久就去世了。