滕胤的伯父滕耽以及父親滕胄南渡江南後，依附家族世交、揚州刺史劉繇。二人後來入仕孫權，滕耽官至右司馬，滕胄也因善于文筆，受孫權敬待，但可惜兩人都是早年亡故。滕胤年十二，便已痛失父伯，孤單一身，但他始終能堅持治身厲行。
黃初二年（221年），孫權稱吳王後，因爲他們二人的恩情，而封滕胤爲都亭侯。滕胤爲人白晳，儀表不凡，相貌堂堂。滕胤每逢正朔之日入宮朝賀觐見，朝堂上的大臣見到後，無不對其大加贊賞，受到當時很多人賞識。
孫權曾問諸葛恪：“你比滕胤如何？”諸葛恪便開玩笑答道：“在朝堂之上，舉止得當，禮節周全，受人贊賞，臣的确不如滕胤；但要論運籌帷幄，決勝千裏，滕胤就比不上臣了。”
滕胤成年後，迎娶了公主，孫權十分看重滕胤，甚至因此而增加對公主賞賜，幾次看望公主夫婦。三十歲時，滕胤擔任丹楊太守，後又擔任過吳郡和會稽太守。滕胤經常上表陳述自己的施政主張，反映民間的風氣優劣，對國家政策多有匡弼。但滕胤沒有因此志得意滿，他得到的恩寵越多，擔任職位越高，越發謹慎小心，謙卑待下。滕胤每次主持訴訟及斷罪時都對與訟者觀言察色，務求判決合符情理。所以人民每有冤情都會向他申訴，每到一處都享有聲望。
黃龍元年（229年），孫權登基稱帝，滕胤受命與張昭、孫紹、鄭禮等，仿效周、漢舊制，撰定吳國的朝儀制度。孫和被立爲太子後，魯王孫霸意圖争奪太子之位，于是朝臣乃至于地方官僚逐漸分裂爲支持太子或者魯王兩派。丞相陸遜、大将軍諸葛恪、太常顧譚、骠騎将軍朱據、會稽太守滕胤、大都督施績、尚書丁密等支持太子孫和，骠騎将軍步骘、鎮南将軍呂岱、大司馬全琮、左将軍呂據、中書令孫弘等依附魯王孫霸，兩派勢同水火，争奪不止，使得吳國幾乎陷入政治危機。
太元元年（251年），吳大帝病重，召滕胤到建業留任太常。太元二年（252年），孫權駕崩，滕胤與太子太傅諸葛恪、少傅孫弘、蕩魏将軍呂據、侍中孫峻等人一同受遺诏輔政。太子孫亮即位後加滕胤爲衛将軍。同年，曹魏進攻東興，諸葛恪等領軍成功地擊退曹魏的入侵，諸葛恪此後便有輕敵之心，開始打算攻打曹魏。
建興元年（252年），會稽王孫亮登相位，加衛将軍，領尚書事。
建興二年（253年），諸葛恪貿然違衆出兵，大發州郡二十萬衆北伐曹魏，百姓騷動，人心不安，滕胤勸谏他說：“您在先帝去世新君繼位時，接受了伊尹、霍光一樣的重托，入則安定本國朝政，出則摧毀強大外敵，名聲傳揚全國，天下無不震動，百姓的心願，期望得以依賴您而安甯。如今在大興勞役之後，興師出征，百姓疲憊、國力虧虛，遠方國家的君主有所防備，如果攻城而不能克，野戰而無所獲，這就會喪失以前的功績而招緻以後的責備。不如按兵息師，伺機而行。況且出兵作戰是重大事情，此事要靠大衆才能成功，衆人如果不高興，您豈得獨自安心？”諸葛恪說：“大家說不可出兵，是他們都無計慮，心懷苟且偷安的思想，而您也認爲他們是對的，我還有什麽指望？因爲曹芳昏聩無能，而他的政權被控制在臣下手中，他的臣民本就懷有離心。如今我利用國家的力量，憑借戰勝的威勢，則所向之處哪能不獲勝？”
由于滕胤與諸葛恪是兒女親家（滕胤之女嫁與諸葛恪之子諸葛竦爲妻），因此諸葛恪出征後又命滕胤爲都下督，負責掌管國内一切事務。滕胤遂日夜勤勞工作，甚至整晚都不睡覺，所有表奏書疏，他都親自批閱處理，從不随意交給屬下代辦。後來諸葛恪北伐失利，聲望大跌。同年冬，吳主孫亮與武衛将軍孫峻商議準備在諸葛恪入宮觐見時趁機殺之。散騎常侍張約、朱恩等密書給諸葛恪，勸其注意提防。諸葛恪猶豫不定，在宮門前遇見滕胤。滕胤因不知孫峻陰計，勸其入宮朝見。諸葛恪将密書給滕胤看後，滕胤于是馬上勸其暫且回府。諸葛恪認爲孫峻最多隻能在酒食中下毒而已，因此自帶酒水進入，後果然被殺。
諸葛恪被殺後，孫峻開始專政，群臣上奏推舉孫峻爲太尉，滕胤爲司徒，但有意圖讨好孫峻的官員以“大統宜在公族，若滕胤爲亞公，聲名素重，衆心所附”，将使朝政分化爲由而反對，最終孫峻升任丞相，卻沒有讓滕胤擔任禦史大夫，一衆士人皆感到失望。滕胤也以自己是諸葛恪的姻親爲由請求辭職，但被孫峻挽留，更爲滕胤進爵高密侯。雖然二人事實上關系并不融洽，但始終表現得互相包容，繼續共事。後來孫峻想要在邊境廣陵地界城防，朝臣都認爲那裏難以建城，但因畏懼孫峻而不敢勸谏。隻有滕胤一人表示反對，但孫峻不聽從，最終城池果然沒有建成。
五鳳三年（256年），孫峻在北伐曹魏途中亡故，其從弟、年僅26歲的偏将軍孫綝把持了朝政。原本吳國衆臣就對孫峻以宗室身份獨攬大權以及作惡多端而不滿，因此不希望再看到同爲皇親宗室的孫綝繼續壟斷朝廷大權。滕胤的連襟骠騎将軍呂據聯絡北伐前線諸将上書推薦滕胤爲丞相，希望以此分割孫綝的權力，防止他擅權專政。但孫綝則任命滕胤爲大司馬，代替不久前逝世的呂岱鎮守武昌。呂據于是率軍返回，派人通知滕胤，密謀推翻孫綝。孫綝知道後，一方面派兵攻擊呂據，另外派遺侍中左将軍華融，中書丞丁晏要滕胤立刻出發捉拿呂據。滕胤見狀，立刻擁兵自衛，并向典軍楊崇及羽林督孫咨說是孫綝作亂，逼華融等人作書駁斥孫綝。孫綝則上表說滕胤造反，派将軍劉丞派兵圍困滕胤。滕胤于是逼迫華融、孫咨等人矯诏發兵協助自己，華融等因不從而被殺。