東征孫權的大軍已經啓程，而這一次張墨被委任爲軍師祭酒，這個職位先前一直是郭嘉擔任，郭嘉死後，曹操便不再任命軍師祭酒，這一次曹操突然任命張墨，使得所有人都開始注意起張墨來，都覺得張墨的前途不可估量。
整整四十萬大軍開拔，從合肥進軍濡須口，沿路過去勢不可擋，攻破了江北營，俘獲都督公孫陽。
曹操命人帶兵乘船去江心島，并在上面建立據點，可惜的是孫權一面向劉備求救，一面派七萬水師将江心島攻破，上面的曹軍幾乎死傷殆盡，曹操不得不退守濡須。
曹軍吃了點虧後，張墨建議曹操暫時閉營不出，與孫權相持。
孫權數次派人挑釁，但是曹軍都閉營不出，爲此孫權竟然親自乘船來到濡須口觀察曹軍。
曹操發現了之後，便命人拿箭矢去射孫權乘坐的小舟，孫權命人用盾擋在一側，因爲箭矢過多，小舟失重，孫權竟然泰然自若的指揮麾下士卒将小舟調轉過來，以另外一面受箭，随後達到兩面平衡。
爾後孫權還命小舟内的人奏樂鼓吹，迂回行駛小舟，秀了一把操作後揚長而去。
曹操看完孫權這套操作以後，由衷地對一旁的張墨感慨道：“生子當如孫仲謀，劉表那兩個兒子簡直如狗彘一般。”
兩軍僵持了一個月以後，孫權送信給曹操，上面寫了一句話‘春水方生，公宜速去。’，同時用另外一張紙寫着‘足下不死，孤不得安。’，曹操看完之後便下令退回邺城，暫時放棄了濡須口。
回去的路上，曹操問計于張墨該如何在淮南區域對抗孫權。
張墨略一思索回答道：“淮南之地多有瀕江區域，想要争奪殊爲不易，唯有徐徐圖之，一點點蠶食孫權勢力方爲上策，第一步便是要保持前方城池百姓不爲孫權所擄掠，以我之見，丞相可屯兵州郡，以屯田來供養軍隊，逐步推進，大事可成矣。”
曹操聽完之後撫掌稱贊道：“伯端所言甚是，不過保持百姓最好的辦法便是将他們遷入内地。”
張墨眉頭一皺，并不認同，不過曹操有他自己的判斷，不聽張墨的勸阻。
在回邺城後不久，曹操便再次準備攻打濡須口，同時他采納了張墨的部分建議，但是也自己做了調整，曹操命淮南區的百姓，共計上十萬戶百姓悉數遷徙到内地。
揚州别駕蔣濟特意前來勸阻曹操，陳說利害，希望曹操能改變主意，但是曹操不聽。
其結果便是廬江、九江、廣陵等諸郡十餘萬戶百姓往孫權所占據的區域跑，合肥以南隻剩下皖城還有人口，其餘地方都成了空城。
這時候曹操又開始調動廬江太守朱光從舒縣移屯到皖城，大肆開墾種植糧食，用以供應軍隊糧草。
張墨得知消息後第一時間去見曹操，并提出建議道：“丞相，此時合肥南面幾乎已成空城，隻留皖城一地，而朱光獨自一人必定難以維持，不如趁機派駐軍隊将其餘城池也悉數屯駐，不但糧食可以豐收，城池間也能互相守望，有個照應。”
曹操聽完張墨的話并沒有采納，張墨略顯失望的退了出去。
果不其然，一段時間後，呂蒙率兵攻城，大破皖城，俘虜朱光以及數萬男女，曹操的屯田計劃也相應夭折。
可是這個時候的曹操就好像輸紅了眼的賭徒，竟然決定再次出征濡須口，而且明确讓曹植留守邺城，這一舉動也讓曹操麾下的文臣武将想入非非，他們都揣測曹操有立賢不立長的趨勢，一時間曹植的府邸上多了許多客人。
曹操帶着張墨和曹丕一同前往濡須口，奈何這一次孫權和他們玩起了躲貓貓，一直閉門不戰。
曹軍有種出拳打到棉花的感覺，僵持一段時間後，曹操不得不下令班師回朝。
至此，濡須口之戰徹底落下帷幕，以曹操的失敗而告終，這裏面曹操走了一步最錯的棋就是命令百姓内遷，緻使大量百姓逃往孫權所占據的郡縣，從而使得合肥以南方向的城池悉數空虛，難以維持。
屋漏偏遭連夜雨，這邊濡須口失利，另外一邊益州已經被劉備順利拿下，現如今的劉備已經坐擁兩州之地，實力也上升了一大截。
曹操得知這一消息後，立即召見張墨商讨對策。
張墨聽完益州之事時，暗歎了一口氣，心裏爲劉璋默哀了一番，他也知道益州之變的大概經過，劉備雖然沒有對失敗的劉璋痛下殺手，但是劉璋的日子肯定不會太好過。
曹操見張墨神色有異，當即有些奇怪的問道：“伯端可是身體不适？”
“哎，隻是想起一些事情，在下曾在劉璋麾下呆過一段時間。”張墨有些唏噓的說道：“現如今劉備入主益州，想必劉璋是在劫難逃了。”
“生不逢時呐。”曹操也感慨了一番道：“想那劉備一直寄人籬下，誰曾想這沒幾年時間便有如此變化，當真是氣運加身。”
張墨感慨完之後，立即對曹操提議道：“漢中北橫秦嶺鄰關中，南亘巴山連三巴，有漢水從東西橫貫流過，地形險惡，易守難攻，是進入益州的咽喉之地，若是不早做打算，被劉備搶了先機，益州便可成爲一固守之地，極難打開。”
“漢中張魯如何？”曹操問道。
“我曾與他有過交集。”張墨回應道：“此人不善甲兵，雖割據一方，但是無争霸之心，隻需高官厚祿便可使他歸降，但他麾下的人未必會束手就擒。”
“好，西征漢中，勸說降張魯之事便交由你來做吧。”曹操拍闆決定道：“我們可從陽平關入漢中，經武都、陰平郡，順便把韓遂解決了。”
“喏。”張墨相信張魯是會歸降朝廷的，因爲張魯相較于當官，更喜歡習練道術，傳教于人，張墨最擔心的便是張魯身邊的人不願放棄漢中，從而裹挾着張魯對抗曹軍。