在1904年11月，商部爲監督各省各段鐵路建設，提出設立路務議員，在此之前制定了《路務議員辦事章程》12條，分發各省督撫，希望能得到配合。商部設置路務議員是爲了統一全國鐵路建設，其重點是控制财權與用人權。這一設置危脅到了神作書吧爲兼任全國鐵路督辦大臣的劉飛揚的反對。這一設置必将受到督撫們的抵制。
劉飛揚在接到章程的第二天，就将反對意見呈奏。奏章中對章程進行了逐條地反駁。
袁世凱在奏章中提出政治改革、新機構設置帶來的權限劃分問題。他認爲國家設官任職，關鍵之處在于劃清“立法、行政”兩類機構的權限：内而各部皆爲立法之地，此中央之所以集權；外而各官皆爲行政之人，此地方之所以寄治。
劉飛揚強調，在當時的情況下，中央各部與地方各省之間，在推行政務的過程中，應該通過各部首腦與各省督撫發生往來，中央部堂的意見不應該越過督撫而通過直屬機構聯系。他警告說，如果中央蹴然間實行高度集權的手段，會造成權限不明，如果行政關系不夠順暢，則可能導緻嚴重的後果，甚至“事堕法亂，而國危矣”！他特意明确說，他提出這個意見的初衷是“政體攸關，治亂所系”，無意與“部臣争事權”。
随着彼此之間裂縫的擴大，剛剛走向政治前台的保皇黨少壯派由于缺乏政治資源，未掌握實權，而是在政治感情上造成了地方督撫更大的離心傾向，在實際利益上地方督撫的權力受到了侵蝕。同時，地方督撫權力在短時間内被削弱，在操神作書吧上也增加了政啓推行新政的難度。劉飛揚與清庭的矛盾加劇，劉飛揚越發的表明出政治離心傾向。
在政啓上台半年後，從劉飛揚控制的十二個軍的新軍中抽調出6個，交付新任陸軍部尚書德興阿親自指揮，同時宣布各省新軍統歸陸軍部掌管。盡管在表面上實現了軍事中央集權，但是這種集權是極其脆弱的，因爲鐵良雖有治軍之才，卻并不能在短時間内獲得新軍中上層軍官的支持，劉飛揚在軍中的威望還存在着，新軍中從上到下都是他一手培養出來的人。另一方面，政啓對劉飛揚本人的過度排斥也激起了他的離心傾向和戒心。
1904年12月底，政啓皇帝本欲以“跋扈不臣，萬難姑容”的罪名，嚴懲劉飛揚。
載濤和載澤也從集權中央的角度出發，建議政啓将劉飛揚嚴加處置：“此時若不速神作書吧處置，則内外軍政方面，皆是劉飛揚之黨羽；光緒一死，在劉飛揚的心目中已無人可以鉗制他了，異日勢力養成，削除更爲不易，且恐禍在不測。”
民主黨的某些領導人因爲在感情上不能容納劉飛揚，也乘勢煽動，康有爲在《上政啓皇帝》書中，請“殺賊臣劉飛揚”。
但是張之洞卻極力反對，勸告政啓不可感情用事——“主少國疑，不可輕于誅戮大臣”，請求允許劉飛揚辭職“緻休榮養”。張之洞之所以能在入軍機後與劉飛揚相容共處，并于關鍵時刻袒護劉飛揚，一因其二人都是在地方督撫的位置上崛起的漢族官員，是中央集權的重點削弱對象，有共同的政治命運。二因保皇黨少壯派的崛起在客觀上削弱了張之洞的政治影響，張之洞雖入軍機，但徒擁高位。政啓雖然在感情上希望籠絡這位老臣，常以拟就谕旨使其複核，“然垂詢之意，僅在文義之協否，而非事實之當否也”，一旦涉及實際操神作書吧層面的問題，政啓并不尊重張之洞的意見，所以張之洞雖有所“谏诤”，但“孤掌難鳴”。
政啓就懲戒劉飛揚之事還密電征詢新軍中的高級軍官意見，兩江總督第二軍軍長劉洪恩、東北總督第四軍軍長林鎮偉的答複是：“劉有何錯可責，若責劉，則先解除臣等職務，以免兵士有變，緻辜天恩。”
政啓最終于1905年4月2日以降下上谕：“軍機大臣、直隸總督、北洋大臣劉飛揚，夙蒙先朝擢用，朕登極之後，複與殊賞，正以其才可用，使效馳驅，不意劉飛揚嶽丈譚鍾麟病逝，着即開缺，歸家其憂，以示朝廷體恤之意。”
很顯然，在上谕用語中政啓十分慎重，這應是他權衡利弊後的決斷。劉飛揚接到“歸家其憂”上谕後，即向政啓辭行，從京師返回上海。
政啓受德國皇室策略影響很深，他曾親眼目睹德國皇族從幼年時起，就身受極嚴格軍事訓練，他認爲國勢的強盛即源于皇室的強盛。但他身邊支持者當中，除了載澤、端方等少數人外，都沒有太多的政治經驗。他在不待羽毛豐滿之時，就迫不及待地向劉飛揚開了刀。
政啓對劉飛揚的驅逐也爲日漸高漲的革命派的反滿宣傳提供了又一個有力口實。
清代兩百多年，滿漢民族矛盾一直尖銳，加之政啓上台後以打擊劉飛揚爲首要目标，因此，革命派常誇大民族矛盾在政争中的影響，把政啓的集權政策歸結爲打擊漢族勢力，實行滿洲貴族集權，把政争說成滿漢之争。
其實，光緒政争雙方多爲漢族大臣，如1902年“百日政潮”時的瞿鴻禨、岑春煊和劉飛揚、康有爲之争，而政啓時期的政争基本上在朝庭中重臣間展開。滿人集團内部也産生混戰。載濤、載澤、善耆在對付劉飛揚時結成統一戰線，但在政治利益面前，他們的分歧也愈來愈深。善耆雖然反對劉飛揚，但他對政治兄弟三人是極力敷衍，貌合神離，在憲政問題上與政治存在分歧，反對速開國會，設立内閣，對民主黨也極力反對。德興阿在政啓上台之初對他十分倚重，但不久就将他抛棄。政啓這樣做出于兩方面考慮：一是德興阿在滿洲親貴中号稱“知兵大員”，軍中聲望僅次于劉飛揚，既有才幹，又有經驗，若由他掌握軍隊，政啓兄弟勢必大權旁落；二是政啓等認爲德興阿曾受劉飛揚提拔，與劉飛揚關系不一般，不去德興阿，則劉飛揚勢力依然存在，仍将永遠把持朝政。在政啓等人的排擠下，德興阿隻得托病辭去陸軍大臣。載澤爲保皇黨有頭腦、有膽識的幹将，但亦與載洵、載濤不睦。
政啓打擊的對象既有劉飛揚這樣的漢族重臣，又有奕劻、德興阿這樣的滿洲貴族；既有阻撓立憲的蒙古人陝甘總督升允，又有玩忽憲政的漢人毛慶藩。依靠的對象既有載洵、載濤、良弼等少年親貴，又有吳祿貞等大批漢族留英士官生。清末政争，不僅有漢族大臣參與，更有滿洲貴族充當主力，政争的任何一方，都有漢人參與支持。因此，清末政争早已超過滿漢之争的範圍。參與政争的各派均爲預備立憲的實際主持者。政啓的保皇黨少壯派主要人物都堅持立憲，如度支大臣端方、商部大臣載澤、陸軍部大臣鐵良。較受立憲派擁護的海軍大臣載洵也與民主黨暗中往來。論争雙方的中心問題是自己一方在預備立憲中的地位，新内閣中的職位如何分配即爲焦點。