面對清軍的大兵壓境，小刀會最大的勢力陳阿林部還是做出了妥協，默認小刀會歸附太平天國，自己雖然不認可但也不公開反對。
劉麗川舉起太平天國大旗，自封爲太平天國讨招大元帥，并派人前往南京向洪秀全遞交願意歸附的信件。另外羅大綱下達了所有小刀會成員必須全部将所搶的錢财上交，統一使用，不願意繼續跟着小刀會守城的人員，發放十兩銀子路費回家，但所搶錢财必須留下。
陳阿林主動配合了這一方針，當然羅大綱也和他做了内幕交易，他把搶來的二十萬兩庫銀上交劉麗川，之後劉麗川又把這錢已發放軍饷的由頭重新還給了他。但其他小幫主上交的錢就不全部退還了，一些不義之财直接沒收。
就這樣經過羅大綱一番整頓，上海縣城内的軍紀煥然一新，雖然又流失了一部分成員，但留下來的都是心裏想做一番事業，鐵了心和清廷造反的，那些投機分子則主動選擇了離開。
話說那李鹹池通過賣人質，發了财，三千兩銀子發了軍饷，還有五千兩銀子他打算私吞了。但羅大綱一到來，讓他美夢無法成真，他暗中派親信去租界碼頭買船票，準備帶着錢一走了之。
可他萬萬沒想到，楊小山通過阿富阿貴和城裏的羅大綱取得了聯系，并把李鹹池那筆銀子的事告訴了羅大綱。羅大綱每天都在等李鹹池上交這筆錢，結果他遲遲不交。
這一天夜裏，李鹹池和幾名親信偷偷流出上海縣城，來到租界，準備逃回他的福建老家。
天蒙蒙亮，他迫不及待的準備登上前往泉州的船。
“李鹹池，你往哪裏跑？”李鹹池萬沒想到城裏城外楊小山和羅大綱早就布好了人，監視他的動向。
一直等到他準備登船，抓了他一個人贓并獲。因爲李鹹池畢竟是個幫會頭目，防止他下面的人不服，必須有鐵證才能辦他。
這一下人證物證聚在，他的親信招供了李鹹池打算攜帶錢财逃跑，他懷裏的五千兩銀票和前往福建的船票都是鐵證。
羅大綱對着他的手下，出示了這些證據。他的手下是義憤填膺，想不到自己的幫主藏了這麽多錢就把他們丢下不管了。憤怒的人群沖了上來，對着李鹹池就是一頓拳打腳踢，他們紛紛高喊“死刑！”
于是羅大綱順應大家的意願，把李鹹池當衆砍了，以肅軍紀。
經過一番整頓，小刀會的成員終于團結了起來，但很快清軍的水軍，首先到了上海縣城的小東門。
這一支清軍由總兵泊承升帶領，十多艘戰船，其中還有四五艘炮船，打算轟開小東門。
水軍出身的羅大綱毫不示弱，率領七八條義軍的小船應戰。他非常沉着，指揮小船快速在清軍大船中間穿插，并丟擲火瓶。
清軍戰船濃煙滾滾，損失嚴重，數百人落水。剩餘的船隻被羅大綱引誘到小刀會炮台的射程内，又被擊沉數艘。
這一下清軍的船隊全亂了，羅大綱抓住戰機重新反擊。重創清軍戰船，并俘獲了一艘炮艦。
清軍總兵實在沒有辦法，帶領殘軍敗将逃入外國碼頭，這才躲過一劫。但經過這一戰，清軍的水軍被殺得完全沒有了戰鬥力，再也不能單獨出戰了。
但上海縣城的危機依舊沒有解除，清軍巡撫吉爾杭阿和總兵虎嵩林率領一萬多清軍包圍了上海縣城。
并在縣城西北發起進攻，先頭部隊幾百人呐喊着向起義軍沖擊，抛擲大量的火球等其他投擲物，然後樹起雲梯登城，已有七八人登上了城牆，同時大量清兵沖出軍營，用火絹槍、火铳和其他武器向城牆射擊。起義軍吹響螺号，在羅大綱等人的指揮下奮勇還擊，向敵人投擲火彈、火罐、灰包和巨石，戰鬥非常激烈。
登城的敵人很多打得墜落下去，已上城牆的敵軍寡不敵衆，當場被擊斃數人，其餘見勢不妙，跳牆而逃。在起義軍的猛烈火力攻擊下，敵人隻得撤退。與西北面清軍相呼應，南面清軍也展開攻勢，重炮轟城，轟塌城垛多處，并施放火箭，點燃城上的起義軍帳房。
與此同時，總兵泊承升率領剩下的戰船，在小東門碼頭一帶，向起義軍炮台偷襲。起義軍以炮火還擊，炮聲轟轟，連綿不絕，一直持續了幾個小時，最後敵船退往蘇州河口。
這一天，起義軍經過浴血奮戰，打退了敵人從三個方面的進攻，保住了上海縣城。
但清軍不甘心失敗，在城西四明公所内偷偷修築炮台，運來一門門強火力的大炮。同時清軍又在營盤内造好許多高台，與城牆一般高，頂上作成傾斜面，以便作戰時把這些高台放在城牆邊登城。清軍還在高台上面演習攻擊，這些高台，實際上是一種較穩固的雲梯。經過一番準備和策劃，清軍開始了大規模的連續攻城。
四明公所的炮台安裝完畢，清軍便發炮轟城，同時在縣城的北門和南門外攻城，起義軍頑強抵抗，打退了敵人的一次次進攻，打死敵人19人，打傷多人。
次日大霧彌漫，清軍攜帶雲梯、噴筒，準備乘霧襲擊縣城，起義軍也裝扮成清軍模樣前往襲擊四明公所炮台，兩軍相遇展開激戰，起義軍邊戰邊退，直到日出霧散，才返回城中。這次戰鬥，起義軍擊斃清軍千總陳鎮川等人，打傷數十人，自己也有些損失。
之後連續幾日，清軍從北面、西面和南面向上海縣城發動全面攻擊，在兩個小時内耗盡所有彈藥。起義軍在多于自己數十倍敵人的攻擊下，英勇地堅守着陣地，向清軍發起數次沖鋒，最後打退了清軍的進攻。
清軍連續七晝夜的進攻，妄圖奪取上海縣城，在起義軍的嚴密防守和猛烈反擊下，清軍屢遭失敗。
清軍惱羞成怒，在城郊的燒殺搶掠，犯下了滔天罪行。上海縣城東郊，原是繁華的商業區，民房店鋪棧号相連。吉爾杭阿指揮清軍在這裏放火，使小南門至大、小東門一帶的2000多間房屋被燒毀。原來人煙稠密，非常富庶的東郊，竟變成凄涼無人的地帶了。清軍趁火搶劫，大批贓物被他們無恥侵占，發了一筆戰争财。
經過這麽多天的猛攻，清軍都不能攻破上海縣城，通過戰場的磨練和羅大綱等将領的指揮，小刀會的起義軍也迅速成長起來，不再是一支孱弱不堪的隊伍，而是一支意志堅定，能打硬仗的軍隊。