就这样，还算颇识时务的屠阿丑和程宰等人，抢掠嘉善县城之后，带着大车小车的粮食、布匹，以及抢来的牛马猪羊，弃了嘉善县城，一路往西而去。
情形与他们想象的一样，他们离开不久，范景文就从杭州带着匆忙征集来的卫所兵，赶到了嘉兴府城，得知详细情况之后，一边上报，一边指挥人马前去收复嘉善县城，同时一边派人前去侦察乱民的去向，一边等待着朝廷和闽浙总督府的指示。
而屠阿丑带着千余乱贼和数千被迫从贼的乱民，围攻嘉兴府城一路往西而去，驻守湖州府内的各地巡检司，都是一触即溃，根本抵挡不住。
结果，从嘉善出发半月之后，一路上抢掠村镇，裹挟百姓，队伍像滚雪球似地不断壮大，很快就发展到了两万多人。
然而这两万多人看着声势浩大，却实在是一团乱麻。
一开始还有不少从嘉善县城几家粮行之中抢来的粮食可供食用，但到了湖州府城所在乌程县附近之后，前来投奔的、一路裹挟的乱民太多，而这些乱民的骨干即太湖水贼，又没有什么当家理财的好手，所以沿途抢掠而来的粮食很快就食用一空。
在没有办法的情况下，原本并不想再去攻打州府的屠阿丑，无奈之下听从了程宰、陈大郎以及自己手下的建议，领着一帮子纪律松散、战力低下的乱民冲击湖州府城，企图打破之后，再大肆抢掠一番，然后逃往浙西的深山中隐匿过冬。
可惜的是，屠阿丑等人一路抢掠，声势十分浩大，这也让湖州府的知府赵建极很早就接到了警讯，因此也早就下令各县坚壁清野、据城固守，做足了防范的准备。
屠阿丑等人围攻湖州府城十来天，除了伤亡不小之外，一次都没有登上城头。
因为缺少粮食和武器，特别是缺少制作大型攻城器械的工匠，屠阿丑等人在湖州府城外停留了十来天，最终无功而返，不得已撤围而去。
期间，还被主动带领乡兵出城追击的乌程县在乡贡生凌玄房大败了一场。
最后，在湖州乡兵领袖凌玄房的远远跟随追击之下，屠阿丑带着两万多饿着肚子的乱民，再一次往西流窜而去，在一伙山贼的接应之下，转转反侧，来到了天目山西北端，即后世皖南与浙西交界之处的牛头山，一头扎进了山里，算是暂时站稳了脚跟。
凌玄房所带湖州乡兵不过千余人而已，屠阿丑带领的乱民在牛头山乱贼的接应下上了山，进了林，也不敢进山追剿，只好一边让人回去禀报知府赵建极，一边率领着自家出资募来的乡兵，汇合了长兴的巡检司乡兵，在牛头山东面的二界岭扎下了营地。