回到濠州后，朱元璋把招募的士兵全都交给郭子兴，郭子兴十分高兴，好好地夸赞了朱元璋一番，提升朱元璋为镇抚。
升职加薪自然是好事，可是朱元璋却高兴不起来，为什么呢？元军被击溃后，彭大和赵均用先后称王，内部争斗有开始露头，这样下去，都得困死在这濠州城，这些人，跟一群螃蟹一样拼命地互相往下扒拉对方，得另谋出路，朱元璋心想。
纪律涣散，只知劫掠财物，这样下去，能有什么前途？迟早被别的队伍吞了。
朱元璋向郭子兴请求去攻打定远，当时郭子兴也正训斥郭天叙。少不得又得遭到郭天叙嫉恨，朱元璋没想和他一较短长，他是郭公子，只是不想看着他作恶而袖手旁观。
虽然获得了郭子兴更深的信任，可是朱元璋意识到内斗不断，继续留在濠州很难有出路，于是请命率领淮西二十四将去南略定远，其中包括徐达、汤和、吴良、吴祯、花云、耿再成、郭兴、郭英、唐胜宗、路仲亨等人。
元至正十四年（公元1354年），朱元璋先后招降了驴牌寨三千民兵、豁鼻山秦把头的八百余“义兵”（地主武装），于六月向东攻打横涧山的缪大亨。
朱元璋派花云趁夜突袭，击败张知院，随后又成功招降了缪大亨，获得当地兵民七万余人，从中挑选出两万精壮男子严加训练。
不久，冯国用、冯国胜（后来改名为冯胜）兄弟前来归附，朱元璋询问平定天下的计策，冯国用回答：”金陵龙蟠虎踞，帝王之都，先拔之以为根本”（《明史·列传·冯胜》）。两年后，朱元璋率军攻下金陵，改为应天府。
过了没多久，朱元璋决定向东南出击，夺取滁州。
在南略滁州的途中，定远人李善长前来拜见，朱元璋曾从容地问：“四方战斗，何时定乎？”，李善长建议朱元璋效法汉高祖刘邦，“豁达大度，知人善任，不嗜杀人”（《明史·列传·李善长》），朱元璋连连称是，让李善长当参谋，跟着去攻打滁州。
这年七月，朱元璋攻占滁州。不久邓愈、胡大海前来投奔，朱元璋的队伍中又添了两名猛将。
与此同时，赵均用挟持郭子兴攻打盱眙、泗州，想加害郭子兴，此时彭大已经去世，他的儿子彭早住率领其部众，根本无法与赵均用抗衡。
朱元璋于是派人劝说赵均用别害郭子兴，而赵均用听说朱元璋兵力甚强，心里有所忌惮，不敢轻举妄动，朱元璋又让人贿赂赵均用左右亲近之人，帮忙说好话，郭子兴最终才得以脱身，率领万余部众来到滁州。
见到朱元璋的三万多军队纪律严明、训练有素，郭子兴十分高兴，朱元璋立即交给兵权。
郭子兴骁勇强悍，性情耿直，但脾气暴躁，遇上紧急的事情，总是与朱元璋商议，把朱元璋视为心腹，事后又时常听信他人的挑拨。刚过一个月，便有人在郭子兴面前说朱元璋的坏话，而且郭子兴的两个儿子郭天叙、郭天爵也常常搬弄是非。
郭子兴听信谗言，把朱元璋身边的亲信武将和谋士全都调走，夺去朱元璋的领兵权，“自是四方征讨总兵之权，上皆不得与”（《明太祖实录》）。郭子兴还想把李善长调到自己身边，但是李善长坚持不肯，只能作罢。
有一次，郭子兴一气之下把朱元璋关了起来，断绝饮食，马夫人听说后急忙偷拿了一张刚出锅的炊饼放在衣服里，给朱元璋送去，把自己都烫伤了，“后窃炊饼，怀以进，肉为焦”（《明史·列传·后妃》）
可是朱元璋没有抱怨，而是更加小心谨慎，对郭子兴毕恭毕敬。马夫人与丈夫齐心协力，把将士进献的财物全都送给郭子兴的夫人，有时甚至拿出自己的私房钱，夫妻合力，逐渐化解了郭子兴的猜疑。
这年十一月，元朝中书省右丞相脱脱率领百万大军围攻张士诚占据的高邮，同时分兵包围六合。