百团大战还是按照历史的轨迹进入第二阶段——攻坚战役期间。虽然有种种不利条件，但八路军主力各部的攻坚战还是取得了巨大的成果，因为有简单实用的大威力抛射弹、迫击炮平射的有力条件，拔除鬼子据点不再复有历史上那种难以克服的困难。
第二阶段战役初始，八路军各部迅速攻克了日伪军大量据点，大片平毁封锁沟、墙，猛烈打击伪政权组织，不但使被分割的根据地重新连成一片，还扩展了根据地。
九月中旬，日军驻蒙军主力一部到达绥远战场，面对凶猛反扑的鬼子援军，绥远战区主力以避战、防御、坚壁清野为主，保存实力根本就不给鬼子正面接触的机会。
绥远鬼子虽然也屡次对八路军展开激烈报复，偷袭、破坏、分进合击等招数层出不穷。但鬼子根本就无法抓住八路军主力，相反，因为八路军有出色的情报支持，一旦鬼子大部队摸来了，八路军主力部队就立刻打散开走，潜入敌人后方进行偷袭、骚扰。
即便是坚守在地道里的基干民兵，也使鬼子有村不能进、有水不敢喝，异常狼狈。
同时，绥远地广人稀，很多地段的铁路几乎没有人烟，这给八路军军民创造了良好的战斗机会。早在开战之初，绥远支队总部就给下面下了任务“指标”，只要到鬼子的交通线上拆卸一根钢轨、挖出一个大坑，就算是破坏了交通线、完成了任务！如果能够将钢材、设备运到绥南根据地，主管后勤的八路军干部就会出钱购买这些钢材，只是要特别注意一点，那个主管收购钢材和设备的八路军大首长的心很“黑”，叫什么“李信”来着，无论如何也要和他讨价还价，不然就要吃大亏了……
百团大战的整个第二阶段，绥远军民依靠破袭战（破坏交通）、地道战、地雷战、游击战、麻雀战、运动战不断零星消耗着日伪军的有生力量。在我主力部队伤亡及其轻微的情况下，屡次从鬼子的“围剿”中脱身而出。
可以毫不夸张地说，当其他根据地都在进行攻坚战役的时候，绥远八路军一直都在竭力回避正面作战。
第二阶段末期，战局和刘云所“敏锐观察”的那样，在百团大战第二阶段的攻势中，国共两党军队取得胜利的同时，其攻坚战依然不同程度受挫，甚至是遭受了沉重打击！日军从猛烈的打击中恢复过来后，随即利用中国军队实力受损的机会，开始了疯狂反扑，企图围歼我军主力，毁灭各抗日根据地。
时间不知不觉到了十月，百团大战进入第三阶段——战略反“扫荡”期间，八路军总部要求各部进行深入的战斗动员，将部队置于适当位置，坚决粉碎敌之一、两路进攻之敌，并注意各区的策应。
早在反“扫荡”初期，彭总就发现日军在“扫荡”根据地时，很多时候都是以一个大队为一路。由于一个大队的兵员少，集中起来较为容易，行动迅速，使得我军在屡次反“扫荡”中准备时间都相当仓促，十分不利。
为摆脱这种被动局面，彭总要求一二九师趁各路日军返转之机，寻歼敌之一个大队，以震慑敌胆，使之不敢再以一个大队为一路实施进攻。这样就能够使日军以后“扫荡”的时间间隔延长、空隙增大，从而在日后的反“扫荡”中增加我军的回旋余地。
十月下旬，日军冈崎大队五百余人，辎重民夫四百余人，一头撞入了八路军的视线。八路军总部随即电令一二九师集中主力歼灭该冒进之敌。
关家垴斜坡对面有一处更高的山冈——柳树垴，它与关家垴互为犄角，从柳树垴上可以用火力控制通往关家垴的小路。
战斗打响后，八路军的攻击部队在进攻关家垴的同时，另外组织三个营的兵力连续攻击柳树垴。但是战斗从一开始就极为不顺畅，使用了密集掷弹筒和大威力抛射弹（都为自造），在炮火的有力支援下，经过和占据地理优势的鬼子反复争夺，八路军付出了巨大伤亡后，才夺取了这一个宝贵的高地，随后居高临下用炮火打击关家垴日军主力。
在随后的关家垴之战中，又遇到了更大的麻烦。首先是鬼子的飞机呼啸而来，一些战士还不知道如何躲避飞机轰炸，盘旋在头顶的鬼子轰炸机又造成了很多不必要的伤亡。