当毛泽东受到以王明为代表的“左”倾错误路线的打击，被撤销红一方面军总政委和前委书记职务时，陈伯钧也因坚定地支持毛泽东的主张被免去红十五军军长职务，调到红军学校学习。任红五军团参谋长时，陈伯钧因不满当时一些人在反“围剿”中的错误指挥，曾上书红军总部明确表达自己的观点，遭到错误批判，被降职为红十三师师长。但陈伯钧始终充满革命乐观主义精神，他率领的红十三师常常能在短时间内力克强敌，连打硬仗，曾被中革军委誉为“红军坚师”，毛泽东曾因看了该师连打胜仗的战报，兴奋地喊过“十三师万岁”。
红军长征
1934年10月18日，在第五次反“围剿”失败的大背景下，陈伯钧率部开始长征。他指挥的十三师为红一方面军全军后卫，掩护兄弟部队先后突破敌人四道封锁线。抵达湘江前，五军团参谋长刘伯承派人给他送来中央驻五军团代表陈云同志的一封信，说“这是紧急关头，关系中国革命的命运，希望你们下最大决心，赶快拉过湘江”。陈伯钧临危不惧，身先士卒，把坐骑让给了伤病员，亲率十三师在敌人夹击中打了一整天阻击战，十三师指战员前仆后继，终于掩护整个方面军渡过湘江。陈伯钧也因此在红军高级将领中获得了“铁屁股”的美誉。刘伯承元帅后来评价：“十三师是我最放心的师！”当时任一军团政委的聂荣臻元帅，1972年在北戴河疗养时曾深情地对陈伯钧说：“要不是你的十三师在湘江战役与敌苦战一整天，我们前面的部队没那么顺利渡江，就不知是什么结局了。”
红军长征
陈伯钧在长期革命战争年代养成写日记的良好习惯。在红军长征的两年征程中，陈伯钧无论是行军打仗，还是驻地休整，除了生重病的1935年底、1936年初两个月采取几天集中写一篇外，都一天不落地坚持记日记。有时作战紧张实在没有空隙就过后补写。他为我们留下了一部颇为完整的红军长征日记。这部日记真实地记载了那个艰难岁月的天时、地理、民风、我情、敌况，从每日行军的里数，到每次难忘的战斗;从身经百战的真实记录，到马背攻读的心得体会;从蒙冤受屈的抑郁心志，到庆祝胜利的欢快时刻，无不行云流水般地舒展于他的笔端，成为记录我党我军革命精神和光荣传统的一部信史。也正是依据自己的日记，陈伯钧到陕北后，在红军大学为我党我军绘制了第一幅较为精确的红军长征路线图。新中国成立后，陈伯钧在南京军事学院、北京高等军事学院任领导工作期间，还多次讲军史、讲长征，留下一批珍贵的历史资料。
1987年6月，《陈伯钧日记·文选》正式出版，聂荣臻同志在书的序言中称：“这是一位红军老战士在硝烟弥漫的战场上和艰难险阻的征途中留下的珍贵史料。”徐向前同志为这部书题词：“陈伯钧同志的光辉业绩是永不磨灭的。”
