1959年7月，在中共中央政治局扩大会议(庐山会议)期间，因写信给毛泽东，对1958年“大跃进”开始后“浮夸风”、“小资产阶级狂热性”等问题提出批评，被错误地认为是“向党进攻”和右倾机会主义。8月在中共八届八中全会上，又被错定为“反党集团”的首要人物。9月被免去国防部部长职务，停止一切实际工作。庐山会议原本是为了“纠左”，但会后却在全国展开了“反右倾运动”(反对以彭德怀为首的“右倾机会主义”错误)，上万名党员受到了批判与非人道待遇;其中大部分党员在1962年被平反，恢复了工作;但毛泽东设下了底线：“谁都能平反，唯独彭德怀不能平反。”
1962年6月再次给中共中央和毛泽东写信，反驳庐山会议强加给他的不实之词，坚持真理。9月在中共八届十中全会上又被认为是企图“翻案”，再次受到错误批判和审查，并被剥夺了党员的权利。
1965年9月，毛泽东约他谈话，表示“也许真理在你那边”。随后，被派往四川成都担任中共中央西南局三线建设委员会第三副主任，仍顾全大局，兢兢业业地工作。