“第一，你不是汉奸卖国贼；第二，你不是贪污腐化；第三，你不是偷窃扒拿。你什么都不是，我为什么要跟你离婚？！”




美棠带着孩子也来到了上海。
平静的生活在1958年9月28日被打破，没有任何原委，平如突然被带去安徽六安汽车配件厂劳教，做一名油漆工，这一走就是2齤2年又两个月。
有人找美棠谈话，要她“划清界线”，她不肯。多年后，她告诉平如：“你要是搞什么婚外情，我早就跟你离婚了，但你没有。再说，第一，你不是汉奸卖国贼；第二，你不是贪污腐化；第三，你不是偷窃扒拿。你什么都不是，我为什么要跟你离婚？！”
生活的重担也从此压在了美棠一人身上。在美棠的悼词中，她的五个孩子集体回忆：“延安东路建造上海自然博物馆，她背30斤一袋的水泥，一步一步走上斜坡。她做过妇婴旅社的勤杂工，倒痰盂，烧炉子，拖地板。她做过月饼厂的女工，每天从家到工厂往返路程四个多小时，深夜方归。她做过纸厂拣纸工，长年累月落下脊椎弯曲的职业病。为节约，全家每日三餐改为两餐，主菜是自腌咸菜，偶尔有点鱼、肉，她总是叫我们多吃自己却很少下筷，从此落下病根。”
美棠腰疼去看病，一帖药两块六，算下来一个月要十二块，她为省钱，拿了这帖药就走了，一直忍痛拖下去。
“如果不是母亲撑住，这个家早就散了，我们也不会有今天。”三子饶乐曾如今是上海新华钢铁的船舶拆解专家，他说，“我们家是四类分子，但母亲无论为人和涵养，在单位和里弄都很受尊敬。她是知识分子，遇事有主见，乐于帮邻居代写家书。”
如今，每次路过延安东路的上海自然博物馆，平如都会在台阶上坐一坐，“这台阶里面，也不知道哪一块是她背的水泥”。
对于自己所经的苦难，平如鲜有描绘，他只抄录了一段巴金《随想录》第316页中的字句：“我的噩梦。然而跟噩梦做斗争我只有失败的经验。不说做梦，单单听到某些声音，我今天还会打哆嗦……他们在我面前故意做出‘兽’的表情，我总觉得他们有一天会把我吞掉……有时为了活命，我很想去哀求他们开恩不要扭歪脸，不要像虎狼那样嚎叫……人为什么变成兽？人怎么样变为兽？我探索，我还不曾搞清楚。”
2齤2年又两个月，平如每逢春节才能回一趟上海，这是他最兴奋而忙碌的日子。为此，他会提前半月采购糯米、芝麻、黄豆、花生米、瓜子、菜油、麻油、鸡蛋、咸鹅等，再挑着这120斤重的担子走五六里去汽车站，转火车，再从上海北站朝家中疾步而行两个多小时。
直到1979年11月16日，他才被准许回到上海，安排在上海科技出版社做校对和编辑的工作，月薪30元。1980年12月19日，上海市公齤安局发给平如一份《撤销劳动教养处分决定书》，为其平齤反，这张脆黄的纸上宣称，饶平如当年系因“历史罪行和制造假账，参与偷漏国税和抽逃资金”而被劳教，经复查，与事实不符，应予纠正。
日子重新好了起来，平如在“夏天的早晨”中画到：“三儿乐曾在崇明上班，孙女舒舒进了幼儿园。我俩过着平凡而幸福的生活。这是一个夏天的早晨，我俩买菜回来之后，一同在房间里剥毛豆子。”窗外，白衣飘飘，阳光灿烂。