文革时期
牧老除有着别人没有过的运气和机缘,也有着“文革”时难忘的苦难:孙家过去算是个旧式家庭,在“横扫一切”的年代里,红卫兵把大字报贴到他家的院里、屋里,年迈的墨佛公虽没遭批斗游街,但也“不能乱说乱动”,被关在屋里抄“语录”。天牧先生身为教师,自然是首当其冲,先被赶下讲台,不能再教课。又因查不出“历史问题”,且无“现行活动”,于是被勒令去看传达室,前后近10年之久。天牧先生为人一向忠厚正派,心怀坦荡,对同时被批被改造的同事们常常表示关心,像张伯驹、潘素夫妇就得到他不少开导和友爱。那时他非常牵挂北京家里,连连写信给妻子卢氏,说赶紧把家里的“四旧”———字画、古书、古瓷等等处理掉,以保老小平安。妻子回信说处理了,他才放心。“文革”结束时,卢夫人才告诉他,她把那些字画都叠成信封大小的纸块儿,有几百个,然后偷偷藏好。牧老知道后,忍不住流下眼泪,大声向妻子说:“我真不知怎么感谢你呀!”
1973年,北京饭店接到周总理指示,召集老画家为宾馆布置作画,天牧老也从吉林赶回北京,被压制和迫害多年的画坛高手们一时来了精神,大家兴致勃勃地画了一批作品,不料还没展出,就遭到“四人帮”的压制,老画家们都被审查批判。牧老一怒之下,撕碎了自己的画。视若生命的艺术被践踏扼杀,身心家小处于危境,加上单位人际关系险恶,“批黑画”过后,他就向学院革委会辞了职。1976年,牧老回到北京之后,隐居息影,在家侍奉年已望百的老父。他相信,悠久灿烂的传统文化不会消亡。他躲进小楼,重整笔砚,皴皴染染,或整理旧稿,或构思新作。直到1985年,恢复了的中央文史研究馆聘他为馆员时,年过七旬的牧老这时才仿佛又回到了青年。当时墨佛公尚健,父子同为文史馆员,两代都是艺术大家,一时传为佳话。