1920年，张澜担任四川省长。一次奉命前往北京，身边只有两个随从。走到秦岭，遇到当地有名的土匪王三村。他见7张澜就下马说，张省长，我们是来接你的，要护送你过去。张澜知道他是打家劫舍的王三村之后，问他为什么要这么做？王三村说，因为你是为老百姓的省长啊。
1949年10月1日中华人民共和国成立，张澜被推选为共和国副主席。周恩来素知张澜节俭，因为开国大典，特意拨了一笔服装费，希望他能一身簇新地出现在天安门城楼。张澜婉言谢绝：“国家的钱，即人民的钱，我怎么可以用来做了长袍穿在自己身上？但总理的考虑是对的，我将保证着新装与民同庆。”他自己出钱，赶制了一件布长衫，罩在旧棉衫之外。这就是我们在熟悉的《开国大典》那幅油画上看到的张澜的形象。
国家给他分配了一套规格很高的大四合院，孙女张梅颖说，当时政府对知名民主人士优待有加，张澜级别最高，理所当然应该享受高待遇，可是他拒绝了，只住在马匹厂胡同一所很小的房子里。在这里，他的小脚夫人刘慧征亲自劳作，种了一些家常蔬菜。张澜的女儿张茂延在文章中回忆说：“父亲在解放前，没有带回来足够养家的钱，母亲一直习惯于起早贪黑地劳动来补贴家用。”
没人知道马匹厂胡同那所不起眼的房子里住着国家副主席。张梅颖说：“他就看中这个了，又小又破的二层搂，不要大房子。生活特别简单，根本不许子女们跟他一块儿住。凡结婚的，必须出去住。任何人不许坐他的车，我只坐过他一次车，是1954年国庆节的晚上去天安门看烟花。我的祖母一直务农，表老（张澜）一去世，她马上回四川。”
1955年，张澜病逝于北京。张梅颖说：“表老去世后，有关领导去我家看我奶奶，表老唯一的一个小破箱子里头，装的就是补丁衣裳和袜子，他看了眼泪都掉下来了。表老给我们留下的是宝贵的精神财富，他教会我们如何做人、做事、做官。”
张澜晚年作《四勉·一戒》：人不可以不自爱，不可以不自修，不可以不自尊，不可以不自强，而断不可以自欺。这是其一生的立德准则。