蔡家之富除了国泰人寿保险公司、国泰建设公司等高利润企业外，拥有庞大房地产仍是其巨富的原因之一。由于蔡家企业众多，在台湾各地建立了大批楼房，仅国泰人寿保险公司就有180栋房子，坐拥租金的收入和增值的利益就相当可观。其拥有的土地面积也不在话下。即使蔡家不经营企业，仅此土地就足以成为亿万富翁。

    然而，蔡氏家族的社会形象不是很好，颇受争议，特别是"十信事件"与"国信事件"对蔡家形象影响甚大。而蔡家另一个被外界指责的是认为蔡家炒地皮，是带动台北地价上涨的罪魁祸首。1987年，蔡万霖的国泰人寿公司以每坪门坪约(1坪约333平方米)90万元得标，购买台北市南京东路华航公司旁边一片空地时，被认为是带动地价上涨的第一笔交易。这可能也不太公平，地价的上涨是台湾整个经济环境变化使然，大财团都在炒地皮，不是一个蔡家所能够主导的。

    蔡万霖一直热衷于公益事业，建立了国泰综合医院、国泰人寿慈善基金会与国泰建设文教基金会三大公益事业，也受到社会的肯定。国泰综合医院成立于1964年，与台湾大学医院及附属医院建立了合作关系，并于1984年、1986年两度扩建，同时于1985年加入公保、劳保体系，已拥有650个床位，成为知名的大型医院，1987年，荣获台湾最优秀的金字招牌医院。

    国泰人寿保险公司于1980年8月捐资设立国泰人寿慈善基金会，以计划性、组织性、普遍性的工作原则，积极推动各项社会慈善活动，主要包括急难救助、慈幼福利活动捐助、敬老福利活动捐助、残障福利活动捐助、公立专科学校奖学金、大学奖学金及临时捐助等，到1996年，累计参与各项慈善活动捐助金额达5亿元。

    1996年，台湾遭受特大台风袭击，响应当局"大家动员起来，重建自己家园"的号召，国泰人寿公司向省政府捐款1亿元，向台北市政府与高雄市政府分别捐款200万元与1000万元。蔡万霖个人也多次捐款兴建十信工商职业学校，其中一次捐款600万元兴建行政大楼，受到"教育部"颁奖表扬。

    蔡万霖因在企业上的卓越成就与对社会公益事业的贡献也受到国际社会的肯定。1980年10月29日，蔡万霖荣获美国纽约圣若大学以蔡万霖白手起家、在企业经营方面成就卓越，对经济发展和促进社会福利有重大贡献而颁赠的名誉商学博士学位。1993年2月，蔡万霖获得教宗若望保罗二世所颁赐的"圣思维"爵士勋章，以表彰霖园集团多年来赞助"兰阳舞蹈团"的行动。