光绪二十八初冬,南洋公学(上海交通大学)发生“墨水瓶事件”,学生集体退学。蔡元培曾介绍部分学生向马相伯求学,他遂于次年(1903年)租用徐家汇老天文台余屋,以中西大学堂“的理念,创办震旦大学院(徐汇区第二中心小学是其旧址),自任院长,二月初三(3月1日)开学(“震旦”为梵文,“中国”之谓,含“东方日出,前途无量”之意),由其创办的震旦学院是中国近代第一所国立大学。梁启超曾著文祝贺:“今乃始见我祖国得一完备有条理之私立学校,吾欲狂喜。”他曾号召:“欲革命救国,必自研究近代科学始;欲研究近代科学,必自通其语言文字始。有欲通外国语言文字,以研究近代科学而为科学救国准备者,请归我”。亲编《拉丁文通》、《致知浅说》等教材亲自授课,实行学生自治。肄业于此的学生有于右任、邵力子、李青崖、徐朗西和张鼎丞等名人。前此,于右任因讽刺时政,遭清廷缉拿,潜逃至吴淞,马相伯闻讯,亲自驾舟接到校中进行掩护。