王充祖籍是魏郡元城(今河北大名)，系元城王氏之后。元城王氏在西汉时期极为风光，自开基始祖王贺始，王氏一门内外，上有皇后、宰相、下有列侯、将军及各级官吏，一时间，元城王氏势齐云霄，荣耀非凡。到了王莽时候，废汉自立新朝，元城王氏走向顶峰，成为天下第一家族，但也随着王莽政权的消失，地位一落千丈。

     王充的祖上在元城王氏势力急剧膨胀时期开始显达。 “几世尝从军有功”，骁勇善战，后被封到会稽阳亭(具体位置及辖域现已不可考，一说湖州，一说义乌，但位在江浙一带是肯定的)，因此王充祖上由燕赵之地迁居秀水江南。

     有封邑奉养、有爵位功勋，加上朝中有人荫蔽，迁居江南的王氏家族很快就成为当地一方大户。可惜好景不长，长期以来养成的豪门习气改变了这个家族的命运，王充祖上丢掉了爵位和封地，成为以农桑为业的普通人家，家族也从此走向衰落。

     燕赵之地向来风行任侠斗气，由河北南迁而来的王氏家族也还保留着这种彪悍的作风，军功起家使他们更加肆无忌惮，平日里飞扬跋扈，仗势凌人，乡亲们敢怒不敢言。在家道破落之后也不知道收敛，依旧横行乡里，遇到灾荒之年，又干些杀人越货的勾当，结果仇家越来越多，一家人惶惶不可终日。在王充祖父王汛的时候，正逢上西汉末年天下大乱，官府已不再干涉民间用武力解决私怨，为了躲避仇家的抓捕，他丢弃几近精光的祖业，率全家迁居到会稽钱塘县(今浙江杭州)，靠经商糊口。王充父辈有二人：长子王蒙，次子王诵，王诵即王充的父亲。搬到钱塘县的王家兄弟又犯上了祖上的老毛病，斗气逞勇比其先辈有过之而无不及，到处欺负别人，大耍无赖，后来与当地一个丁姓豪强结怨。几番争斗下来吃了不少亏，遂又举家仓皇出逃，落户上虞章镇。

     为了讲述自己的家族渊源，王充在《论衡·自纪篇》中顺带记载了祖上的这些不光彩行径，本意是为了凸显自己出身贫贱，“宗祖无淑懿之基”，成功靠的是自己，同时印证自己“疾虚妄”而禀实言之的人生信条，结果却遭到了很多人的误解。史学家刘知几认为这不合纲常，斥王充为“三千之罪人”，怎么能自抖家丑呢?后人也多有诟病，“历诋其祖父之恶，恐难称孝”。意思是，别人都可以记，就是你王充不能记!，但王充偏偏这样做了!在那个做出孝道就可以扬名、甚至可以做官的时代，王充反其道而行之，不为祖上讳，其特立独行可见一斑。

     在王家迁居上虞后不久，王诵迎来了长子的诞生，他就是王充。而此时王家已十分穷困，“贫无一亩庇身”，“贱无斗石之秩”。王充十岁左右时候父亲去世，成为孤儿，家族顶梁柱的倒下使王充家庭更趋残破。