光绪三十年（ 1904 年），清政府决定兴建京张铁路。张家口地处北京的西北，是通往内蒙古的孔道，历史上一直是北方的军事重镇。北京至张家口又是南北通商交易、清政府和蒙古王公政治交往的要道。修筑京张铁路的战略意义重大。英俄都想插手，由于中国人民的强烈反对，清政府不得不决定京张铁路用中国自己的工程师、自己的钱来建筑。英俄的企业没能得逞，便以威胁的口易说：“如果京张铁路由中国工程师自己建造，那么英俄两国都不提供帮助。”他们原以为这么一来，中国就无法建造这条铁路了。

在这关键时刻，詹天佑毫无犹豫地接下这个艰巨的任务。消息传出，一些鄙视中国的洋人借机大肆进行攻击，英国报纸竟挖苦说：“中国能够修筑这条铁路的工程师，还在娘胎里没出世呢！中国人想不靠外国人自己修铁路，就算不是梦想，至少也得 50 年。”国内一些崇洋媚外，毫无民族自尊感的人也攻击詹天佑是“狂妄自大”、“自不量力”。

次年 5 月，詹天佑被正式派往京张铁路总工程师兼会办，他怀着为中国人民争口气的雄心壮志投入了这项工程。京张铁路由丰台经北京西南门至张家口，全程虽然只 180 多公里，但中间隔着居庸关、八达岭，层峦叠嶂，石峭弯多，工程十分艰巨。

詹天佑首先致力地测线与选线的工作。为了寻找一条比较理想的线路，他亲自背着标杆和经伟仪，在峭壁上精心测量，定点制图。他还时常骑着小毛驴四处访问老农，征求他们对线路的意见。他白天翻山越岭，晚上住在老乡家里，伏在油盏下绘图设计。一天傍晚，猛烈的西北风卷着沙石在八达岭一带呼啸怒吼，刮得人睁不开眼睛，测量队员急着结束工作，填了一个测得的数字，就从岩壁上爬下来。詹天佑接过本子，一面翻看填写的数字，一边疑惑地问：“数据准确吗？”测量队员回答说：“差不多”。詹天佑严肃地说：“技术的第一要求是精密，不能有一点模糊和轻率，‘大概’‘差不多’这类说法不应该出自工程人员之口。”说着，他背起仪器，冒着风沙，重新攀到岩壁上，认真地复勘了一遍。当他下来时，嘴唇都冻青了。他们一共测了三条线，詹天佑最后选定通过关沟的这条线路。它比外国工程师所选路线，在隧道工程上就可减少二千多米。

詹天佑把全部工程分为三段。 1906 年 1 月 6 日 ，开始从丰台铺轨。事先有人认为京张铁路要通过关沟，以铺用窄轨为宜。詹天佑不同意，坚持使用 1.435 米 的标准轨距。他说：“京张铁路是中国人自己修选铁路的先声，今后必将大举修筑，因此我们一开始就要严定工程标准。”工程名词当时多沿用译意或译意，庞杂不一，京张铁路统一以中文为准，所用名词渐归划一。詹天佑大胆启用中国工程人才，坚持不任用一个外国工程师。为了培养后续工程人才，他还建立了工程练习生和工程毕业后制度。凡未受过工科教育入路的优秀青年派为工程练习生，一面练习，一面施以基本工程教育， 6 年后为毕业生，然后按其品行技能和资历授以帮工程师、副工程师等职位。詹天佑说：“中国已经醒过来了，中国人用自己的工程师和自己的钱来建筑铁路。”“中国地大物博，而于一路之工必借重外人，我以为耻！”

京张铁路虽然已决定全部由中国人自己建造，但是外国商人仍四处钻营上下活动，有的想包揽工程，有的兜售材料。日本一个包商还上书袁世凯，说京张铁路须凿很长的山洞，中国工程技术人员及工人开凿山洞没有经验，建议用日本技师，带技工和开凿机器来开凿。欧洲一些国家的商人经常找上门来推销材料。詹天佑知道，工程购物有折扣，包工更有中饱私囊的机会，但国家损失甚大，铁路成本也自然提高。詹天佑顶着压力，均一一拒绝。他对所任用的人员，一律提高待遇，鼓舞其志气，对工程建造中的种种陋习则一律革除，使京张铁路风气为之一新。第一段工程不到一年就竣工通车了。

第二段工程是京张铁路中最艰巨的一段工程，其中主要是居庸关和八达岭两个隧道的工程。詹天佑根据两个隧道不同的地层结构和长度，决定对较短的居庸关隧道，采用两端对凿的方法，对长达 1091 米 的八达岭隧道，除两端对凿以外，在中间开了竖井，向两头开凿，这样既保证了施工质量，又加快了工程进度。凿洞时，大量的石块全靠人工一锹一锹地挖，涌出的泉水要一担担地挑了来，身为总工程师的詹天佑毫无架子，与工人同挖石，同挑水，一身污泥一身汗。他带鼓舞大家说：“京张铁路是用我们自己的人、自己的钱修建第一条铁路，全世界的眼睛都在望着我们，必须成功！”