威尔逊在1970年大选中，出乎意料地被保守
詹姆斯·卡拉汉党的爱德华·希思击败下台。但卡拉汉未有趁机挑战威尔逊的党魁地位，从而进一步取得威尔逊的信任。在1972年，卡拉汉负责重新制定工党的政策方针，并提倡政府和工会间要有“社交接触”（SocialContract），此外，卡拉汉又带头挠过威尔逊，反对希思政府将英国成为欧洲共同体的一员。
　　威尔逊在1974年3月重新当选首相后，卡拉汉获委任为外务大臣，负责重新就英国加入共同市场的会籍条款作出谈判。经过一连串的谈判后，卡拉汉和内阁均同意英国在新的条款下留在欧洲共同体，并呼吁国民在1975年的公投中投下赞成票。　　在1976年3月16日，威尔逊突然宣布辞职，并非官方地支持卡拉汉成为他的继任人。随后，卡拉汉在1976年工党党魁选举中顺利当选党魁，并出掌首相一职。至此，卡拉汉是唯一一位出任过四大国务大臣，即财政大臣、内务大臣、外务大臣和英国首相的人。
　　虽然卡拉汉支持工会运动，又得到工会支持，但相比起威尔逊，他并不是一位左翼份子。卡拉汉在1950年代一直支持晓治·盖茨克，出任党魁后更把左翼的芭芭拉·卡素尔赶出内阁。
　　然而，卡拉汉仍跟随威尔逊的方针，让内阁做到均衡参与，当中，曾是党魁竞争对手，又是左翼的迈克尔·富特（MichaelFoot），更得到卡拉汉重用。富特获卡拉汉任命为下议院领袖外，又让他主理政府的立法事务。不久以后，工党因为补选而失去多数优势，工党政府都是依靠卡拉汉和富特的让步和合作，才得以维持。
　　在1977年，卡拉汉卷入了用人唯亲的丑闻。他的女婿，彼得·杰伊（PeterJay）是一位有名记者，却从无参政经验，但仍被任命为驻美国大使，结果引来了一番争论。
　　由于工党在下议院只占小数，卡拉汉被迫与其他小党派合作，当中，工党和自由党更签署了“自由党-工党协议”。另一方面，卡拉汉企图以公投方式下放权力到苏格兰和威尔士，可是前者未能获得所需的票数，后者更换来了激烈反响。然而，到1978年的秋天，普遍的民意调查仍显示工党的支持率领先保守党，结果舆论一致认为卡拉汉将会召开大选，而卡拉汉的反应成为了他下台的主因。
　　卡拉汉一直哄骗反对党，使外界以为他将在1978年9月初，透过电视宣布即将举行选举，而他随后的举动更令人误以为工党仍然占有优势。他在一次工会会议中，模仿了老牌音乐厅歌手玛莉·劳埃（MarieLloyd），唱出了《WaitingattheChurch》一曲嘲讽保守党，尽管卡拉汉暗示自己没有承诺举行大选，但事件却使评论员误解了他的意思，认为他将举行大选，并断言保守党一定毫无准备应战。
　　在经济方面，卡拉汉自上任4年以来，一直主要以控制劳工阶层的薪金加幅来解决长期的通货膨胀问题，而且也取得了相当的成功。因此，他认为维持控制薪金加幅的政策，将能继续促进经济繁荣，并有利他在1979年成功连任，结果，卡拉汉在1978年决定继续限制薪金加幅在5%或以下。可是，这次工会却不再妥协，反而对政策作出了强烈的反对，以期望得到更高的加薪幅度，在1978年至1979年间的冬天，国内出现了一连串的工业纠纷和大罢工，使市政服务陷于停顿，经济处于混乱状态，史称“不满足的冬天”。“不满足的冬天”使工党政府的声望急挫，而在1979年初，卡拉汉从瓜德罗普的高峰会返回英国途中，向记者表示世界上的其他人并不认为英国存在所谓日益严重的混乱状态，更使情况有火上加油之势：
　　当时记者问：“面对全国现在日益严重的混乱状态，你会有甚么行动？”卡拉汉回答道：“对，我想这只是观点与角度的问题。我保证若你以局外人的眼光看这件事，而非你现在狭隘的眼光看，我很难相信世界的其他人会同样认为，现在有所谓日益严重的混乱状态。”晚年生活　　卡拉汉在1980年9月辞任工党党魁，经过党魁选举后，迈克尔·富特接任工党党魁。在1983年，卡拉汉得到了“下院之父”的称号，这称号为在下院任议员时间最长者独得，另外在1983年，他和富特也是曾参与1945年大选而仍在世的人（但富特由1955年至1960年都不是下议院议员）。到了1987年，卡拉汉获授嘉德勋章，并于同年放弃竞逐1987年大选，告别长达42年的下议院议员生涯。不久以后，他又被册封为加地夫的卡拉汉男爵，晋身到上议院。
编辑本段家庭成员　　卡拉汉的妻子奥黛丽·卡拉汉曾自1969年至1982年出任大
詹姆斯·卡拉汉奥蒙德街医院（GreatOrmondStreetHospital）的主席，而该医院也是彼得潘的版权持有者。奥黛丽·卡拉汉在1988年去信报社，指出彼得潘的版权快将过期。卡拉汉于是在上议院就《版权法》提出修正案，希望大奥蒙德街医院能永久拥有彼得潘的版权，最终修正案获得通过，但其永久性只适用于英国本土。
　　卡拉汉夫妇的女儿玛格丽特在1992年晋爵为帕丁顿的杰伊女男爵（BaronessJayofPaddington），她曾于1998年至2001年出任上议院领袖。
　　在2005年2月14日，卡拉汉超越了麦美伦，成为了最长寿的英国首相。随后在2005年3月26日，卡拉汉于他的93岁生日前夕和妻子死后的11日，逝世于他位于东萨塞克斯郡惠灵玛（Ringmer）的农场，享年92岁又364日，比麦美伦仅仅多42日。另外，他身后留有一名儿子和两名女儿。
编辑本段职业头衔
卡拉汉的纹章　　詹姆斯·卡拉汉，Esq（1912年3月27日—1943年）
　　詹姆斯·卡拉汉上尉，Esq，RNVR（1943年—1945年7月26日）
　　詹姆斯·卡拉汉上尉，Esq，MP（1945年7月26日—1964年10月21日）
　　詹姆斯·卡拉汉上尉阁下，MP（1964年10月21日—？）
　　詹姆斯·卡拉汉阁下，MP（？—1987年4月23日）
　　詹姆斯·卡拉汉爵士阁下，KG，MP（1987年4月23日—1987年6月11日）
　　詹姆斯·卡拉汉爵士阁下，KG（1987年6月11日—1987年11月5日）
　　加地夫的卡拉汉勋爵阁下，KG，PC（1987年11月5日—2005年3月26日）
编辑本段人生花絮　　英国工党领袖詹姆斯·卡拉汉，出于对周总理的仰慕之情提出要到中国淮安瞻仰周总理的故居并提出要由费孝通先生陪同（他是费孝通先生1934年在伦敦大学的同学）。
　　那个时候，从南京到淮阴要绕着洪泽湖大堤走，道路颠簸，一般要六七个小时，有时甚至要用七八个小时。出于安全和时间的考虑，胡耀邦同志亲自批示调来两架苏制米格直升机。那年初冬特别冷，去淮安瞻仰那天雾气很重，飞行条件较差，飞机降落在淮安体育场。淮安的群众看到两架直升机突然从空中飞来，很快都围拢过来，可说是万人空巷。据时任淮阴市委书记李寿章同志、市长徐燕同志说，有好几万群众来迎接。卡拉汉先生一下飞机就兴致勃勃，在总理故居参观了很长时间，不时问这问那，最后还题词留言称周总理是中国的主要设计师并以个人名义赠送了5万美元给周总理家乡的人民。回程的飞行比去时更加艰难，我们按计划先飞到扬州，但傍晚大雾，舷窗上结了冰。随行的一位空军师长和时任省委办公厅副主任陆军同志向我报告说，直升机前方能见度为零，只能慢慢地飞。到了扬州上空又看不到降落点，盘旋很久，汽油也不多了。时任扬州市委书记曹鸿鸣同志、市长虞振新同志在地面发动群众烧秸秆和树枝作信号，才慢慢降落下来。
　　在整个艰难行程中，卡拉汉先生却自始至终很激动，一路上都兴致勃勃地通过翻译与我们谈论周总理的功绩和风范，说得最多的是“好、伟大”。当时我就想，一个世界上很有影响的大国卸任首相，不一定赞成我们的制度，也不一定赞成我们的方针政策，却远涉重洋、不远数万里，不辞辛劳、冒着风险，专程来瞻仰周总理故居，这是因为他对周总理怀着崇敬之情、景仰之心。这充分说明了周总理不仅在中国人民的心目中，而且在世界人民心目中，在世界各国政要心目中的重要地位。我记得周总理逝世时，联合国还下半旗致哀。这充分说明，人们对周总理的敬仰，是不分国籍、不分地域、不分民族的。
编辑本段逝世　　英国前首相詹姆斯·卡拉汉2005年3月26日在东苏塞克斯郡的家中去世，享年92岁。
　　卡拉汉的家人说，卡拉汉第二天就将度过93岁的生日，他的妻子11天才刚刚去世。