从1932年11月起，冯·布劳恩继续在柏林大学注册上学的同时已经是陆军的一个不穿军装的雇员了，任务是发展液体推进剂火箭。他在库莫斯多夫靶场的混凝土试验井里建立了他的实验室，只有一个助手。到1933年1月，他们制成了第一台供试车台试验用的小型水冷式发动机。在第一次试验中，这台很小的发动机竟然产生了140公斤推力，持续60秒种，当局大为惊异。

    后来的试验却屡遭挫折。 冯·布劳恩记得内贝尔说过，现代发明主要就是把已知的、现成的部件组合在一起。仅仅有钱还不行。在陆军的支持下，他找来焊接、仪器制造等各方面的行家，组成了他领导的第一个完整团队，通力协作，造出了300公斤推力的液氧－酒精发动机，通过了静态试验。 装有这种发动机的A-1火箭用了六个月时间才造出来。发射试验时，点火还不到半秒钟，火箭就炸成了碎片。原来是点火过晚，在燃烧室里积累了过多可燃混合物。

    由于某些原因，并没有制造第二枚A-1，而是彻底重新设计了一种新的火箭，即A-2。原先装在A-1头部的大飞轮，被移到两个燃料箱中间靠近重心的地方。这个陀螺将起稳定作用。陆军部决定将原来秘密研究火箭车的经验丰富的团队并入冯·布劳恩的队伍，大大加强了他的研制实力。

    1934年12月，圣诞节前几天发射了两枚A-2火箭，都达到大约1.5英里的高度，试验获得了成功。陆军部立即拨出更多经费，研制团队士气大振。冯·布劳恩于是着手研究得到进一步改进的火箭－A-3。这种火箭将首次装备完整的三维陀螺仪控制系统、控制火箭姿态和方向的燃气舵和燃气舵致动器，并能携带相当重量的记录仪器。其中陀螺仪控制系统是由一位前奥地利舰长兼陀螺仪权威设计的，后来发现存在严重缺陷，导致 1937年的三次A-3火箭发射都失败了。经过局部改进的A-3火箭起名为A-5。A-4这个名称，准备留给一个更加雄心勃勃需要更多时日的火箭工程，他们原本希望在A-3之后制造该种火箭。

    1937年4月，库默斯多夫的火箭专家们搬到波罗的海之滨的佩内明德，这里已经建起了复杂的综合性火箭制造和试验设施。原来，两年前德国空军的官员看到冯·布劳恩的工作后，意识到火箭在航空方面的潜力，决定投入500万马克，建设新的火箭设施。在战争期间，在佩内明德工作的人达数千之多。为了加快进度，除了增加上千名劳动力以外，冯·布劳恩还邀请了36名工程学、物理学和化学教授到佩内明德来，举办‘献智日’，目的是要引起他们的兴趣，得到帮助。

    希特勒注意到冯·布劳恩的工作是在1939年。3月23日希特勒来到冯·布劳恩以前在库默斯多夫炮兵射击场的试验站。一开始，他听布劳恩说A-5只不过是一个研究用的不能带弹头的火箭，大失所望。但是当他听到A-5的放大型A-4能把一吨爆炸物载送到180英里以外时，他就比较有兴趣了，问研制这样的导弹需要多长时间。实际上，直到1943年看了一部关于处于试验阶段的A-4（后来的V-2）火箭成功发射的影片之前，希特勒一直怀疑大型火箭永远上不了天。

    1943年7月，冯·布劳恩在东普鲁土的总部第二次见到了希特勒。希特勒正为德国城市不断遭到同盟国轰炸而暴跳如雷，决定把A-4（V-2）的生产列为全国最优先的项目。当时，冯·布劳恩提到火箭将以每秒一千多米的速度撞击地面，触地时的冲击力将使破坏作用成倍提高。希特勒低着头听冯·布劳恩把话讲完，说道：“教授，我不能接受这种理论。在我看来，触地速度如此之快，唯一的结论是需要一种极其灵敏的引信，才能保证弹头正好在触地时爆炸。否则弹头就会钻到地下去，爆炸只能掀起一大堆泥土。” 希特勒的看法，导致了一种新型引信系统的产生。冯·布劳恩认为：“希特勒也许是个疯子，但他并不愚蠢。”

    V-2火箭的第一次发射是在1942年春进行的。火箭轰鸣着上升了一秒钟，便重重地落了下来，在巨大的爆炸声中炸得粉碎。近一个月后，第二枚V-2突破了令人担心的音障而继续上升，突然间，它开始摇晃起来，随后在空中解体了。后来知道，这是由于外壳强度不够。1942年10月3日发射的第三枚V-2飞行十分成功。到第63秒时导弹还看得见，渐渐消失了。火箭达到的最高高度是85公里，射程达190公里，横向偏差4公里。虽然射程没有达到设计预定的275公里，但是火箭专家们已经喜出望外。当时看来，V-2是个庞然大物，长约14米，直径约1.5米,重约14吨。大型火箭梦想已经变成现实。

    在冯·布劳恩的主持下， V-2火箭取得的技术突破，除了陀螺仪－燃气舵控制系统外，还包括：垂直发射方式；利用液体燃料冷却燃烧室壁和喷口壁的方法；利用过氧化氢接触高锰酸盐产生蒸汽推动燃料泵的装置；最大飞行速度达到1.5公里/秒;以及超音速空气动力学和弹道学方面的一系列进展。  很多年后，  冯·布劳恩还得意地说：“V-2导弹是一种很好的火箭，它唯一的毛病是落在一个错误的行星上了。”

    当V-2（A-4）计划取得突破之时，德国的特殊作战计划－核弹计划也在紧张进行。1943年8月17日星期二下午，挪威威默克重水工厂的高级德国军官聚集在佩内明德最高主管多恩贝格尔 ( W.Dornbeger )将军的办公室，讨论加速生产问题。冯·布劳恩是感情最激动的一个，他大声说道：“我们首先应该在和平与平静中发展，我们必须大量生产重水，并且加快特殊作战计划。”但是就在那天晚上，英国皇家空军的数百架四引擎轰炸机炸毁了威默克重水工厂的设施。几乎与此同时，英国皇家空军还把佩内明德和三家被指定大量生产V-2的工厂夷为平地。 战后的资料表明，高度保密的V-2计划和特殊作战计划已为英国所获知，情报是由著名的间谍“秃鹰”－保罗· 洛斯伯格提供的。

    德国的核反应堆计划由于失去关键的中子减速剂重水而停滞不前，V-2导弹的生产却在继续。1944年9月8日，德国人从荷兰海牙郊外发射了第一枚用于实战的V-2导弹。发射后不到6分钟，这枚带有1吨炸药的火箭在伦敦附近的奇齐克爆炸，造成严重破坏。 每一枚批量生产的V-2导弹需要大约38000德国马克，不到一架战斗机的五分之一，是一种比较便宜的武器。  二战期间 数千枚 V-2的攻击造成英国巨大损失。资料表明，2742人被V-2炸死，6467人受伤，大量建筑物被毁。不过，由于盟军掌握了制空权，空袭对德国造成的损失要大得多。

    冯·布劳恩的研制班子在1945年初被迫撤离佩内明德之前，已经开始转向研制射程约为375英里的有翼V-2（即A-9），但没有完成。他还曾设计过一种推力达200吨的火箭助推器A-10，以及以它为基础的洲际多级火箭，但战争的失败已经临近。