在圣安东尼奥的Lackland空军基地和Brooks空军基地，约翰尼·卡什先后经过了基础训练和技术训练，而后被派往位于兰斯堡(Landsberg)的空军安全保障服务基地。

    在兵役结束之后，卡什同在Brooks空军基地训练时相识的Vivian Liberto结婚。1954年，他前往田纳西州的孟菲斯，在学习成为电台播报员的同时，他还销售各种仪器。晚上，他与吉他手Luther Perkins和贝司手Marshall Grant一起演出，后两者就是著名的田纳西二人组(Tennessee Two)。卡什曾经鼓起勇气访问了太阳唱片公司的录制室，希望能够得到一份唱片合同。而山姆·菲利普(Sam Phillips)在试听过后，对基本上只演唱福音歌曲的卡什说：“回去好好想想，然后带一首好卖的歌来。”卡什最后终于用带着他早期狂乱风格的新歌征服了菲利普。他在太阳唱片公司的第一批唱片——“Hey Porter”和“Cry Cry Cry”在1955年发行并在乡村音乐排行榜上获得了相当程度的成功。

    卡什的下一张专辑《Folsom Prison Blues》在排行榜上位列第五;而后的《I Walk the Line》则位居第一，在流行音乐排行榜上也进入了前20名。接着，约翰尼·卡什在1957年发行了《Home of the Blues》。在这一年，他成为了太阳唱片公司第一个灌制密纹唱片(long-playing album)的歌手。尽管已经是太阳那个时期最稳定的利润来源，但卡什觉得被于这个小厂牌的合同束缚住了手脚。埃尔维斯·普雷斯利(Elvis Presley 猫王)已经离开了太阳唱片公司，而菲利普的大部分注意力也集中在了Jerry Lee Lewis身上。第二年，卡什离开了太阳唱片公司并和哥伦比亚唱片公司(Columbia Records)签订了一份廉价合同，在哥伦比亚，他推出了有史以来最畅销的单曲“Don't Take Your Guns to Town”。

    卡什的第一个孩子出生于1955年，是一个女孩，叫罗珊妮(Rosanne)。虽然之后他和Vivian又有了三个女儿——1956年出生的凯瑟琳(Kathleen)、1959年出生的辛迪(Cindy)和1961年出生的塔拉(Tara)，但他常年的外出和吸毒使婚姻日益紧张。在1966年，他们两个宣布离婚。卡什在两年后与简·珍妮·卡什结婚。