1950年6月的一天，陆原和岳仑所在的第四野战军某师驻扎在湖南湘江岸边的祁阳县城，在赴连队体验生活的整个过程中，从连队指导员口里知道了宜传唱且鼓劲足的军旅歌曲明显缺乏的状况。身为为一线战士服务的文工团文艺工作者，陆原和岳仑立即就产生了要创作这样一首歌的决心。两位作者在从连队业余文化创作活动中的墙报上，看到了一首开头为“俺是一个老百姓，丢下锄头来当兵”的军旅打油诗，并依据这名战士具备代表性的个人经历，及其顺口溜这类特有的艺术表现形式，经过加工并最终创作出了歌曲我是一个兵。

和全部优秀的军旅歌曲一样，我是一个兵在音乐上的成功，首先还是它简洁质朴的旋律和强劲有力的节奏感，这种琅朗上口的特点，也决定了它尤其适合在部队这种强调行动一致性，果断性的特殊环境里传唱。而和其它军旅歌曲相比，我是一个兵除了唱出“爱国爱人民”这样的战士心声之外，更通过“来自老百姓”这句最朴实的话，揭示出了中国人民解放军军民一体，所以必定军民一心的建军传统。