起源は15世紀頃までにさかのぼります。スライドの付いたトランペットを改良したものがはじまりとされており、当初は「サックバット」という名前でした。

トロンボーンは、管楽器の中では唯一古くからの形をそのまま留めている楽器です。その柔らかく包みこむような響き、厳かな雰囲気をもつ音色は、「神の声」とも呼ばれ、ルネサンス、そしてバロック時代にかけて、教会での宗教音楽や、宮廷の儀式等で長く使用されていました。
ドイツでは現在でもその名残を受け、宗教曲を専門とした、トロンボーンのみで編成された楽隊があります。

19世紀に入ると、多くのロマン派の作曲家たちによって、交響曲等に効果的に用いられ、荘厳な響きのハーモニーはもちろん、力強く圧倒的なフォルテシモから、静寂な場面でのピアニシモまで、多彩な表現力を発揮する楽器として、オーケストラで活躍するようになります。
オーケストラの中では、主にハーモニーの構成や、ファンファーレのような華やかな場面の演出、また元来宗教色が強かったせいか、曲中の非常に重要な位置でコラール等の大事な役割を与えられることがあります。
20世紀初頭、アメリカでニューオリンズ・ジャズが発祥し、トロンボーンはさらなる可能性を開花させます。

６〜７人編成で即興演奏（アドリブ）を重視したスタイルのディキシーランド・ジャズを経て、１９３０年代〜４０年代、スウィングジャズが流行します。
トロンボーンは、大人数編成でのビッグバンド・ジャズには欠かせない花形楽器となり、自らもトロンボーン・プレイヤーであったグレン・ミラーは、スウィングジャズ時代にグレン・ミラー・オーケストラを結成し、「イン．ザ．ムード」や「ムーンライト・セレナーデ」等、数多くの名曲を残しました。

１９５０年以降のモダンジャズ、ビバップスタイルの台頭により、サックスやトランペットがムーブメントの中心となりますが、同時期を席巻したJ.J.ジョンソン、カーティス・フラー等、スピード感溢れる軽快なアドリブを鳴らすことのできる楽器として進化を遂げます。