1931年1月20日、実父の赴任先、中国・青島生まれ。

小学4年生の時、青島より単身日本に渡り、上野音楽児童学園に留学、福井直俊氏、高田真一氏、その後に青島に戻ってからはダ・カール・ヘルス氏に師事。クラシック音楽の修練を積む。第二次世界大戦中の戦況激化により、1944年に日本へ帰国。終戦後、高校在学中から、プロとしての演奏活動を始める。

1950年早稲田大学に進学。同年に渡辺晋とシックスジョーズ、1953年にビッグフォーに参加し、日本最大のジャズブームを牽引する。

その後、自身のバンドを結成して、演奏活動を継続。1959年、作詞の永六輔氏とのコンビでの第一作「黒い花びら」が大ヒット、第一回の日本レコード大賞を受賞する。翌年には「黄昏のビギン」も公表。

1961年7月には「第三回中村八大リサイタル」を開催、そこで坂本九を抜擢して書き下ろした「上を向いて歩こう」が日本国内で大ヒット。1962年にはイギリスのケニー・ボール楽団がタイトル「SUKIYAKI」としてカヴァーし全英10位のヒット。1963年には坂本九のオリジナル音源が「SUKIYAKI」のタイトルで、ビルボード誌の全米総合チャート1位を3週に渡って獲得。その後も、A Taste of Honey、4PMのカヴァーヴァージョンでビルボード全米総合チャートでのトップ10入りを果たすなど、世界的なスタンダードナンバーとなる。

永六輔氏とのコンビでは、NHKの音楽バラエティー番組『夢で逢いましょう』を舞台に、レコード大賞受賞曲の「こんにちは赤ちゃん」「遠くへ行きたい」「芽生えてそして」「帰ろかな」「幼なじみ」等の国民的なヒットソングを生みだす。

1966年、ブラジルのリオデジャネイロで開催された『第一回国際ポピュラー音楽祭』に日本代表として参加。「私だけのあなた」で最優秀管弦楽編曲賞と特別賞を受賞し、翌年以降は同音楽祭の審査員として招待される。また日本国内においては『ネムポピュラー音楽祭』の第一回に「涙をこえて」、第二回に「涙」でグランプリを連続して受賞し、名実ともに日本を代表する音楽家として活躍。

その後も、日本国内外の音楽祭への参加や、演奏活動を継続し、特に永六輔氏とのジョイントコンサートでは日本国内外で多くの公演を行った。1991年の第１回古関裕爾記念音楽祭において「ぼく達はこの星で出会った」で金賞を受賞。

後年は糖尿病との闘病に苦しんできたが、1992年6月10日、心不全にて逝去、享年61歳。