天文4年（1535年）9月20日、丹羽長政の長男として生まれる。長秀以前の丹羽氏の系譜ははっきりしておらず、守護・斯波氏に仕えていたといわれる。
美濃攻略などで戦功を挙げ、一時は柴田勝家に次ぐ二番家老として織田家の双璧をなした。秀吉は、この２人にあやかり羽柴秀吉と名乗った。
安土城の普請や、快速船の建造の奉行としても大きな功を挙げ近江佐和山城主となる。
本能寺の変直前には信長の三男・織田信孝の補佐役として四国方面攻略の副将に命じられる。
天正10年（1582年）６月、本能寺の変が起こると、秀吉の軍に参加し明智光秀を討つ。織田家の後継者を決める清洲会議でも秀吉を支持した。
天正11年（1583年）、賤ヶ岳の戦いでも秀吉を援護し、越前の大半と加賀二郡を与えられる。
天正13年（1585年）4月16日、胃癌のために死去。享年51。
自らの死期を悟り、割腹し取り出した病巣を秀吉に送りつけたともいわれる。
