Das Debütalbum Heavy erschien 1968 gleich danach verließen drei der fünf Gründungsmitglieder die Band.
Noch im gleichen Jahr veröffentlichten Organist und Sänger Doug Ingle und Schlagzeuger Ron Bushy mit zwei neuen Mitgliedern, dem Gitarristen Eric Brann und dem Bassisten Lee Dorman das inzwischen mit Platin ausgezeichnete Album In-A-Gadda-Da-Vida mit dem für damalige Zeiten ungewöhnlich langen und für Radiosender untauglichen, 17 Minuten währenden gleichnamigen Stück auf der zweiten LP-Seite. In-A-Gadda-Da-Vida wurde innerhalb eines Jahres millionenfach verkauft, hielt sich über ein Jahr in den Top Ten und hat mit seinem langen Schlagzeug-Solo Rock-Geschichte geschrieben. Ursprünglich sollte das Lied "In The Garden Of Eden" heißen; laut Covertext der "Best of"-CD hörte sich Ron Bushy das Stück gerade über Kopfhörer an, verstand deshalb Doug Ingles Antwort auf die Frage nach dem Titel als "In-A-Gadda-Da-Vida" und schrieb den Text unter die Noten. Verschiedene Gerüchte schreiben das Missverständnis hingegen unterschiedlichen Drogen zu, unter deren Einfluss Ingle währenddessen gestanden haben soll.
In-A-Gadda-Da-Vida war ein Meilenstein in der Entwicklung des Hard Rock und eines der ersten Stücke der Rockmusik, das sich mit 17 Minuten über eine ganze Plattenseite erstreckte. Diesen Erfolg konnten Iron Butterfly nicht wiederholen. Der als Nachfolger gedachte 14-Minuten-Titel Butterfly Bleu vom Album Metamorphosis, eine anspruchsvolle Blues-Adaption mit psychedelischen Elementen, auf dem das Westcoast-Gitarristen-Duo Mike Pinera und Larry "el rhino" Reinhardt für den ausgeschiedenen Eric Brann brillierte, blieb weit hinter dem Bekanntheitsgrad des Vorgängers zurück. Die Band löste sich 1971 zunächst auf, wurde jedoch bereits 1975 von Ron Bushy und Eric Brann sowie zwei neuen Bandmitgliedern (Philip Taylor Kramer und Howard Reitzes) neu reformiert. Die Band geht heute noch auf Tournee. Neben Ron Bushy und dem Bassisten Lee Dorman gehören derzeit Martin Gerschwitz (Keyboards) und Charlie Marinkovich zur Band.
Eric Brann starb am 25. Juli 2003 an einem Herzinfarkt, Philip Taylor Kramer nahm sich 1995 das Leben.