Gypsy gingen aus der 1964 gegründeten Band "The Underbeats" hervor, die durch den Gitaristen James Johnson, Bassist Doni Larson und Drummer Tom Green in Minneapolis ihre ersten Auftritte feierten.
1969 gesellte sich der Keyboarder James "Owl" Walsh hinzu und durch einen weiteren Gitaristen, Enrico Rosenbaum wurde ihre Musik fortan komplexer und orientierte sich am britischen Progressiv Rock. Von der Presse und ihren Fans wurden sogar musikalische Ähnlichkeiten mit Santana in Verbindung gebracht.