Rowe studierte zunächst an der London Art School Kunst und arbeitete als Jazzmusiker bei Mike Westbrook, wo er sich dem freien Spiel näherte. Mit seinen Kommilitonen Eddie Prevost und Lou Gare gründete er 1965 das einflussreiche Improvisationsensemble AMM, dem er (außer zwischen 1972 und 1976) bis zum Jahre 2004 angehörte. Rowe entwickelte zunächst vor allem in dieser Gruppe einen unkonventionellen Gebrauch der Gitarre, mit dem er für die Musikavantgarde neue Spielmöglichkeiten vorbereitete.