После службы в армии, в 1971 году, Захаров уехал на учебу в Москву, где поступил на отделение музыкальной комедии музыкального училища имени Гнесиных. «Когда и мне, и моим педагогам стало ясно, что мои голосовые возможности превышают рамки собственно оперетты, перешел выше этажом в том же училище на вокальное отделение», — вспоминал Захаров в одном из интервью.
В это же время он стал солистом Государственного эстрадного оркестра под управлением Леонида Утесова, который услышал Захарова, когда тот работал с джазовым оркестром в ресторане «Арбат»