Успех, который не вскружил голову самому артисту, заставил завистников еще больше ненавидеть артиста. В 1977 году певцу пришлось не сладко, с высших постов его «заказали», против него были сфальсифицированы факты, и была «впаяна» статья, за которую артист получил по максимуму — год тюремного заключения. Казалось, что это конец, что теперь на его карьере можно ставить крест.
Но в восьмидесятые годы артист неожиданно вернулся и даже сыграл главную роль в музыкальном фильме «Небесные ласточки», отчего его карьера сразу пошла вверх. Однако судьбе было угодно так, чтобы Сергей Захаров, человек с потрясающим баритоном, подрабатывающим в ресторане, встретился с Леонидом Утесовым. Последний был неплохим психологом, он знал, что молодой парень ему не откажет, и сделал его практически своим рабом.
Когда из-за гастролей с оркестром Утесова приходилось пропускать все больше лекций, Сергей «взбрыкнулся»:
- Я хочу учиться, получить образование.
- Брось, я никогда не учился, но теперь меня знают все. Все академии — это блажь для богатых, или у тебя есть, или у тебя нет. А у тебя есть!
Захаров не смог ему отказать, но за семь месяцев катания по всей России и житья в плохих гостиницах с грязными матрасами он понял, что это не для него. Сергей Захаров со стыдом выходил на сцену, знал, что не занимает то место, которое ему нужно, понял, что Утесов его просто использует, для него он — только рабочая сила. Когда он вернулся в Москву, его ждало разочарование — из училища отчислили, из общежития чуть не выгнали, в ресторан обратно не взяли, денег осталось совсем немного.
- Тогда я понял, что ухожу от Утесова. Он воспринял это, как личную обиду, тем более, когда услышал, что ухожу я к Илье Рахлину, его врагу. Когда я пришел за трудовой книжкой, он сказал, что я его еще вспомню.
- Илья Рахлин позволил мне выступить после выступления мюзик-холла, и тут был мой звездный час. Я — провинциальный парень, вмиг завоевал к себе любовь зрителей, стал их кумиром. Но Илье Рахлину я сказал, что учебу не брошу, и он сказал, что переведет меня в Римского-Корсакова в Ленинград. Так я и оказался в Ленинграде, куда сразу забрал свою семью.
Вскоре Захарову пришлось вспомнить об Утесова. С его подачи была написана статья в «Советской культуре». Там говорили, что Захаров ведет «богемный образ жизни, разбрасывается деньгами, пьет шампанское, гуляет по ресторанам. Никто ему не указ, гуляет допоздна, опаздывает на репетиции. Он — зарвавшийся артист, которому не место в оркестре Утесова»
После тюремного заключения народный артист надолго пропал со сцены. Ему было позволено лишь выступать в провинциальных концертных залах. Но однажды в его квартире раздался звонок, женский голос сказал, что Сергея лично приглашают на выступление в Театре Оперетты на Восьмое марта. На вопрос Сергея, кто приглашает, женский голос ответил: «Первый секретарь ленинградского обкома КПСС Лев Николаевич Зайков».
- Тогда я бросил все, помчался туда, отлично выступил. А потом позвонили из мюзик-холла, сказали, что меня «реабилитируют».
