W 1963 roku podjął studia architektoniczne na Politechnice Krakowskiej. 
Na wydziale architektury spotkał Jana Kantego Pawluśkiewicza, z którym założył „Kabaret Architektów Anawa” (z francuskiego en avant – naprzód), który wkrótce się przeobraził w zespół towarzyszący mu na występach.                       

                 Publiczny debiut muzyczny Grechuty miał miejsce w październiku 1967 roku, kiedy dzięki wykonaniu piosenki „Tango Anawa” zajął drugie miejsce wśród wokalistów na Studenckim Festiwalu Piosenki w Krakowie. 

W 1968 roku na VI KFPP w Opolu zdobył nagrodę dziennikarzy za piosenkę „Serce”, a rok później na VII KFPP jedną z głównych nagród (Nagroda TVP) za piosenkę „Wesele”. 

Z zespołem Anawa nagrał dwie swoje pierwsze płyty – Marek Grechuta & Anawa z 1970 roku oraz Korowód z 1971. 

W tym roku na IX KFPP w Opolu Grechuta zdobył główną nagrodę za piosenkę „Korowód”. 

W 1971 Grechuta opuścił zespół Anawa i założył inny zespół o nazwie WIEM (W Innej Epoce Muzycznej).  Z zespołem tym nagrał dwa albumy – Droga za widnokres oraz Magia obłoków. Płyty wypełnione były muzyką z elementami jazz-rocka, a wśród tekstów wykorzystano twórczość poetów współczesnych, takich jak Tadeusz Nowak, Tadeusz Śliwiak albo Mieczysław Jastrun. 

Pięć lat później ponownie zaczął współpracę z Pawluśkiewiczem i pisanie muzyki do tekstów Witkacego.

W 1977 na XV Krajowym Festiwalu Piosenki Polskiej w Opolu jego piosenka „Hop – szklankę piwa” zdobyła Nagrodę Grand Prix, również na tym festiwalu przez Krystynę Jandę wykonywana była piosenka „Guma do żucia”, której muzykę i słowa napisał Marek Grechuta.

Grechuta był również wraz z Krzysztofem Jasińskim i Janem Kantym Pawluśkiewiczem, współautorem musicalu Szalona lokomotywa według Stanisława Ignacego Witkiewicza, prezentowanego w latach 1977–1980, m.in. w krakowskim Teatrze STU oraz katowickim Spodku. 

W 1976 Marek Grechuta rozpoczął współpracę z Piwnicą pod Baranami, która trwała blisko 10 lat. 

W 1979 roku nagrał płytę z pieśniami do słów poety Tadeusza Nowaka, które poza nim zaśpiewali Teresa Iwaniszewska-Haremza, Magda Umer oraz Marian Opania.

W 1981 ukazały się Śpiewające obrazy, płyta nagrana ponownie z zespołem Anawa, na której znalazły się piosenki inspirowane obrazami Van Gogha, Picassa, Degasa, Moneta, Renoira i Wyspiańskiego, a także muzyka ze spektaklu Otello.

W 1984 roku wspólnie z Krystyną Jandą nagrał płytę W malinowym chruśniaku, z wierszami Bolesława Leśmiana.

Do własnych tekstów wrócił w 1986 roku, wydając płytę Wiosna – ach to ty. Wypełniona była lżejszą muzyką i przyniosła tytułowy przebój, zawierała też fragmenty muzyki ze spektakli Colas Breugonon, Tumor Witkacego i Kroniki Olsztyńskiej.

W 1987 roku napisał muzykę do przedstawienia teatralnego Jana Brzechwy – Kopciuszek.

W 1989 roku wydał płytę Krajobraz pełen nadziei.

W 1990 w Teatrze Stu odbył się koncert pt. „Złote przeboje”, w którym wystąpiła także, zaproszona przez Grechutę, aktorka Starego Teatru – Grażyna Trela (utwór: „Wesele”).

W 1991 wydał Piosenki dla dzieci i rodziców, nagrane wspólnie z aktorami Teatru Starego w Krakowie oraz dziecięcym chórem Gama.

Rok 1994 przyniósł kolejną płytę Dziesięć ważnych słów, zawierająca utwory poświęcone istotnym wartościom w życiu. Grechuta nawiązywał na niej do Dekalogu, określając ją jako „dziesięć przykazań człowieka współczesnego”.

W roku 2003 wspólnie z grupą Myslovitz wykonał cover ich przeboju „Kraków”, który znalazł się na dwupłytowym albumie The Best of Myslovitz.

Ostatnią płytą Grechuty z premierowym materiałem były Niezwykłe miejsca (2004), gdzie znalazły się piosenki poświęcone miejscom, które go oczarowały.

W 2000 ukazał się zestaw Świecie nasz zawierający wszystkie 13 albumów Grechuty. Kompilacja otrzymała w 2001 Nagrodę Muzyczną Fryderyk w kategorii „najlepsza reedycja”. Zestaw został wznowiony w roku 2005, uzupełniono go wtedy o album Niezwykłe miejsca, a także o składającą się z nagrań archiwalnych płytę Godzina miłowania.

W roku 2006 na 43 KFPP w Opolu Marek Grechuta został uhonorowany Grand Prix tego festiwalu (Nagroda Prezesa TVP).

17 października 2006 r. został pochowany w Alei Zasłużonych Cmentarza Rakowickiego w Krakowie.