Яак Йоала родился 26 июня 1950 года в музыкальной семье и с детства обучался игре на фортепиано и флейте. Йоала был вынужден оставить учебу в Таллинском музыкальном училище, так как отказался оставить исполнение рок-музыки. Был солистом ансамблей Lainer и Radar.

В 1979 году на советском телевидении прошла премьера музыкального телефильма "31 июня", в котором прозвучало несколько песен в исполнении Яака Йоалы. С этого времени к певцу пришла популярность. Широкую известность на территории бывшего СССР Йоала получил в 1980-х годах благодаря исполнению нескольких хитов (в том числе "Лаванда" дуэтом с Софией Ротару).

С 1988 года Яак Йоала покинул советскую сцену, а в середине 1990-х практически прекратил концертные выступления. За исполнение песен на русском языке в своей родной Эстонии получил прозвище "Кремлёвский соловей", однако в 2010 году был награжден орденом Белой звезды IV класса.

После ухода со сцены преподавал игру на гитаре в Таллинском музыкальном училище. В 2000 году был одним из учредителей Эстонского союза исполнителей - организации, защищающей авторские права эстонских музыкантов. Занимался продюсированием молодых певцов, преподавал вокал.