Se só está consigo há 5 dias, não foi boa ideia soltá-lo e o facto de o ter perseguido para o pôr na gaiola, com certeza não foi positivo para que ele ganhe confiança por si.
Deixe-o ambientar-se ao novo ambiente, à gaiola e a si.
Daqui a algum tempo, experimente soltá-lo, mas deixe que seja ele a sair da gaiola sozinho (vai memorizar melhor onde está a porta ao fim de algumas entradas e saídas).
Para o incentivar a voltar à gaiola ponha um poleiro do lado de fora junto à porta e não lhe dê comida enquanto andar solto. Coloque algo de que ele goste muito mesmo em frente à porta (dentro da gaiola, obviamente

). Costuma funcionar.
Atenção a espelhos e janelas, pode chocar contra eles e magoar-se.