Wer in Antananarivo über die Rue Ravelojaona in Richtung Rova fährt, dem wird sofort ein rot-weißes Gebäude mit vier auffälligen Türmen ins Auge stechen. Es ist der Palast des Premierministers.
Erbaut wurde er unter Königin Ranvalona I. für den damaligen Premierminister Rainilaiarivony. Der erste Palast war noch aus Holz, wurde jedoch schon 1872 durch das heutige Steingebäude ersetzt. Den Neubau hatte der britische Architekt William Pool beaufsichtigt, der bereits für einige Gebäude der Palastanlage des Rova unter Königin Rasoaherina verantwortlich zeichnete. Der madagassische Name Andafiavaratra bedeutet so viel wie „nach Norden gerichtet“, was die Lage des Palastes zum Königspalast des Rova anzeigen soll. Der Palast verfügt über drei Stockwerke. In der Mitte liegt eine hohe Eingangshalle, die von einer Glaskuppel überspannt wird. Sie verfügt über einen Holzboden, eine rundum laufende hölzerne Galerie im ersten Stock und diverse Holzbalkone im zweiten Stock. Jeder der vier Türme beherbergt eine Glocke.
Zwischen 1864 und 1895 bewohnte der Premierminister Rainilairarivony den Palast. Der Palast war sowohl Wohn- als auch Regierungsgebäude. Rainilairarivony war nacheinander Gatte der drei letzten Königinnen der Merina in Antananarivo und führte nebenbei noch mehrere andere Ehen. Als Gatte gleich mehrerer Königinnen nacheinander konnte er über Jahre regieren und die Gesellschaft Antananarivos aktiv gestalten. 1895 flüchtete Rainilairarivony nach Algerien ins Exil und die französische Kolonialmacht übernahm den Palast.
Nach der Unabhängigkeit Madagaskars 1960 wurde das Gebäude diversesten Zwecken zugeführt. Es diente zeitweise als Kaserne des Militärs, als Gericht, Schule der schönen Künste und schließlich wieder als Büro des Premierministers. 1976 wurden Teile des Palasts durch ein Feuer zerstört. Erst Ende der 1980er Jahre begannen Renovierungsarbeiten, so dass das Gebäude 1990 wieder vollständig hergestellt war.
Zur Zeit beherbergt der Palast in einigen Räumen im Erdgeschoss das Museum Andafiavaratra. Die oberen Stockwerke sind nicht für Besucher geöffnet. Allerdings gibt es auch im Erdgeschoss bisher nur wenige ernst zu nehmende Ausstellungsräume. Das Museum gleicht eher einer unaufgeräumten Rumpelkammer. Ausstellungsstücke sind vor allem die vom Brand des Rova im Jahre 1995 geretteten Gegenstände. Angeblich sollen 1466 historische Gegenstände noch vorhanden sein. Lediglich ein Bruchteil davon – darunter Gemälde, ein alter Thron und diverse Gegenstände aus Zeiten der London Missionary Society – sind bisher für Besucher aufbereitet. Ein großer Teil der historisch wertvollen Überbleibsel fristen ihr Dasein ungeschützt in Abstellräumen, Beschriftungen sucht man vergebens. Der Eintritt kostet 10.000 Ariary und lohnt sich nur für Reisende, die wirklich sehr an der Geschichte des Rova interessiert sind. Es wundert übrigens nicht, dass aus diesem Museum 2013 die Kronjuwelen der Merina gestohlen wurden. Sie sind seitdem nicht wieder aufgetaucht.