W lipcu 1958 roku ks. Karol Wojtyła po raz pierwszy przekroczył próg rezydencji arcybiskupów warszawskich. Przyjechał tu prosto z wakacji, spędzanych na spływie kajakowym na Mazurach. Papież Jan Paweł II nawiązał do tego wydarzenia 11 czerwca 1999 roku, podczas siódmej pielgrzymki do Polski: „Pragnę jeszcze przed wyjściem podzielić się krótkim wspomnieniem, które mnie łączy z dotychczasową trasą pielgrzymki. Ta trasa mnie prowadzi do Warszawy z jezior mazurskich. Otóż tak było w roku 1958, gdy zostałem wezwany znad jezior do tego samego domu przez kard. Wyszyńskiego. Wtedy mi powiedział, że mam być biskupem”. Dwadzieścia jeden lat później prymas Wyszyński w tym samym domu przyjmował tego samego gościa, który teraz nosił już nowe imię. Pierwszą noc (2/3 czerwca 1979 roku) na polskiej ziemi po wyborze na Stolicę Piotrową Jan Paweł II spędził właśnie tutaj. Papież zatrzymywał się w rezydencji prymasowskiej także w czasie następnych pielgrzymek (1983 i 1987). 17 czerwca 1983 roku spotkał się tu z przedstawicielami niekatolickich wyznań chrześcijańskich, a także wspólnot żydowskiej i muzułmańskiej. Kilka godzin później w tym samym miejscu przyjął doktorat honoris causa Katolickiego Uniwersytetu Lubelskiego. 8 czerwca 1987 roku Ojciec Święty spożył w pałacu arcybiskupim kolację w towarzystwie członków Prymasowskiej Rady Społecznej, a 14 czerwca tego samego roku odbył spotkanie z przedstawicielami społeczności żydowskiej. 11 czerwca 1999 roku w domu przy Miodowej Papież przyjął polskich biskupów. Była to jego ostatnia wizyta w tej rezydencji.