He is not waiting at the gate of Rome in Chutz La’aretz at all, but Ruma, an ancient Galilean town, says Rabbi Moshe Alshich on Shir Hashirim 7:6.
Here is what he says:
ראשך עליך כו’ לבא אל הענין נזכירה מאמרז”ל בגמרא ריב”ל אשכחיה לאליהו דהוה יתיב אפתחא דרומי כו’ א”ל ואימת אתי מר א”ל היום א”ל היום אם בקולו תשמעו ע”כ. והנה באו’ שהוא אפתחא דרומי פרש”י ז”ל שהוא בשמים נגד פתח רומי ועדין הלא כמו זר נחשב למה לא בחר להסתופף בשמים לעומת ערי א”י ולא לעומת רומי שבח”ל. ועוד כי הלא ריב”ל מא”י היה כי שם ביתו וללכת עד עיר רומי היה צריך ימים רבים ואיך יאמר למחר אשכחיה לאליהו כו’ שיורה כי ביום א’ הלך עד שם ולמחר סיפר את אשר קרהו עמו… אך הנה בעינינו ראינו עוד היום קרוב לצפורי עיר ששמה רומי… והיא בקרב א”י הארץ הקדושה ועליה אמר כי המשיח כנגד פתחה על השמים כבודו ושם דיבר עם ריב”ל:
For more detail on Ruma, follow footnote 7 where I got this from, by Marc B. Shapiro. The ellipsis were inserted for the Alshich’s confabulation of a different gemara (regarding Rebbi and Antoninus).