Den Namen "Kaffeemühle" haben Haller Bürger vermutlich aus zwei Beweggründen zum Rufnamen des Pavillons erwählt. Zum einen ist die Form des Gebäudes unverkennbar einer kleinen Kaffeemühle ähnlich, zum anderen war das Gärtnerhaus eine Zeit lang Schankstube des Sonntagskaffees der Haller Bürger, natürlich verbunden mit einem Aufstieg zur "Kaffeemühle". Von hier aus konnten dann 34 Kirchtürme unterschieden werden, wobei die Türme von Münster und Hamm die entferntesten sind. Auch die fern gelegenen Berge von Kassel sind bei guten Bedingungen zu sehen.
Der Erbauer Hermann Hagedorn nannte die "Kaffeemühle" einst seinen „Lustpavillon“, mit welchem er seine Verbundenheit zu dem Sandsteinbau unmissverständlich zum Ausdruck brachte. Weiterhin beschrieb er die Mühle samt Umgebung als „Oase der Ruhe“.
Seit einigen Jahren pflegt die Haller Initiative "Haller Loge" diesen Aussichtspunkt.
