Dem ersten großen Umbau des Havenhauses 1782 mussten fast alle Nebengebäude weichen. Jedoch rechtzeitig und vorausschauend - auch heute nicht immer selbstverständlich - hatte man bereits 1777 einen neuen Stall auf dem Gelände gebaut. Die Jahreszahl ist auf dem Giebel in Richtung Hafen erhalten.

Das ursprünglich als Viehhaus bezeichnete Gebäude hatte zwar feste Außenmauern, ansonsten war es gebaut, wie fast alle Ställe jener Zeit: mit Holzständern, einem breiten Mittelgang, der "groten Dör" auf beiden Giebelseiten und einem Heuboden über der Stallung.


Im Laufe der Zeit erhielt das Viehhaus eine Reihe von Anbauten: einen Schweinekoben, eine Remise für Postkutschen und ein Spritzenhaus für die Feuerwehr.

Gegen Ende des 19. Jahrhunderts, nach Auszug der Post aus dem Havenhaus und damit auch der Pferde aus dem Stall, nach der Bebauung des Gartens mit Hafenschuppen, lohnte sich die Viehhaltung nicht mehr.



Der Pächter des Havenhauses ließ den Stall umbauen und verpachtete ihn als Hafenschänke. Am Liegeplatz der Torfschiffer mit der großen Treppe zum Hafen war dies eine Erfolg versprechende Investition, wie die nächsten Jahrzehnte beweisen sollten. Den Namen "Grauer Esel" erhielt die Gaststätte erst am 2. Oktober 1910.



Der Graue Esel ist gegen Hochwasser und Sturmfluten ausgerüstet. Zusammen mit dem Havenhaus bildet der Graue Esel das älteste Bauensemble in Vegesack.