Gostilna pri Lojzetu, Dvorec Zemono