Es una construcción ligada al mundo medieval. Al parecer, fue reconstruida en la segunda mitad del siglo XVII, que es la fecha de su amplia y barroca terraza abalaustrada.
Puerta de entrada a la Casa-Pazo, a dos aguas, con obra heráldica. Destacan su cocina, con una gran «chimenea» y las diversas dependencias, entre ellas una significativa: «el salón del rey». Ya en su obra clásica «Los Pazos Orensanos», Mª Teresa Rivera explica el significado de esta sala, indicando que Carlos V y su madre, Doña Xoana, Ile concedieron un privilegio a D. Lope y D. Galaor Taboada de Lemos, para a quienes, a cambio de sus servicios en la guerra, se les concedió la incorporación al patrimonio real, de toda la casa, jurisdicción y bienes de Orbán, nombrando a D. Lope y sus sucesores administradores perpetuos de este privilegio, con la condición de que construyen en territorio jurisdiccional una casa-fortaleza fuerte, capaz de retirar al rey con su corte, como ellos hicieron.
El edificio, construido en granito en sus partes nobles y en otras de mampostería, tiene dos significativas y esbeltas chimeneas. Cuenta con una capilla-oratorio, remodelada en 1718. Recientemente, esta casa palaciega fue reconstruida con éxito.