Situata al centro del paese, la "Casa Forte degli Alagon", meglio nota come "Castello Siviller", rappresenta un raro esempio di architettura civile e militare in Sardegna. Fu costruito nel 1415 per volontà di Giovanni Sivilleris (doganiere del Castello di Cagliari e procuratore reale, nominato feudatario del paese il 27 ottobre 1414), su autorizzazione dell'arcivescovo di Cagliari, Pietro III Spinola, sulle rovine della chiesa parrocchiale di Santa Maria, al fine di proteggere la zona dalle incursioni dei ribelli arborensi, superstiti della guerra tra gli Arborea e gli Aragona durata oltre cinquanta anni. Esso è il simbolo della rinascita del paese perchè prima della sua costruzione Villasor era uno dei tanti paesi della decadente curatoria di Gippi.

Il suo aspetto risente ancora delle forme dei castelli medievali, ma le sue dimensioni e le sue caratteristiche costruttive, modificate attraverso i secoli, gli conferiscono le sembianze di una residenza emergente nel contesto del centro abitato. La struttura presenta una pianta a forma di "U", ma sembra che originariamente fosse presente un'altra ala simile a quella odierna e ad essa affiancata. Le mura presentano alle sommità delle merlature guelfe. Sono presenti delle finestre a cortina che ingentiliscono il severo edificio sul prospetto.

Sopra il portale principale è scolpito uno stemma di forma circolare sormontato dalla corona marchionale. Esso raffigura, nella metà di sinistra, sei palle, arma della famiglia dei Da Silva, sovrapposte all'albero sradicato simbolo del Giudicato Arborense, e, nella metà di destra, i pali, stemma del regno di Aragona, e una torre alata rappresentante la famiglia Alagon. Lo stemma sembrerebbe appartenere al casato degli Alagon Arborea De Silva, cioè alla famiglia erede della fusione, avvenuta agli inizi del 1700, tra il casato degli Alagon (illustre famiglia della Sardegna del 1400, a cui aveva appartenuto, per matrimonio, la figlia di Giovanni Sivilleri, Isabella) ed il casato dei De Silva, con il matrimonio tra Emanuela Alagon, marchesa di Villasor e Giuseppe De Silva Fernandez de Cordoba, conte di Cifuentes.

Nel corso della storia, a seguito dell'abolizione del feudalesimo, l'edificio è stato adibito a diversi usi: caserma, prigione, sede scolastica, per essere infine abbandonato e destinato a semplice rimessa agricola da parte dei proprietari.

La fortezza è stata acquisita al patrimonio comunale solo nel 1991 e da quel momento, sottoposta a diverse opere di restauro, è stata oggetto di rivalutazione da parte degli amministratori locali.

Attualmente le sale del piano terra sono sede della biblioteca comunale e spesso ospitano mostre e convegni. In un locale adiacente ha sede la sala di riunione del Consiglio Comunale, adibita per le occasioni a sala di celebrazione dei matrimoni civili o di incontri di natura socio-culturale, organizzati dal Comune o da privati, su autorizzazione comunale.

Le sale del piano superiore attualmente non sono utilizzate, ma è intenzione dell'amministrazione comunale destinarle ad usi che possano permettere una rivalutazione della fortezza e dell'intero territorio comunale, in termini culturali ed economici.

Il cortile esterno e quello interno all'edificio vengono spesso utilizzati per ospitare manifestazioni culturali (concerti, rappresentazioni). Sono possibili visite ai locali previo contatto con il Comune di Villasor.