L’antic castell de Boí era emplaçat al turó rocós conegut encara amb el nom del Castell, proper a l’església de Sant Joan, flanquejant la porta d’accés a la vila closa. Sols s’observen alguns minsos vestigis del castell. En canvi s’ha conservat força bé l’entrada al recinte baix-medieval de la vila. Romanen restes d’una torre i de muralles, com també d’un portal.
La vila de Boí és coneguda des de l’any 1064, en què Artau I i la seva esposa Llúcia, comtes de Pallars Sobirà, vengueren i bescanviaren a Ramon IV de Pallars Jussà i a la seva esposa Valença, junt amb el castell d’Erill i altres possessions, ipsa villa de Bogin. En anys posteriors la vila de Boí és esmentada en diversos pactes i convinences entre les dues branques de la família comtal de Pallars. En el darrer, de l’any 1094, el comte Artau II del Pallars Sobirà amb la seva muller Eslonça i el seu germà Ot, vengueren o commutaren, novament, a Ramon IV i la seva dona Valença, la vila de Boí amb els seus termes i pertinences, a més d’altres possessions a la vall. Des d’aleshores s’afermà la senyoria dels Erill a la vall de Boí com a feudataris dels comtes del Pallars Jussà. L’any 1187 els hereus de Ramon III d’Erill, la seva filla Berenguera i l’oncle d’aquesta, Arnau II, acordaren tenir a mitges la vall de Boí, amb excepció de Barruera i de Taüll.
Al segle XIII hi ha les primeres referències sobre el castell de Boí, a mans dels barons d’Erill, senyors de la vall de Boí. Bernat Roger d’Erill participà activament en la revolta nobiliària contra Pere el Gran i fou pres al setge de Balaguer el 1280. Fou alliberat el 1281, però hagué de donar com a garantia a Pere el Gran, entre altres possessions, el castell de Boí. Tradicionalment Boí ocupava el tercer o quart lloc entre els nuclis poblats de la vall. Els fogatjaments de vers els anys 1378 i 1381, en la baronia d’Arnau III d’Erill, donen al “castell de Bey .XII. fochs”. El capbreu-llevador de la baronia d’Erill (1393) fa menció especial a Boí de pagaments fixos per raó de vacades, relacionats en aquest cas amb la tinença de bestiar; els capbrevats estaven obligats també a satisfer delmes de formatges, ultra els altres pagaments de la senyoria. Al segle XV Berenguer d’Erill i de Centelles, senyor de les valls d’Espills i de Sant Serni (1430), personatge destacat, nomenat virrei de Còrsega (1455), administrà en segrest la vall de Boí, que després romangué en propietat seva (1479). Antoni I d’Erill i de Sena es titulà baró d’Erill i reclamà la vall de Boí. Li fou restituïda el 1484. Després, tant Boí com la major part de la vall continuaren dins la baronia, a partir de final del segle XVI comtat d’Erill, fins a la fi de l’antic règim.
A la primeria del segle XVII el cronista Jeroni Pujades féu la següent descripció del castell: “La fortaleza inaudita del castillo de Buhí (que era de la baronía de Erill) era toda de piedra cortada así por fuera como por dentro, y, en la viva peña cavada, están repartidas las estancias de aposentos hasta la cocina de los que moraban en él; no se le podía dar escalada, por no haber ventanas en sus paredes a la parte de fuera, sino sólo la puerta por la qual se entraba en el castillo, y algunos agujeros o resquicios muy altos, quizá de troneras o claraboyas, para que entrase la luz a lo de dentro.”