Situé au coeur du bourg, du château il ne reste qu'une ruine sombre recouverte de lierre. Son histoire est liée à celle de la famille DE CAUPENNE.
Alors qu'en 1170, l'Aquitaine est anglaise, Richard Coeur de Lion vient à Bayonne et reçoit l'allégence du gentilhomme JEAN DE SAINT-PEE. Il existait donc une maison forte qui fut transformée en château au XIVème siècle et une première fois détruite en 1449 par les troupes du roi de France CHARLES VII à la fin de la guerre de Cent ans, puis par CHARLES QUINT en 1523 dans son conflit contre FRANCOIS 1er.

C'est une facheuse initiative de son châtelain, JEAN PAUL DE CAUPENNE D'AMOU, bailli du Labourd en 1609, qui le rendit célèbre.
"ll partit à Paris avec le seigneur d’Urtubie demander au Roi d’éradiquer les sorcières qui selon lui menaçaient l’ordre public."
Le contexte général était une lente émergence de l’Etat après trente années de guerre civile et religieuse, avec l’appui des familles aristocratiques, sur les particularismes provinciaux. Localement, les rivalités entre les familles alliées au seigneur d’Urtubie et celles représentées par les officiers municipaux de Saint Jean de Luz, empoisonnaient la vie sociale, chaque clan s’accusant mutuellement d’avoir recours à la sorcellerie.
Le château sera une nouvelle fois pillé, saccagé et brûlé en 1793, pendant la révolution française, par un détachement espagnol venu par le col d'Ibardin. Il n'a jamais été rebâti.

L'inquisiteur nommé par Henri IV fut le juge DE LANCRE de Bordeaux avec tout pouvoir pour arrêter, juger, condamner et brûler.

Cet inquisiteur obnubilé par le Diable, vit dans les coutumes des Basques la tentation permanente de Satan. Ce qu’il leur reprochait semble incroyable. Les femmes avaient un statut trop libéral et portaient des coiffures phalliques. Les basques des deux sexes aimaient les danses en rond, fumaient et buvaient du cidre. Pourquoi le cidre ? Simplement parce qu’il est fait avec du jus de pommes, le fruit du péché offert par Ève à Adam !
Le juge bordelais chercha partout dans la province du Labourd et en particulier sur la montagne de la Rhune, les Akelarre (lande du bouc) où les sorcières étaient sensées se réunir pour le sabbat. Il interrogea plus de cinq cents enfants, encouragea la délation et fit arrêter des centaines de femmes. L’accusée était confrontée au seul juge assisté d’un greffier. Soumise aux tortures de la question, elle devait non seulement avouer ce qu’elle n’avait pas fait, mais raconter une histoire fantastique dont elle devinait peu à peu les contours monstrueux à travers les demandes dont le juge la harcelait. Celui-ci s’appuyait sur différents traités de lutte contre la sorcellerie dont « le marteau des sorcières » écrit en 1487 par deux moines dominicains. À Saint-Pée, le bûcher les attendait sur la place où vous vous trouvez. De Lancre parcourut ainsi la région pendant trois longs mois, semant la terreur sur son passage. Heureusement sa mission fut interrompue à Saint Jean de Luz par la révolte brutale de milliers de marins revenus de leur saison de pêche à la morue en Terre Neuve. Il dut rentrer à Bordeaux.