Dans la crainte d'être atteints par l'épidémie du choléra qui sévissait en France dès 1851, les habitants de Soye promirent de construire une chapelle sur la colline de Sarrazins si la commune était épargnée. Conformément au vœu des habitants et rendant grâce à Dieu d'avoir relativement protégé le village de l'épidémie, ils édifièrent en 1854 une chapelle dédiée à Sainte-Anne, dominant de l'ouest le village, une statue en pierre de Sainte-Anne et vénérée dans le pays fut placée sur l'autel.
En 1888 fut posé au-dessus de la d'entrée l'encadrement actuel surmonté d'un arc en pierre et d'une croix.
En contrebas de la chapelle, une cavité aménagée dans le roc abrite une statuette de N.D de Lourdes, on y accède par un sentier ombragé, jalonné par un chemin de croix.
Une autre chapelle dédiée à Notre-Dame des Ermites existait autrefois au village le long de la voie départementale face à la maison Jeannin.
Constituant une gêne pour la circulation, elle fut démolie vers 1910. Une Vierge à l'Enfant abritée dans une niche aménagée dans le mur de la maison en retrait en rappelle le souvenir.
Plus modeste et aussi un peu plus ancien que la chapelle Sainte-Anne, un petit oratoire a été construit vers 1843, à proximité du village en bordure de la route de L'Isle. On remarque que le toit est en laves d'origine et qu'il a par ailleurs bien supporté les intempéries.