Đình Thượng còn có tên gọi là đình làng Tuy Tộc, hiện thuộc xóm 12 xã Yên Lộc. Đình được xây dựng năm 1841, theo kiểu chuôi vồ gồm hai tòa bái đường và hậu cung. Trong gần 200 năm qua, đình đã nhiều lần được trùng tu, tôn tạo. Năm 2021, đình được trùng tu với kiến trúc như hiện tại

Đình Thượng là nơi thờ Đông Hải Đại vương Nguyễn Phục, Bạch Ngọc Đại vương, Sát Hải Đại vương, các chiêu, nguyên, thứ mộ, các liệt sỹ chống Pháp, chống Mỹ thuộc xã Yên Lộc. Hiện nay di tích còn lưu giữ được một số hiện vật quý như: 7 sắc phong thời Nguyễn, ngai thờ, bát hương, đại tự, chuông, mâm đồng... Di tích được công nhận là di tích lịch sử văn hóa cấp tỉnh năm 2007.

Đối với lịch sử Đảng bộ huyện Kim Sơn, đây là nơi tổ chức Hội nghị thành lập Đảng bộ huyện Kim Sơn ngày 6/6/1947. Sau Cách mạng Tháng 8 năm 1945, huyện Kim Sơn đã trở thành điểm nóng nhất về chính trị ở Ninh Bình, nơi diễn ra cuộc đối đầu quyết liệt giữa lực lượng cách mạng còn non trẻ và bọn phản cách mạng. Trước  tình hình đó, Tỉnh uỷ Ninh Bình đã cử nhiều cán bộ về hoạt động, gây dựng phong trào cách mạng ở Kim Sơn. Ngày 6/6/1947, Hội nghị thành lập Đảng bộ huyện Kim Sơn được tổ chức tại đình Tuy Lộc. Đồng chí Nguyễn Ngọc Ái - ủy viên Ban thường vụ Tỉnh ủy thay mặt Tỉnh ủy Ninh Bình công bố Đảng bộ huyện Kim Sơn được thành lập gồm 21 đảng viên và chỉ định đồng chí Mai Văn Tiệm là Bí thư Huyện ủy lâm thời. Đây là dấu mốc quan trọng trong lịch sử hơn 70 xây dựng và phát triển của Đảng bộ huyện Kim Sơn.

Đình Thượng không chỉ là nơi lưu giữ những có giá trị văn hoá, lịch sử truyền thống quý giá của xã Yên Lộc, đồng thời, đây còn là địa chỉ đỏ, nơi giáo dục truyền thống cách mạng vẻ vang của đảng bộ, quân và dân huyện Kim Sơn cho các thế hệ hiện tại và mai sau.