Köyde birçok eski yapı bulunmaktadır. Bunlar içinde en önemlisi camiye çevrilmiş olan kilisedir. Tarihi eserler Rus mimarisine güzel bir örnektir. Kilise çevrilerek cami haline getirilmesi esnasında bazı değişiklikler yapılmıştır. Yapı olarak siyah yontulmuş taş kullanılmış olan kilise iki büyük kapıya sahipmiş. Camiye çevrilirken bu iki kapı kapatılarak kuzey tarafında yeni bir kapı açılmıştır. Doğu tarafında ise papazların hazırlık yaptıkları bir bölüm vardır. Bu kısım iptal edilmiştir. Köyde bulunan bazı evlerde aynı Rus mimarisi şeklinde yapılmıştır. Kilisenin batı kısmında ise büyük bir çan vardı.
Köyde önemli kişiler çıkmıştır. Kars milletvekilliğini yapmış kişiler mevcuttur. Başka illere çok göç verdiğinden dolayı köyün nüfus artışı fazla olmamıştır.Ermeni göçünden sonra köye ilk yerleşen YUKA (kutto), Yokuş(hotte) ve Yeltekin (gedo) yoltay(mıste ,yildiko(ULLI) ve kose (seoo), aileleridir.Köy alt tarafında bulunan Ermeni mezarlığı(GORD) yıllarca büyük baş hayvanların toplanma alanı olarak kullanılmış, 1980'den sonra mezar taşları hızla yerlerinden sökülmüş çevre evlerce tahrip edilmiştir.Bunda dönemin yöneticileri ve yönetim anlayışı, göz yummuş ya da teşvik etmiştir. Bu gün Ermeni mezarlığından eser kalmamıştırErmenilerden kalan su değirmenleri tahrip edilmiştir.Köyün karşısında kalan tepede Ziyaret adı ile bilinen görkemli yapı da tahrip edilmiştir.ve yukarıda ESKIGAZI tarlalari zap etip asagida ise AYDINALAN ALMISTIR simdi geride kalan koyluler ise hayatinin izdirabini cekiyor sukur ıslamsor hınzırıgıde aldı bakalım germelı nereyı alıcak yasadıkca gorecegız ayrıyeten ınsanlar su sıkıntısı cekmekte YINEDE ALLAHIN VERDIGINE SUKUR.Eski örf ve adetlerin devam etmektedirler. Köyde düğünler örf ve adetlere göre yapılır. Halaylar tutularak yapılan düğünler çok coşkuludur. Davul ve zurna muhakkak olur. Böylece beraber eş dost akraba tarafından bütün katılımlar tamdır. Ayrıca düğünlerin bir özelliği de eş arayanlar için fırsattır. Düğünler üç kısımda yapılmaktadır. Bu ilk kısmı kına gecesi şeklinde yapılır. Düğünleri eski zamanlarda olduğu gibi yapılmaktadır.Başkaya köyü Kars merkeze bağlı bir köydür. Etrafı dağlıktır. Yerleşim bakımından dağınık bir yapısı vardır. Batısında Selim’e bağlı Kaynarlı köyü vardır. Doğusunda merkez Aydınalan köyü vardır. Güney -batısında Selim Ortakale köyü vardır. Kars’dan uzaklığı 26 km dir. Kışlar sert ve soğuktur. Etrafı mera ve tarlalar çevrilidir. Yaylası olmayan Başkaya köyü geniş bir alana sahiptir. Köyün karşı tarafında Ziyaret Tepe denilen bir kayalık vardır. Ziyaret tepe üzerinde bir gözetleme kulesi gibi bir yapı vardı. Define arayanlar tarafından tahrip edilmiştir. Köyün orta kısmında dere geçmektedir. Dereden sulama amaçlı faydalanılmaktadır. Köyün su durumu ise idare edecek şekildedir. Köy evleri topraktan ve tek katlıdır. Yolu stabilizedir. Toprakları susuz tarıma elverişlidir. Köyde arpa, buğday, yulaf, fiğ, yonca gibi tahıllar yetiştirilmektedir. Patates, kabak, lahana, soğan da yetiştirilir.
Köyün iklimi, Karasal iklimi etki alanı içerisindedir.Köyün ekonomisi tarım ve hayvancılığa dayalıdır.Köylünün hepsi hayvancılık ve ziraat işleri ile uğraşırlar. Canlı hayvan ticareti yapanlar vardır. İlkbaharda tarla ekim işleri ile uğraşırlar. Ekim ayına kadar tarla ile hasat işleri devam etmektedir. Kış mevsiminde hayvanlarına bakarlar. Büyük baş ve küçükbaş hayvanlar yetiştirmektedir. İnek, koyun, keçi gibi hayvanlar beslenmektedir. Kümes hayvanları ev ihtiyaçlarını karşılayacak şekilde yetiştirilir.Köyde [[ilk okul vardir fakat ogrenciler adini orta okulda ogreniyor. Taşımalı eğitim sistemi uygulanmaktadır. Köyün içme suyu şebekesi var ama kanalizasyon şebekesi yoktur. PTT şubesi ve PTT acentesi yoktur. Başkaya´nın sağlık ocağı yoktur. Köye ayrıca ulaşımı sağlayan yol stabilize olup yollar arzali ve cekilmez haldedir köyde elektrik ve sabit telefon vardır.