Название войска произошло от первоначального места расселения пришельцев из района предположительно между реками Донец и Калитва – гребней Терских гор.

История расселения донских казаков по этой территории малоизучена, но начало расселения обычно датируется первой половиной XVI века. Фактически терское казачье войско существовало с 1577 года, но выделилось из Кавказского линейного казачьего войска оно только в 1860 году. Несмотря на то, что изначально казацкое войско было русским, со временем в его состав влилось и местное население, так что особенностью этого рода войск стала полиэтничность: кроме русских оно включало в себя вайнахов и осетин.

В XVII-XIX годах терское казачество состояло на службе у Российского государства, защищало границы от набегов крымских татар и кочевников, участвовало в военных кампаниях (Чигиринском, Крымском и Хивинском походах XVII-XVIII вв). 3 марта 1721 г. Гребенское войско перешло в ведение Государственной Военной коллегии с ближайшим подчинением Астраханскому губернатору, а затем и коменданту Кизлярской крепости. Все мужское население теперь считалось бессрочно служащим. И если ранее власти на Тереке обращались к казакам с просьбами о «вспоможении», а они «учиняли меж себя совет», то есть собирались на круг и решали, откликнуться ли им на призыв российского государства или нет, то в начале ХVIII в. следовали приказы, которые подлежали безусловному выполнению.  В 70 годах XVIII века указом правительства Екатерины II была создана Кавказская кордонная линия от Мордока до Азова, было построено 10 крепостей, а для заселения их были перемещены на Кавказ казаки из Волжского войска и три полка донских казаков. Так были созданы станицы Кисловодская, Ессентукская, Горячеводская, которые дали начало городам кавказских минеральных вод.

Изначально на Кавказе среди казаков существовало самоуправление. Они сами выбирали атаманов, есаулов и хорунжих (знаменоносцев) на общем сходе, где каждый достигший возраста совершеннолетия имел право голоса. Важные вопросы тоже решались на общем сходе большинством голосов. Атаман не имел преимущества в голосовании, и голосовал на равных. С середины XVIII века правительство пыталось лишить казаков самоуправления путем слияния их с терско-семейными казаками, с 1746 года атаманов и старшин должна была утвердить Военная Коллегия, но радикально вопрос был решен только в 1819 году.

Генерал Ермолов, воспользовавшись напряженной обстановкой на Северном Кавказе, отменил выборность атаманов, есаулов и знаменоносцев, и назначил командиром казачьего войска Е. П. Ефимовича.

Так как казаки переселились на Кавказ еще до церковного раскола, изначально они принадлежали к канонической православной церкви, но после раскола казаки отказались переходить в новый стиль. С тех пор начинается история старообрядчества в казацкой среде. Несмотря на церковную борьбу в государстве, казаки не подвергались гонениям со стороны государства, так как в данном регионе старообрядчество – не реакционное движение, направленное против официальной государственной церкви, а явление, обусловленное исторически. Духовенство требовало от казаков перехода к никонианскому стилю, казаки согласились принять все нововведения, кроме троеперстия. Со времени Екатерины II старообрядцы перестали преследоваться, и острота вопроса была снята.

В начале XIX века начали возводиться старообрядческие скиты и церкви. Деревянные храмы появились в станицах Новогладковской, Щедринской, Червленной. Православные храмы стояли в запустении, православные священники надолго не задерживались. Но несмотря на разрешение казакам исповедовать старообрядчество и выбирать собственных священнослужителей (отменено в 1819 году), местные священники регулярно посылали жалобы в Синод и пытались притеснять старообрядцев.  

В результате смешения народов, близкого территориального соседства и смешанных браков, казачий быт был предельно близок к образу жизни горцев. Казачья изба, как и сакля, имела две комнаты. Традиционно в каждом казачьем доме на одной из стен имелся арсенал оружия: висела кобура для пистолета, кинжал в кожаной или серебряной оправе, шашка с серебряными бляхами, револьвер, берданка или двустволка и несколько кинжалов в обычной оправе. Казаки высоко ценили умение чеченских оружейников.

Носили горскую одежду: мужчины – бурку, бешмет, папаху, башлык, черкеску, украшали одежду газырями и кавказскими кинжалами. Праздничная одежда висела в избе на видном месте: несколько черкесок разных цветов, с простыми и серебряными газырями, мягкая праздничная обувь – сапоги, ноговицы, чувяки с чулками, обшитыми галуном или бархатом. Неотъемлемой частью казацкой жизни стала джигитовка. Часто заключались смешанные браки.