В конце XIX века над средней его частью возвышался конусообразный купол с отверстием посередине. Все здание было сложено из больших камней, связанных цементом настолько прочно, что поговаривали, что даже под ударами молотка камни разбивается не по шву, а трескались сами плиты. Камень, из которого было сложено здание, относится к породе черных сланцев. Природа в этой местности была дика и величественна. Вокруг Таш-Рабата высились почти отвесные скалы из розового и белого, с розовыми жилками, мрамора, сверкавшие миллионами алмазов при лучах ослепительно яркого солнца.

Почти у самого здания протекала небольшая, очень извилистая речка того же имени, отражавшая в своих прозрачных водах бесконечную синеву неба и блеск мраморных скал.

Поблизости не было ни одного деревца, ни одного куста, под тенью которых можно было бы укрыться от палящего солнца. 

Здесь жили казахи. Местные жители с большим уважением и благоговением относились к этому памятнику старины. По их мнению, невозможно было точно сосчитать числа комнат в Таш-Рабате. Говорили, что при счете каждый раз получаются различные числа: то 38, то 42 и т.д. Конечно, это происходит от запутанности комнат и совершенной тождественности их как по форме, так и по расположению.

В те годы существовало множество легенд среди казахов относительно постройки Таш-Рабата. В «Киргизской степной газете» (№2, 1894 г.) приведены только две, заслуживающие особого внимания.

Первый начинался так. Давно, очень давно, жил некий хан, у которого было два сына. Сыновей своих хан одинаково любил и признавал умными и способными наследовать управление ханством, но так как ему не хотелось разделять свое государство на две части и он не знал, которому из сыновей отдать предпочтение, то решил испытать их, для чего призвав их раз к себе, объявил им следующее: «Дети мои! Я вас люблю равно и нахожу достойными управлять ханством, но я не хочу разделять свое государство, а потому вот вам мое решение: идите в разные стороны, поселитесь между моим народом и решите, что нужно для благоденствия и счастья моих подданных». Сыновья разъехались. Прошло достаточно времени. Старший, придя к мысли, что могущество государства заключается в вооруженной силе, начал строить крепости на границах ханства. Одну построил недалеко от города Ош, а другую – описываемый Таш-Рабат. Младший поступил совершенно иначе. Он находил, что того же самого можно гораздо лучше достичь развитием земледелия, торговли и промышленности, улучшением быта своих подданных и распространением грамотности среди них. Своими действиями он заслужил полную любовь своего народа, а вместе с тем и унаследовал ханский престол. 

Другая легенда гласит следующее. Жили некогда в этой местности батыры, жили они так, что прогневали Всевышнего, который решил их истребить, послав в их страну страшное наводнение. Погибли все, за исключением только двух благочестивых, отца и сына. В благодарность за это отец решил построить в пустыне, неподалеку от гор большое здание, которое могло бы долго противостоять разрушительному влиянию времени и таким образом напоминать потомкам о Божественном Милосердии. Для исполнения задуманного этот батыр со своим сыном отправился к близлежащим горам, велел сыну взойти на них и оттуда бросать вниз камни, из которых он, отец, будет складывать дом, предупредив его, чтобы он во время работы отнюдь не оглядывался назад, что бы там ни слышал. Сын начал бросать камни и вдруг слышит, что кто-то сзади поет таким чудным, нежным, полным чарующей любви голосом. Страшно его мучило искушение обернуться, но он все крепился. Голос все ближе и ближе, искушение все больше и больше; наконец, он не выдержал – обернулся. Недалеко от него, в лучах заходящего солнца, вся окутанная золотистым сиянием, стояла чудной красоты девушка. Батыр отвернулся и продолжал кидать камни, но тут он заметил, что силы начали оставлять его, и уж он не мог кидать  таких больших камней. А девушка все поет, все приближается к нему. Батыр обернулся второй раз, силы еще уменьшились, и он мог только кидать самые маленькие камни. Внизу отец видит, что камни, которые кидает его сын, становятся все меньше и легче, понял, что сын не выдержал искушения; тогда отец стал молиться, чтобы Бог спас его сына от искушения, но молитва его не была услышана. Сын обернулся в третий раз, и чудная дева увлекла его в своих объятиях. Так здание осталось недостроенным.