Początki Grot Nagórzyckich były bardzo proste i raczej nikt nie myślał wtedy o tworzeniu podziemnych korytarzy. Najpierw miejscowi chłopi wybierali biały piasek ze stromego zbocza pradoliny Pilicy, tuż przy drodze prowadzącej do Nagórzyc. Skała była miękka i łatwo dawała się drążyć prostymi narzędziami, dlatego z niewielkich wnęk z czasem zaczęły powstawać coraz większe pieczary. Wydobycie odbywało się w dość chałupniczy sposób — pod ziemię wjeżdżano nawet furmankami, a podczas drążenia zostawiano fragmenty skał i filary podtrzymujące strop. Tak właśnie przez lata powstał cały labirynt podziemnych sal i korytarzy.

Przez długi czas miejscowy piasek wykorzystywano bardzo zwyczajnie. Mieszkańcy okolicznych wsi posypywali nim drewniane podłogi w domach, podwórza, ścieżki przed gospodarstwami, a nawet okolice grobów na cmentarzach. Dziś mogłoby się wydawać, że taki materiał świetnie nadawał się do budowy, ale było odwrotnie. Ziarenka piasku były bardzo gładkie i okrągłe, przez co zaprawa murarska źle się z nimi wiązała. Nagórzyczanie zaczęli więc sprzedawać piasek mieszkańcom Tomaszowa do tych samych codziennych zastosowań. Czasem handlowano nim nawet wymiennie za obierki ziemniaków używane później jako pasza dla zwierząt. Z takich transakcji miało powstać dawne powiedzenie „nie ma piasku za łupiny”, oznaczające po prostu mało opłacalny interes.

Sytuacja zmieniła się w drugiej połowie XIX wieku wraz z rozwojem hut szkła. Okazało się wtedy, że piasek z Nagórzyc zawiera bardzo dużo czystego kwarcu potrzebnego do produkcji szkła, a pozostałe domieszki można łatwo usunąć. Dzięki temu stał się cennym surowcem dla hutników i zaczął trafiać do hut szkła w Piotrkowie, Warszawie, Częstochowie czy Rudnikach. Początkowo przewożono go furmankami, później także koleją. Wydobycie trwało aż do początku XX wieku. Według lokalnych opowieści zakończyło się po tragicznym zawaleniu jednej z komór, kiedy podczas wybierania piasku naruszono podtrzymujący strop filar. Po tym wydarzeniu zakazano dalszego drążenia podziemi.