Koło, będące miastem królewskim, tworzyło wraz z innymi miejscowościami tzw. tenutę kolską (niegrodowe starostwo kolskie) stanowiącą zespół dóbr o charakterze gospodarczym, oddawanych najczęściej w zastaw.
Pierwszy tenutariusz kolski, Krystyn z Koziegłów, pojawia się w 1383 r. Z zamku kolskiego wyrusza plądrować arcybiskupi Grzegorzew. W 1437 r. zmarł jego syn o tym samym imieniu, kasztelan sądecki, który również był miejscowym starostą. Widzimy go w Kole w roku 1425 i 1429, świadkującego w dokumentach Władysława Jagiełły. Na pewno jako przedmiot zastawu, otrzymał tenutę kolską Jan Zawisza z Garbowa, syn Zawiszy Czarnego. Po jego śmierci w bitwie pod Chojnicami w 1454 r, na Kole ciążyły duże sumy: 600 florenów węgierskich, 120 grzywien i 2 kopy groszy. Wdowa po Janie, Małgorzata i ich córka Barbara były już spłacone w roku 1465. Również zastawnikiem królewskim był kolejny starosta, Jan Hincza z Rogowa, kasztelan sandomierski. Dobra te otrzymał 23 stycznia 1463 r. od Kazimierza Jagiellończyka. Hincza otrzymał tenutę kolską dożywotnio, jako zastaw ze wszystkimi dochodami z niej płynącymi.
Kolejni starostowie, oraz ich zastępcy (burgrabowie), rezydowali na zamku, prawdopodobnie, aż do początków XVII stulecia.
Wydaje się, że zamek kolski miał bronić przeprawy przez rzekę Wartę oraz pilnować poboru cła.
Pierwszą fazą było wybudowanie wieży mieszkalnej. Stanowiła ona samodzielny obiekt o charakterze militarno-rezydencjonalnym. Z jej murów ocalały tylko fragmenty konstrukcji piwnic, wybudowanej z okrąglaków polnych i ciosów piaskowca, szczątki muru ceglanego oraz pozostałości ściany dzielącej resztki piwnicy na dwa pomieszczenia.
Pozostałości wieży mieszkalnej, która stanowiła pierwszą fazę budowy zamku
Budowę wieży mieszkalnej, a więc całego zamku, rozpoczął król Kazimierz Wielki. Dowiodły tego badania archeologiczne przeprowadzone w 2019 r.
Druga fazą było jednoczesne wybudowanie na sztucznie usypanym wzniesieniu podpartych szkarpami murów obwodowych, założonych na planie wydłużonego prostokąta z niewielkimi odchyleniami (w części północno-wschodniej), narożnej wieży głównej i budynku bramnego. Dziedziniec miał zabudowę drewnianą. Ten etap budowy datowany jest na czasy Kazimierza Wielkiego, ale również na przełom XIV/XV wieku lub na wiek XV, (na okres panowania Władysława Jagiełły i Kazimierza Jagiellończyka).
