搬到吐卡霍一年之后，杰斐逊的母亲又给自己添了一个小妹妹玛莎。不过，杰斐逊在吐卡霍发现，在那里，很多东西的所有权界限分明，威廉·伦道夫家的房屋远远比他在夏洛茨维尔的家大得多，也宽敞得多，而且威廉·伦道夫的家可以让两家的孩子晚上分开就寝，但是，这却是清清楚楚的属于威廉·伦道夫家的，而这一点，威廉·伦道夫家的孩子也已经明明白白地向“入侵”的杰斐逊家声明过了。所以，在以后杰斐逊所有的信件里面，每当他回忆起在吐卡霍的日子，都表现出寄人篱下的痛苦，以及时时刻刻想念着马上回到自己家的情感。
在吐卡霍这个地方，有一百多个奴隶，杰斐逊是白人家庭里的一分子，这个家就由他父母去掌控。而同时，杰斐逊也是一个更大的黑人家庭中的一分子，而那个家庭就由为数不多的白人管治着。直到杰斐逊9岁的时候，他所在的地方，黑人与白人的比例最少也都是十比一。杰斐逊当然也会和那些男男女女的黑人小孩在一起玩。吐卡霍这个地方是靠着十分严谨的规则维持着的，这其中难免会发生白人歧视黑人的事情。