이지함은 극히 짧은 벼슬 기간을 빼고는 거의 전 생애를 방랑 속에서 보냈다. 그 까닭은 젊어서 친구인 안명세(1518년~1548년, 조선 중기의 문신. 을사사화를 일으킨 간신들의 이름을 사초에 기록했다가, 모진 고문을 당한 끝에 사형됨)의 원통한 죽음을 보고, 깊이 허무를 느꼈기 때문이라고 한다. 그는 대지팡이 하나를 벗 삼아 방방곡곡을 누비고 다녔다. 그리고 밤낮을 가리지 않고 걷다가 졸음이 오면, 두 손으로 지팡이를 잡고 몸을 의지해 고개를 수그린 채 잠을 잤다. 이렇게 잠을 잘 적에는 코고는 소리가 우레와 같았고, 소나 말도 그 곁을 지나가다가 부딪치면 도리어 물러섰다고 한다.

그 시절에는 제주도에 드나드는 일이 여간 위험하지 않았다. 그럼에도 그는 작은 조각배의 네 귀퉁이에 큰 바가지를 주렁주렁 매달고 풍파에 대한 걱정도 없이 제주도를 드나들었다. 어느 날 제주도에 다녀오는 길에 해남의 명사(名士) 이발의 집을 찾아들었다. 며칠을 굶은 그는 들어서자마자 몇 말의 밥을 해 내오라고 소리쳤다. 밥이 들어오자 그는 손을 씻은 다음, 수저를 제쳐둔 채 밥을 맨손으로 주먹만 하게 만들었다. 그리고는 오른손으로 밥을 입에 넣고, 왼손으로 반찬을 집어넣으며 순식간에 그 밥을 다 해치웠다. 밤에 주인이 비단이불을 싸들고 들어와 함께 자며 담소를 나누고자 했으나, 그는 한사코 혼자 자겠다고 고집하였다. 주인이 아침에 일어나 방문을 열어보니, 악취가 풍겼다. 깜짝 놀라 이불을 젖혀보니 똥, 오줌을 그득하게 싸놓았다. 이지함이 설사가 났는지, 아니면 벼슬아치 출신이 잘사는 꼴에 눈이 시어서인지 아무튼 간다온다 한마디 인사말도 없이 떠나간 뒤였다.

언젠가는 섬에 들어가 박을 잔뜩 심었다. 박이 익자 모두 거두어서 저자(시장)에 내다 팔았다. 그 돈으로 곡식을 사니 몇 천 섬에 이르렀다. 그는 이 곡식을 마포로 실어 날라 가난한 사람들에게 나누어준 다음, 빈민굴 한가운데 토굴을 짓고 살았다. 그리하여 그때부터 마포 사람들이 그를 흙 정자에 산다고 하여, ‘토정(土亭)선생’이라 부르기 시작했던 것이다.

사람들은 기인(奇人)으로 소문난 토정을 이웃 삼아, 집안에 무슨 일만 생기면 그에게 달려갔다. 그리고 혼인날을 잡아달라거나 점을 쳐달라거나 처방을 해달라거나 하며 온갖 일을 부탁했다. 토정은 처음에는 웃으며 이들의 부탁을 들어주었다. 그러나 날이 갈수록 사람들이 많이 몰려들었고, 토정은 이 일을 모두 당해낼 수가 없어 책 한 권을 만들기에 이르렀다. 이 책이 바로 <토정비결>인 것이다. <토정비결>은 평생의 운수를 보는 당사주(唐四柱-중국에서 전래된 책으로 보는 점)와 함께 민중의 사랑을 받아왔다. 그런데 토정은 이 책을 만들 적에 ‘너무 잘 맞으면 사람들이 일은 하지 않고, 이 책만 붙들고 있을 것이다.’라고 염려하여, 내용을 어느 정도 맞지 않게 뒤섞여 놓았다는 말이 전해진다.

그는 젊었을 때부터 빈천한 하층민에 대해 동정심이 각별하였으니, 신혼 다음날 추위에 떠는 걸아(걸식하는 아이)를 보고 자기의 신포(신랑의 옷)를 벗어준 일도 있었다. 귀천을 가리지 않는 그의 휴머니즘 탓이었는지 몰라도 그의 가까운 친지, 제자 중에는 유독 노예 신분의 영재들이 많았다. 토정은 고독한 국외자(아웃사이더)의 길을 걸으면서도, 항상 세상을 구하고 민생을 윤택하게 하고자 힘썼던 것이다.