1904년 9월 8일 평안북도 선천에서 태어났다. 출생 직후 외조부의 호적에 하태용(河泰鏞)으로 올랐다가 1908년 생부를 따라 선천으로 귀향하면서 계용묵(桂鎔默)으로 불리게 되었다.

1917년 삼봉보통학교를 졸업한 뒤 서울로 상경하여 중동학교·휘문고등보통학교에 다녔으나 귀향해야 했다. 

1920년 소년 잡지 『새소리』에 「글방이 깨어져」를 발표하며 문단에 데뷔하였고, 1925년 단편 「상환(相換)」이 『조선문단』에, 1927년 「최서방」이 재차 당선되며 본격적인 소설가로 자리를 굳혔다. 

1928년 일본으로 건너가 도요대학(東洋大學) 철학과에 입학하였으나 1931년 집안이 파산하여 귀국하였다. 

1935년 「백치 아다다」를 발표하며 순수문학으로 전환하였다. 언어장애를 가진 여인의 비극적 삶을 통해 물질 위주 세태를 비판한 이 작품은 대표작으로 널리 알려졌다. 

이후 「장벽」·「병풍에 그린 닭이」·「청춘도」·「신기루」 등을 발표하였으며, 1948년 김억과 함께 출판사 수선사(首善社)를 창립하였다. 6·25전쟁 중 제주로 피난하여 종합교양지 『신문화』를 창간하였고, 1954년 서울로 귀환하여 소설집 『별을 헨다』, 1955년 수필집 『상아탑』을 출간하였다.

1961년 8월 9일 서울 정릉동 자택에서 별세, 망우리공동묘지(현 망우역사문화공원)에 영면하였다.