본명은 김윤식(金允植)이며 영랑은 아호(雅號)로 《시문학》에 작품을 발표하면서부터 사용하기 시작하였다. 전라남도 강진에서 아버지 김종호와 어머니 김경무 사이에 5남매 중 장남으로 태어났다. 1915년 강진보통학교를 졸업한 뒤 네 살 위인 김은초와 혼인하였으나 1년 반 만에 사별하였다. 그 후 기독교청년회관에서 영어를 공부하고 1917년 휘문의숙에 입학하였으며, 휘문의숙 3학년 때인 1919년 3.1운동이 일어나자 고향 강진으로 내려가 만세운동을 계획하다 일본경찰에 체포되어 대구형무소에서 6개월간 옥고를 치렀다.

1920년 일본으로 건너가 아오야마(靑山)학원 중학부를 거쳐 영문학을 공부하고 1923년 관동대지진이 일어나자 학업을 중단하고 귀국했다. 이 무렵 훗날 세계적인 무용가가 된 최승희와 사랑에 빠지기도 하였다. 이후 고향에 머물면서 1925년 안귀련과 재혼하였다. 광복 후 사회활동에 적극 참여하며 강진에서 대한독립촉성회에 관여하여 강진대한청년회 단장을 지냈으며, 1948년 제헌국회의원 선거에 출마하였으나 낙선했다. 1949년에는 공보처 출판국장을 지내기도 하였다. 1950년 6.25전쟁이 발발하고 같은 해 9월 29일 서울 수복 전투로 어수선한 가운데 9월 23일 파편에 맞아 9월 29일 사망했다. 사망 당시 남산 자락 한남동 근처에 가매장 했다가 4년 뒤인 1954년 김광섭 시인 주도하에 망우리공동묘지로 이장했다. 이후 1989년 부인 안귀련 여사가 사망하면서 이듬해 용인 천주교공원묘원으로 이장하여 부인과 함께 합장하였다.

2022년 망우리공원의 묘지관리권이 서울시설공단에서 중랑구로 이관되며 망우역사문화공원으로 재탄생함에 따라 고인을 다시 망우리로 모셔오자는 논의가 활발해졌고 유족들도 이에 동의하여 2024년 8월 19일 망우역사문화공원으로 재이장하고 추모공간을 조성하였다.

영랑은 휘문의숙에 입학하면서부터 문학에 관심을 가지기 시작했으며 당시 홍사용·안석영·박종화·정지용·이태준 등 선후배가 있어 문학적 안목을 키우는데 직·간접으로 도움을 받았다.

1919년 3.1운동이 일어나자 영랑은 독립선언서를 숨겨 강진으로 내려와 남성리 자택에서 김현상 등과 정세를 논의하였다. 이후 김현균의 집에서 김현상, 김성수 등과 함께 현재 각지에서 독립운동으로 사상자가 발생하고 있는데 방관만 하고 있을 수 없다며 강진에서도 독립만세운동을 일으킬 것을 계획하였다. 그 자리에서 각자 2원씩을 갹출하고 태극기 500개를 제작하기로 하였다. 그러나 목표한 태극기를 다 만들지 못하고 등사판 입수도 어려워져 거사를 연기하다 강진경찰서에 발각되어 체포되었으며 1919년 4월 광주지방법원에서 ‘보안법 위반’으로 징역 1년을 선고받았다.

한편 그의 창작활동은 박용철, 정지용, 이하윤 등과 시문학 동인을 결성하며 1930년 3월에 창간된 《시문학》에 시 「동백잎에 빛나는 마음」, 「언덕에 바로 누워」 등 6편을 발표하면서 본격적으로 전개되었다. 이 후 《문학》·《여성》·《문장》·《조광》 등에 80여 편의 시와 역시(譯詩) 및 수필, 평문(評文) 등을 발표하였다. 그의 시 세계는 대략 전기와 후기로 나뉘는데 전기는 1935년 박용철에 의해 발간된 『영랑시집』 초판의 수록 시편들이 해당되는데, 같은 《시문학》 동인인 정지용 시인의 감각적 기교와 더불어 그 시대 한국 순수시의 극치를 보여주고 있다.

그러나 1940년을 전후하여 민족 항일기 말기에 발표된 「거문고」·「독을 차고」·「묘비명」 등 일련의 후기 시에서는 그 형태적인 변모와 함께 인생에 대한 깊은 회의와 죽음의 의식이 나타나 있다. 그러다가 광복 이후 발표된 「바다로 가자」·「천리를 올라온다」 등에서는 일제치하의 제한된 공간의식과 강박관념에서 벗어나 새나라 건설의 대열에 참여하려는 적극적인 사회참여 의식을 보여주고 있다.