김 전 부총리는 대구고보(현 경북고)를 거쳐 1942년 서울대 상대를 졸업했으며 해방 직후 대구에서 섬유사업을 하던 중 지방에도 은행이 필요하다고 여겨 1967년 대구지역 상공인들과 국내 최초 지방 은행인 대구은행을 설립하고 초대 행장을 지냈다. 이어 제일은행장, 외환은행장을 거쳐 한국산업은행 총재, 한국은행 총재, 전국은행연합회 회장 등을 역임했다. 1982년엔 11대 부총리 겸 경제기획원 장관에 올랐다.
이후 1987년 삼성전자 회장, 1988년 ㈜대우 회장을 지냈으며 1995~1999년까지 이수그룹 회장을 맡다가 2000년에 명예회장으로 일선에 물러났다. 이수그룹은 김 전 부총리가 이수화학 (47,750원 ▼300 -0.62%)을 모체로 해서 그룹으로 출범시킨 후 화학과 건설, 정보기술(IT) 부품, 바이오.의료 등을 핵심사업으로 해 중견그룹으로 성장했다. 현재는 김상범 회장이 그룹을 이끌고 있다. 김 전 부총리는 2007년 8월 24일 노환으로 별세했다.
