1964年（昭和39年）から執筆が開始され、9年がかりで完成した。当初は複数巻となる予定だった長編を出版社の要請で短縮し、上下巻とした。本作の場合には、先に「復活の日」が書かれている。
この作中に出て来るアラスカの大地震を予測するという設定のために、地震学の資料を集めていた事にも由来しており、映画作品中においては、現実の地球物理学者であった竹内均博士を出演させている。
1973年3月20日に光文社カッパ・ノベルスより書き下ろしで上下2巻が同時刊行された。当初は3万部ずつだったが、版数を重ねるごとに出版数が増え、上巻204万部、下巻181万部の計385万部まで伸ばし、「空前の大ベストセラー」とも評された。
小松は1億2000万円の収入を得て、文壇長者番付の5位にランクインし、1974年には第27回日本推理作家協会賞、第5回星雲賞日本長編部門をそれぞれ受賞している。 ベストセラーになったことにより、小松の知名度を上げて日本におけるSFの浸透に一役買うことになった。その背景には、高度経済成長が終わりを迎えた1970年の日本万国博覧会に代表される薔薇色の未来ブームへのアンチテーゼとして登場したことの衝撃に加え、1973年の狂乱物価とも言われたインフレーションやオイルショックなどによる社会不安があった[4][注釈 1]。また、同年が関東大震災から50年という節目でもあり、本作によって大規模災害への不安が喚起されるきっかけともなった。 1976年には、マイケル・ギャラガーにより3分の1ほどの抄訳ながら、アメリカで『JAPAN SINKS』のタイトルで出版された。 小松自身は、題名を「『日本滅亡』――果てしなき流れの果てに…、出発の日」とつけていたが、担当編集者であった浜井武の「『日本沈没』のほうが“滅亡”よりユーモラスだ」という主張により『日本沈没』となったという。元々は「日本人が国を失い放浪の民族になったらどうなるのか」をテーマに据えており、日本列島沈没はあくまでもその舞台設定で、地球物理学への関心はその後から涌いたものだという。しかし、そのために駆使されたのが当時になって広く認知され始めていたプレート・テクトニクスであり、本作はその分野を広く紹介する役割をも果たした。この分野に関する作品中の解説やアイデアは、修士論文に相当するとの声もあったほどである。 難民となって世界中に散っていった日本人を描く第2部の構想（仮題は『日本漂流』）もあったことから、下巻の最後には「第1部・完」と記されていた。下巻発刊後から長らく執筆されることはなかったが、2006年のリメイク版映画の公開に合わせ、谷甲州との共著という形で出版された。
