Vào năm 1816, tình cờ, bác sĩ người Pháp Rene Laennec đã sáng chế chiếc ống nghe thô sơ đầu tiên trong lịch sử y khi đang khám bệnh cho một thiếu nữ mắc bệnh tim. Để tránh bối rối khi phải trực tiếp áp tai vào ngực bệnh nhân, ông liền cuộn tấm bìa thành ống dài, một đầu đặt vào lồng ngực bệnh nhân, còn đầu kia áp vào tai mình. Thật lạ lùng, tiếng tim nghe đập rõ ràng hơn rất nhiều.
Ý tưởng của Laennec lấy cảm hứng từ một trò chơi của trẻ em, áp sát tai vào hai đầu của ống gỗ để truyền âm thanh. Sau đó, Laennec đã chuyển sang thử nghiệm sử dụng ống gỗ thay cho ống giấy ban đầu. Chiếc ống nghe hoàn chỉnh có hình dạng thẳng đứng là một ống gỗ dài 45 cm, rộng 4 cm, hai đầu có gắn thêm chiếc phễu nhỏ để nghe nhịp tim của bệnh nhân.
Tiến sĩ Laennec đã mất tới ba năm để hoàn thiện thiết kế này và theo dõi thay đổi ở bệnh nhân viêm phổi, so sánh những gì ông nghe được với khi kết quả khám nghiệm tử thi. Năm 1819, bác sĩ này đã sáng chế phiên bản ống nghe đầu tiên mang tên De L’auscultation Mediate. 7 năm sau, Laennec qua đời vì bệnh lao khi mới 45 tuổi.
Từ sau phát minh này, chiếc ống nghe đã trải qua nhiều lần cải tiến và ngày càng phổ biến hơn.
Năm 1828, nhà vật lý người Pháp Pierre Adolphe Piorry đã thay đổi hình dạng ống nghe ban đầu bằng cách sử dụng một mảnh ngà voi làm tấm đệm gõ. Sự thay đổi quan trọng tiếp theo là ý tưởng ống nghe hai tai.
Đây là sáng kiến được phát minh bởi Arthur Leared, bác sĩ người Ireland, vào năm 1851, nhưng vẫn để lại nhiều hoài nghi về sự mất cân bằng thính giác do sử dụng cả hai tai.
Đến năm 1853 khi tiến sĩ George Phillip Camman cải tiến và chứng minh công dụng, chiếc ống nghe hai tai mới được sử dụng phổ biến. Năm 1894, tiến sĩ Robert Bowles đã tiếp tục phát triển thiết bị này bằng cách kết hợp màng chắn với chuông nghe. Chiếc ống nghe dạng này vẫn còn được sử dụng ngày nay.
Năm 1945 đánh dấu sự ra đời của chiếc ống nghe dòng Rappaport và Sprague với hai ống nghe kép, một để nghe nhịp tim, phần còn lại để nghe phổi. Năm 1961, phiên bản ống nghe phổ biến nhất hiện nay đã ra đời do tiến sĩ David Littmann sáng tạo. Để nghe âm thanh có tần số thấp, người sử dụng chỉ cần nhẹ nhàng để màng nghe tiếp xúc trên vùng cần nghe, với âm thanh có tần số cao, người sử dụng chỉ cần ấn nhẹ màng nghe.
Ống nghe tim mạch là sự kết hợp đơn thuần của một trong những định luật vật lý cơ bản nhất, dẫn truyền và khuyếch đại âm thanh. Tuy nhiên, đó lại là một trong những tác động lớn và trở thành biểu tượng của nền y học hiện đại.
Với mục đích ban đầu tạo ra khoảng cách giữa bác sĩ và bệnh nhân nhưng giờ đây nó đã trở thành công cụ lý tưởng gắn kết hai đối tượng trong quá trình chữa trị.