Theo các nghiên cứu về văn hóa và lịch sử, cái tên Sa Pa có nguồn gốc từ tiếng H'Mông - một dân tộc đã định cư lâu đời trên mảnh đất này. Họ gọi vùng đất này là Sa Pả, tiếng Quan thoại có nghĩa là "bãi cát". Sở dĩ có tên gọi như vậy bởi trước kia nơi đây có một bãi cát rộng, nơi bà con các dân tộc quây quần họp chợ.
Thị trấn này ra đời vào năm 1905 (nay là thị xã) khi người Pháp phát hiện đây là địa điểm lý tưởng để xây dựng khu nghỉ mát và đã thực hiện. Tên hành chính của Sa Pa trên bản đồ là Chapa, theo phiên âm La-tinh. Người Pháp viết tên khu là "Chapa", vì âm "s" phát âm cứng gần như "ch" trong tiếng Pháp và "s" trong tiếng Việt chuẩn.
Từ năm 1945, tên gọi Sa Pa chính thức được sử dụng trong các văn bản hành chính của Việt Nam. Ngoài ra, cách viết "Sapa" cũng được chấp nhận rộng rãi bên cạnh từ "Sa Pa".
Ngày nay, Sa Pa có một phường tên là Sa Pả, nằm ở trung tâm thị xã. Cách đặt tên như vậy chính là để gợi nhớ tên gọi nguyên bản của Sa Pa.