Các phi tần không phải ai cũng đẹp vì việc tuyển chọn ở các địa phương không phải lúc nào cũng công bằng. Tuy nhiên, người nào có tài sắc vượt trội, biết chiều chuộng thì thường được nhà vua "vời" đến nhiều lần hơn người khác.
Khi được tuyển vào cung, tất cả nữ giới, dù là phi tần, cung nữ, đều vui vẻ chấp nhận số phận, xem như một vinh dự, cơ may "Trời cho". Từ cuộc sống nội cung "đầy" quy tắc... Sách Bảo Đại hay những ngày cuối cùng của Vương quốc An Nam có đoạn viết: Quy tắc trên hết trong cuộc sống nội cung là sự dịu dàng, nhỏ nhẹ, bước đi rón rén, không nói to, không dùng những từ nặng nề, trần trụi như ôm, chết, đui, què, máu... Để chỉ thực trạng của vua, họ phải thay bằng những từ nhẹ nhàng hơn, như vua ốm gọi là vua "se mình" hay "ngọc thể bất an"; vua chết gọi là "băng hà"... Mấy tháng đầu vào cung, các phi tần phải ngậm miệng để khỏi bật lên những tiếng thường dùng trong dân gian và không phạm huý và tập những cách trong cung cùng với mọi phép tắc, luật lệ, cách xử thế để phục vụ vua. Họ còn phải làm quen với nhiều phong tục kỳ lạ như ngày đông chí trong Tử Cấm Thành không được thắp đèn, nổi lửa. Chỉ ở điện Càn Thành nhen lên một lò lửa thật lớn. Đúng giờ quy định, mọi phi tần, cung nữ mang lồng ấp đựng than đến điện Càn Thành để lấy lửa nhóm trong lồng ấp của mình đem về phòng ở, ngụ ý vua ban hơi ấm cho mọi bề tôi, nhất là nữ giới trong hậu cung. Trang phục của phi tần, cung nữ chỉ được dùng màu đỏ tía hay màu lục. Màu vàng dành riêng cho vua, hoàng hậu. Màu trắng chỉ dùng cho áo lót trong, trừ màu huyền dùng để nhuộm răng. Ngoài các thái giám, vua là người đàn ông duy nhất vào các khu ở của phi tần. Bất cứ hoàn cảnh nào, họ cũng không được tiếp xúc với người ngoài, nhất là đàn ông. Chưa kể, họ còn phải chịu đựng nhiều đêm cô đơn. Khi cha mẹ đến thăm, họ phải đứng đằng xa, hoặc trong trường hợp được phép lại gần, cũng chỉ được trò chuyện qua bức màn sáo. Vì thế, đối với nhiều cô gái mới lớn, ngày lên đường vào cung vẫn là nỗi kinh hoàng khiếp đảm, như là phải chịu đựng một hình phạt. Khi bước qua chiếc cửa ngăn vào hậu cung, cung phi không bao giờ được quay trở lại, không còn tổ ấm, gia đình và cả cuộc sống bình thường... Nếu sau một thời gian bị thải loại vì thất sủng hay do bệnh tật, không đủ sức khỏe, cung phi trở về thường kết thúc cuộc đời của mình bằng cuộc sống tu hành. Như Vua Tự Đức có 103 bà vợ. Trong số đó, chỉ có một số được vua hạ cố nhiều lắm là hai, ba lần trong cả một đời làm cung phi. Sau khi vua băng hà, đội quân goá phụ đó vẫn phải duy trì quan hệ với người quá cố. Họ sống bên lăng mộ, trông nom dọn dẹp giữ gìn, hương khói trong lăng và không bao giờ tái giá, cũng không được rời khỏi lăng, sống như thế đến hàng chục năm nữa. Gần như suốt cuộc đời, từ khi được tuyển vào cung mới ở độ tuổi 16, 17 cho đến khi vua qua đời, vẫn là cấm cung. ... Đến chuyện tranh giành, ganh ghét Theo sách Bảo Đại hay những ngày cuối cùng của Vương quốc An Nam, nữ giới hoàng cung sống trong nhung lụa, nhàn hạ, nên làm đủ thứ việc chỉ để hầu hạ một người đàn ông duy nhất là vua. Thế nhưng, trong hậu cung lại có đến hàng chục, hàng trăm người nên không tránh khỏi các chuyện tranh giành ảnh hưởng, ghen tị ganh ghét và thậm chí xích mích thù oán nhau, kết bè kết đảng hãm hại nhau.
Sách Kể chuyện các vua Nguyễn ghi: Trong một lần tâm sự với triều thần gốc Pháp là J.B.Chaigneau, vua Gia Long đã kể về những bà vợ: "Khanh sẽ không ngờ rằng, cái gì đợi Trẫm ở kia (vua chỉ về phía hậu cung) khi Trẫm rời khỏi nơi đây. Ở đây, Trẫm rất thoải mái vì được nói chuyện với những người xứng đáng; họ lắng nghe Trẫm, họ hiểu Trẫm và khi cần, họ vâng lệnh Trẫm răm rắp. Còn ở chốn hậu cung, Trẫm gặp phải một lũ qủy sứ thật sự. Chúng cãi vả nhau, ngược đãi nhau, phỉ báng nhau và sau đó, tất cả chạy đến cầu xin Trẫm phân xử. Nếu làm đúng, Trẫm sẽ luôn luôn khiển trách tất cả. Trẫm không biết ai chịu nhường nhịn ai trong cơn giận dữ". Sau một lúc im lặng, vua lại tiếp: "Chốc nữa Trẫm sẽ ở giữa một đám yêu phụ làm Trẫm điếc tai, nhức óc". Và rồi để chứng minh những gì phải chịu đựng, hoàng đế Gia Long giả giọng, điệu bộ của phi tần, tức giận hét lớn: "Muôn tâu Bệ hạ, Bệ hạ phân xử, bà đã sỉ nhục thần thiếp, người ta ngược đãi thần thiếp, thần thiếp xin phân xử..." "Trẫm muốn sửa đổi lại cả thế giới, nhất là đàn bà, vì họ ghê sợ hơn đàn ông", vua Gia Long từng tuyên bố. Tuy nhiên, đến thời Bảo Đại, nhà vua hay ít nhất các cố vấn của ông đều cảm thấy không mệt mỏi với mưu toan, mánh khóe giành giật, chèn ép nhau giữa các phi tần, cung nữ trong chốn thâm cung. Ông đã tiến hành cuộc cải cách bãi bỏ chế độ cung phi, giải thể nội cung; cho các bà cung phi và thị nữ trở về cuộc sống bình thường; không tuyển cung phi mới; dùng đầy tớ gái hầu hạ các bà thái hậu...