Đối với Càn Long có vô số thê thiếp mà nói, gia đình chính trị không hề có nhiều tình thân ruột thịt, tất cả mọi xuất phát điểm đều là từ việc gia tăng quyền lực. Từ sự kiện “cửu tử đoạt đích” trong thời Khang Hy đã khiến Càn Long cảnh giác cao độ việc điều này tiếp diễn, vì thế ông đã mở ra chế độ quản giáo với áp lực vô cùng cao dành cho các hoàng tử. Tuy rằng chế độ này đã tránh được bi kịch tranh giành hoàng vị sau này nhưng cũng để lại mầm mống tai họa cho những người kế nhiệm tiếp theo là Gia Khánh, Đạo Quang,… Họ dần trở nên bất tài, không còn năng lực để gánh vác triều chính, từ đó khiến triều Thanh đi dần tới diệt vong.
Các con trai của Càn Long dưới sự quản thúc áp lực cao của ông, không chết thì cũng thành ngẩn ngơ, thậm chí còn có người giả ngốc giả điên để tránh tai họa đổ xuống đầu mình.
Càn Long có tổng cộng hơn 40 người vợ, nhưng chỉ có 17 hoàng tử và 10 công chúa. Do hoàng đế sống thọ tới 89 tuổi nên hậu thế của ông cũng rất đông, theo thống kê có tới hơn 100 người là cháu, chắt, chít ra đời khi ông còn sống, quả thực có thể được coi là một đại gia đình ngũ đại đồng đường. 17 hoàng tử của Càn Long bao gồm: Vĩnh Liễn, Vĩnh Tông do Hiếu Hiền Hoàng Hậu Phú Sát hạ sinh; Vĩnh Cơ, Vĩnh Cảnh do Hoàng hậu Ô Lạp Na Lạp Thị hạ sinh; Vĩnh Lộ, Vĩnh Diễm, Vĩnh Lân và một người chết yểu chưa được đặt tên do Hiếu Nghĩa Hoàng hậu Ngụy Giai Thị hạ sinh; Vĩnh Hoàng do Thứ Phi Phú Sát Thị hạ sinh; Vĩnh Chương, Vĩnh Dung do Thuần Phi Tô Thị hạ sinh; Vĩnh Thành, Vĩnh Tuyền, Vĩnh Tinh và một người chết yểu chưa được đặt tên do Gia Phi Kim Thị hạ sinh. Thư Phi Diệp Hách Na Lạp Thị có hạ sinh một người nhưng chưa được đặt tên, Quý Nhân Kha Ly Diệp Đặc Thị hạ sinh Vĩnh Kỳ.
Trong 17 vị hoàng tử này có 7 người đều chưa tới 10 tuổi đã qua đời do bệnh nặng, họ bao gồm Vĩnh Liễn, Vĩnh Tông, Vĩnh Tinh, Vĩnh Lộ và 3 người chết yểu. Còn có 2 người được quá kế cho 2 anh em họ của Càn Long làm con, họ là Vĩnh Thành và Vĩnh Dung. Còn Vĩnh Hoàng, Vĩnh Chương, Vĩnh Kỳ đều lần lượt qua đời vào những năm Càn Long thứ 15, 25, và 31. Vì thế, sau này Càn Long chỉ có thể lựa chọn người kế vị trong số 5 người con còn lại.
Người mà Càn Long yêu nhất chính là Phú Sát Hoàng hậu, bà còn là đích thê (chính thất đầu tiên), cả hai người con trai do bà hạ sinh đều từng được Càn Long ưng ý và chọn làm người kế vị. Ngày mùng 2 tháng 7 năm Càn Long thứ nhất, hoàng đế ở Tây Noãn Các trong Triều Thanh Cung, triệu kiến các quan lớn, tuyên bố dựa theo luật lập trữ quân bí mật do Ung Chính sáng lập, dự định hoàng trữ, khi ấy hoàng đế không nói rõ là ai, tới năm Càn Long thứ 3, Vĩnh Liễn đột ngột lâm bệnh qua đời, ông mới nói với các đại thần rằng: “Nhị A Ca Vĩnh Liễn do Hoàng hậu hạ sinh, sau khi cất mật thư vào sau tấm biển “quang minh chính đại” trong Triều Thanh Cung, tuy Vĩnh Liễn chưa hành lễ sắc lập nhưng trẫm đã coi đó là Hoàng Thái tử rồi”. Vĩnh Liễn qua đời khi mới 9 tuổi, được định làm người kế vị khi mới 7 tuổi, việc cậu có thể trở thành một vị vua anh minh hay không là điều vô cùng khó nói, nhưng cậu là con trai đích tôn của hoàng đế, vì thế lập làm trữ quân. Nhưng trên thực tế, điều mà Ung Chính muốn nhấn mạnh trong chế độ chọn trữ quân mà ông đặt ra là phải lựa chọn người hoàn hảo, không nên phân biệt đích thứ (con của chính thất và con của thiếp- phi tần).
Sau khi Vĩnh Liễn qua đời, có khoảng 10 năm, Càn Long không hề lập những người con trai khác làm Thái tử. Mãi cho tới cuối năm Càn Long thứ 12, con trai thứ hai của Phú Sát Hoàng Hậu là Vĩnh Tông cũng qua đời vì bệnh đậu mùa, Càn Long mới lại tiết lộ thông tin rằng mình có ý định lựa chọn con trai đích tôn Vĩnh Tông làm người kế vị. 3 tháng sau khi Vĩnh Tông qua đời, Đích thê Phú Sát Hoàng Hậu cũng quy tiên, Càn Long có muốn lập con trai đích tôn làm trữ quân cũng không được nữa, việc lập Thái tử cũng bị trì hoãn gần 30 năm.
Đầu năm Càn Long thứ 40, khi ấy Càn Long đã 65 tuổi, lúc này ông lại có ý định lập trữ quân. Nhưng lúc này, ông chỉ có thể lựa chọn một người trong số 4 hoàng tử Vĩnh Tuyền, Vĩnh Tinh, Vĩnh Diễm và Vĩnh Lân. Những người khác đều đã qua đời hoặc được quá kế cho các Vương gia khác. Trong 4 người còn lại, Vĩnh Tuyền là người lớn tuổi nhất, sắp 30 tuổi, ông là một nhà nghệ thuật tinh thông về thư họa, đặc biệt là thư pháp Triệu Mạnh Phủ đạt tới cảnh giới vô cùng cao. Tuy nhiên, tính cách ông lại rất hời hợt, làm việc cẩu thả, bướng bỉnh ham chơi, thậm chí còn phóng túng tới mức ham mê tửu sắc, thêm vào đó là bị tật ở chân, đi lại bất tiện, Càn Long vốn dĩ không có ý định chọn ông làm người kế nhiệm.
Người em trai cùng một mẹ sinh ra của Vĩnh Tuyền là Vĩnh Tinh có tài thơ văn, thư pháp cũng giỏi, là một hoàng tử thiên tài nghệ thuật văn học, ông cũng là người đem tình cảm gửi gắm trong việc uống rượu ngâm thơ, khí chất văn nhân ngút trời, hơn nữa còn rất “Hán hóa” (học theo người dân tộc Hán), đây tuyệt đối không phải là đối tượng được chọn làm trữ quân của Càn Long.
Còn Vĩnh Lân từ nhỏ đã không thích học hành, tính cách cũng bồng bột, hấp tấp, lớn lên lại càng hay trốn ra ngoài cung đi trêu hoa ghẹo nguyệt, hành vi bất nhã, bản thân ông cũng tự biết rõ về mình, chẳng bao giờ có ý nghĩ muốn làm hoàng đế, chỉ làm chuyện mà mình thích sống qua ngày.
Người duy nhất khiến Càn Long hơi hài lòng chính là Thập Ngũ A Ca Vĩnh Diệm, so với các anh em khác thì ông là người có phẩm hạnh và học thức, văn võ song toàn, đến cả các quan đại thần cũng cảm thấy ông hành sự trầm tĩnh, chín chắn, tính tình cương trực. Cho dù ông không đạt tới tiêu chuẩn cao của Càn Long, nhưng xét về điều kiện khách quan, Càn Long cuối cùng chỉ có thể chọn ông làm người kế nhiệm. Đây cũng chính là vua Gia Khánh sau này.
Càn Long vô cùng coi trọng việc giáo dục con cháu, một mặt yêu cầu học hành thật tốt, trở thành người có tri thức, lễ phép, có giáo dưỡng, văn hóa, mặt khác cũng muốn tránh việc huynh đệ tương tàn, tranh giành hoàng vị như thời cha ông (vua Ung Chính), vì thế Càn Long quy định tất cả các bé trai trong hoàng gia cứ lên 6 tuổi là bắt buộc phải đi học, hơn nữa mỗi ngày đều phải tới phòng học lên lớp đúng giờ. Những thầy giáo đứng lớp cũng đều là những học sĩ có kiến thức uyên thâm, ưu tú trong nội các và Viện Hàn Lâm, đồng thời còn cử các cao quan đại học sĩ làm Tổng sư phụ. Mỗi ngày cứ tới giờ Mão (khoảng 5 - 7h sáng), các hoàng tử hoàng tôn lên lớp, giờ Thân (khoảng 3 - 5h chiều) tan học. Ngoài ra còn có các võ quan dạy các hoàng tử cưỡi ngựa bắn cung, các quan viên Mãn Mông dạy tiếng Mãn.
Khi lên lớp, các hoàng tử không được phép tùy tiện rời khỏi phòng học, nếu có việc phải ra ngoài thì bắt buộc phải báo cáo. Năm Càn Long thứ 35, có một lần Vĩnh Tuyền chưa báo cáo đã tự ý rời khỏi phòng học, không những Vĩnh Tuyền bị trách mắng thậm tệ mà các sư phụ, thầy giáo khác đều bị cho là không có trách nhiệm trong công việc. Càn Long một lòng một dạ muốn dùng phòng học để khiến các hoàng tử tu thân dưỡng tính, ông sợ các hoàng tử hành động quá tự do sẽ kết bè kết phái, hoặc dùng thân phận cao quý của mình để ra ngoài làm chuyện ác, như vậy sẽ tạo thói quen ngang ngược, hống hách, tồi tệ. Hơn nữa ông cũng lo sợ các hoàng tử sẽ tự đốn binh, sau này mưu phản, tranh giành hoàng vị.
Càn Long từng nói với các thầy giáo trong thượng thư phòng rằng: Phải biết đạo lý làm người, làm việc phải có quy tắc. Vì thế, Càn Long vô cùng căm ghét những hành vi vô phép tắc kỷ cương của các hoàng tử. Năm Càn Long thứ 13, Đích Hoàng hậu Phú Sát Thị qua đời, thứ hoàng tử (con của phi tần) Vĩnh Hoàng, Vĩnh Chương biểu hiện không đủ bi thương trong tang lễ khiến Càn Long nổi giận, trách mắng họ rằng chưa làm tròn đạo hiếu, không coi ai ra gì. Ban đầu, Càn Long kiên quyết muốn lập đích hoàng tử (con của chính thất – Phú Sát hoàng hậu) làm Thái tử, nhưng cả hai người con trai đích tôn là Vĩnh Liễn và Vĩnh Tông đều lần lượt mất sớm khi ông chưa kịp chính thức lập họ làm trữ quân.
Liên tục bị đả kích bởi sự qua đời của những người mình yêu thương nhất (Phú Sát hoàng hậu và 2 con trai của bà) khiến tinh thần của Càn Long suy sụp nặng nề, nhìn thấy con trai 21 tuổi có biểu hiện không đủ tốt đã nổi giận quát mắng: Không làm tròn lễ nghĩa đạo hiếu, không biết xấu hổ, không đau buồn.
“Đại A Ca, Tam A Ca bất hiếu như vậy, trẫm niệm tình cha con không nhẫn tâm chu sát chúng, nhưng sau này cả hai tuyệt đối không thể kế thừa hoàng vị”. Càn Long càng nói càng phẫn nộ, vừa nói xong lại mất kiểm soát nhớ tới việc huynh đệ tương tàn tranh giành hoàng vị đời cha ông, Càn Long lại đổi ý định: “Sau này các ngươi chắc chắn sẽ huynh đệ tương tàn, so với việc huynh đệ tương tàn, thà rằng bây giờ ta giết các ngươi”. Nếu như không phải là thị vệ khổ sở can ngăn thì cả hai người con trai này đều đã bị Càn Long chém chết. Càn Long dùng ánh mắt tràn đầy tơ máu quát các quan đại thần Mãn Châu: “Từ nay về sau nếu như có người tấu trình xin lập Hoàng Thái tử, Trẫm chắc chắn sẽ lập hành chính pháp xử lý hắn, quyết không khoan hồng!” (theo “Thanh sử”)
Không lâu sau, con trai trưởng 21 tuổi bị Càn Long làm cho kinh hãi quá mức mà qua đời, Tam Hoàng Tử cũng qua đời năm 26 tuổi. Tháng 7 cùng năm đó, một viên quan nhỏ ở Sơn Tây đã gửi thư cho Tứ A Ca đã được quá kế, sau đó việc này bị Càn Long phát hiện hạ lệnh lăng trì xử tử người này, Tứ A Ca vì thế bị vạ lây, vài tháng sau cũng mất vì quá sợ hãi. Lục A Ca cũng vì nhận thiệp thỉnh an của Tuần phủ Sơn Tây mà sợ hãi ngay lập tức hồi báo với Càn Long, điều này cho thấy làm con trai của Càn Long có áp lực tâm lý lớn đến mức nào. Chỉ cần hơi cuốn vào chính trị một chút thôi thì sẽ có thể bị trừng trị.
Cho tới năm Càn Long thứ 31, ngoài Tứ A Ca và Lục A Ca đã được đem quá kế cho các Thân vương khác, đạt được tước vị thì những hoàng tử khác đều không có tước vị. Cho dù là tuổi tác có lớn đến mấy đều chỉ có thể ngoan ngoãn học hành trong phòng học, không được giao thiệp với thế giới bên ngoài, chẳng khác nào giam lỏng.
Làm con trai của Càn Long có lẽ là việc nguy hiểm nhất, đau khổ nhất trên đời, chỉ cần sơ sểnh một chút thôi là có thể mất đầu như chơi. Thập Nhất A Ca Vĩnh Tinh đành phải tránh họa bằng cách giả khùng giả điên, từ đó tránh xa tầm ngắm của Càn Long. Áp lực mà Càn Long dành cho các con trai của ông có thể lên tới ép buộc, áp bức. Đối với Càn Long mà nói, tình thân hoàn toàn không thể so sánh với chính trị, con trai nhẹ tựa lông hồng, xã tắc mới nặng tựa Thái Sơn. Sau khi giấu tên của Thập Tam A Ca Vĩnh Diễm (vua Gia Khánh sau này), Càn Long đã cầu nguyện trên Thiên đàn rằng nếu người con này có năng lực kế thừa đại nghiệp quốc gia thì mong thần linh phù hộ cho cậu làm việc có thành tựu, nếu như không phải là hiền tài thì mong hãy cho cậu đoản mệnh mất sớm, không được kế thừa đại nghiệp, làm hại xã tắc. Quả thực, đối với Càn Long, tình thân chẳng là gì so với chính trị xã tắc.