Разберём задачу по шагам, как на уроке.
Обозначим ускорение системы a. Так как трения нет и нити невесомы, все три бруска движутся с одинаковым ускорением a, причём
a = F / (m1 + m2 + m3).
Нити выдерживают натяжение до 10 Н. Точки разрыва будут в нитях между брусками. Найдём выражения для натяжений (предполагаем, что F тянет за крайний брусок m1, дальше идут m2 и m3):
Натяжение T12 в нити между m1 и m2 должно обеспечивать ускорение двух задних брусков m2 и m3, поэтому
T12 = (m2 + m3) * a.
Натяжение T23 в нити между m2 и m3 обеспечивает ускорение только m3, поэтому
T23 = m3 * a.
По условию ни одна нить не должна перерастягиваться: T12 <= 10 Н и T23 <= 10 Н. Подставим выражения через a:
(m2 + m3) * a <= 10 => a <= 10 / (m2 + m3) = 10 / (3 + 5) = 10 / 8 = 1.25 м/с^2.
m3 * a <= 10 => a <= 10 / m3 = 10 / 5 = 2.0 м/с^2.
Ограничение даёт наименьшее из этих значений, т.е. a_max = 1.25 м/с^2.
Тогда максимально возможная сила F равна сумме масс, умноженной на a_max:
F_max = (m1 + m2 + m3) * a_max = (2 + 3 + 5) * 1.25 = 10 * 1.25 = 12.5 Н.
Первая нить (между m1 и m2) разорвётся раньше остальных, поэтому она и задаёт предел.