Дело ли тут в усах, наличии некоторого количества седины - сказать сложно. Скорее это вторично.
Психологически к "молодежи" по Крылову я никогда не относился, возможно это и причина? Первые не оценивали как "своего", а вторые, пусть подсознательно, оценивали.. Из этого шло и сравнение, и его база.