Дан ромб АВСД Окружность описана около треугольника АВД, пересекает большую диагональ...

M- точка пересечения диагоналей.
Прямоугольные треугольники ADM и ADE подобны, то есть AM/AB = AB/AE; или
AM*AE = AB^2;
Ясно, что AM = AC/2; Для AE возможны два варианта
1) точка E лежит ВНУТРИ ромба. В этом случае угол A ромба острый. 
AE = AC - CE; 
Получается уравнение (AC/2)*(AC - 12) = 8^2*5; AC^2 - 12*AC - 640 = 0 ; 
или AC = 32; отсюда AM = 16; BM^2 = (8^2*5 - 16^2) = 8^2; BD = 2*BM = 16; это меньшая диагональ.
2) точка E лежит ВНЕ ромба. В этом случае угол A ромба тупой. 
AE = AC + CE; 
Получается уравнение (AC/2)*(AC + 12) = 8^2*5; AC^2 + 12*AC - 640 = 0;
или AC = 20; это меньшая диагональ.
В задаче есть 2 варианта решения - в зависимости от того, где лежит точка E (или - какой угол A - острый или тупой).