f(f(x))=x의 실근의 의미에 대해서 먼저 이해해 봅시다. 만약 어떤 실수 α가 ① f(α)=α를 만족한다면, f(f(α))=f(α)=α가 되어 α는 f(f(x))=x의 근임이 분명합니다. 여기서 α는 f(x)=x, 즉 삼차방정식의 실근이므로 최대 3개입니다. 그런데, 우리가 구하고자 하는 f(f(x))=x의 서로 다른 실근은 총 5개이기 때문에 f(x)=x를 만족하는 값 외에도 적어도 두 개의 근이 더 있어야 합니다. 
이번에는 ② f(β)=γ(≠β)인 β가 f(f(x))=x의 실근이 되는 경우에 대해서 알아보겠습니다. f(f(x))=x의 x값으로 β를 대입하면 참이어야 하므로, f(f(β))=β ⇒ f(γ)=β가 됩니다. 즉, f(f(γ))=f(β)=γ이므로 γ 또한 함께 실근이 되어 실근을 항상 두 개씩 쌍으로 가져야 함을 알 수 있습니다. 또한 f(β)=γ, f(γ)=β이므로 y= f(x)는 y=x에 대칭인 두 점을 함께 지나야 합니다.
여기까지를 종합해보면, 서로 다른 실근이 총 5개가 되는 방법은 (1) ①의 실근이 3개, ②의 실근이 2개인 경우와 (2) ①의 실근이 1개, ②의 실근이 4개인 두 가지 방법 중 하나임을 알 수 있습니다.

(1), (2) 두 가지의 경우에 대해 각각 알아보겠습니다.

(1)의 경우 y=f(x)는 y=x와 세 점(첫 증가 구간에서 1개, 감소 구간에서 1개, 다시 증가 구간에서 1개)에서 만나고, y=x에 대칭인 두 점을 지납니다. 문제 조건에서 f(x)는 x=1, 2에서 각각 감소상태이기 때문에 구간 [1,2]는 이 함수의 감소구간 안에 놓이게 됨을 알 수 있습니다. y=x에 대칭인 두 점 사이의 기울기는 -1인데, 이 두 점을 y=f(x)가 함께 지나려면 두 점 사이의 구간은 감소구간을 반드시 포함(정확히는 평균값 정리에 의해 두 점 사이에서 미분계수가 -1인 점이 적어도 하나 이상 존재.)하여야 하며, 그 두 점 사이에서 y=x와 만나게 됩니다(이 것도 정확히 따지면 사잇값 정리에 의한 것). 따라서, 감소 구간에서 y=x와의 교점이 (a,a), y=x에 대칭인 두 점이 (1,2), (2,1)임을 알 수 있습니다. 또한 (0,0), (b,b)는 각각 f(x)의 증가 구간에서 y=x와 만나는 점이 되겠습니다.
따라서 f(x) = kx(x-a)(x-b)+x 라고 둘 수 있게 되겠네요. 우리에게는 f(1)=2, f(2)=1, f'(0)-f'(1)=6이라는 세 가지 정보가 있기 때문에 이들로부터 아마 k, a, b의 세 상수를 구할 수 있을 것으로 보입니다.

미지수도 3개, 식도 3개이긴 한데, 어떻게 풀어야할지 감이 안잡힐 수도 있는 형태라 좀 자세히 설명하겠습니다.
전체적으로 k로 묶이는 부분이 많기 때문에 세 등식을 먼저 정리하여 k는 우변으로 넘겨버리겠습니다. 그러면 세 식은 아래와 같이 되겠습니다.

이러면 뭘 해야할지 꽤 명확하죠? ①, ②를 변변 빼서 얻어지는 식과 ③을 연립하면 k=1을 얻을 수 있습니다. 이렇게 얻어진 k=1을 ③에 대입하면 a+b=9/2가 되고, 이 값을 다시 ①에 대입하면 ab=9/2가 됩니다. a,b의 합과 곱을 얻었으니 (x-a)(x-b) = x²-(a+b)x+ab=x²-(9/2)x+9/2가 됩니다.(또는 a, b를 각각 3/2, 3으로 찾아도 됩니다.)
따라서 f(x) = x(x²-(9/2)x+9/2)+x = x(x-3/2)(x-3)+x가 되고, 이때의 f(5)=40입니다.

다음으로 (2)의 경우를 볼건데요. 이 경우는 사실 불가능한 경우입니다.
위 (1)에서 봤던 것 처럼 y=x에 대칭인 두 점 사이에서는 y=x와의 교점도 하나 이상 존재하기 때문에, 대칭인 두 쌍의 점까지 더해지면 이것만으로 5개의 근이 발생합니다. 하지만, 감소구간보다 왼쪽의 증가구간에서도 y=x와의 교점 1개, 감소구간보다 오른쪽 증가구간에서도 y=x와의 교점 1개가 추가로 존재하기 때문에 이 경우는 적어도 7개의 근이 존재하게 될 것입니다. 따라서 문제 조건에 맞지 않습니다.

따라서 최종 정답은 40입니다.

수학의 정도(正道) - 대홍쌤 블로그의 허락을 받아 올리는 해설입니다.