(입력이 어려운 기호는 대략 비슷한걸로 썼습니다. 합성함수 기호를 .으로 표현한다든지..)

자, 이제 본격적으로 문제를 풀기위해 함수를 합성해 보겠습니다. 
합성함수의 뜻에 맞게 함수 g의 x 대신에 f(x)를 대입하면,

요렇게 되겠죠? 위의 범위에 따른 세 부분의 그래프는 다음과 같은 형태로 나타납니다.

g(x+a) : g(x)를 x축 방향으로 -a 만큼 평행이동한 그래프
g(bx) : g(x)를 1/|b|배 만큼 가로 방향으로 늘이거나 줄인 그래프 (b<0이면 좌우반전)
g(x+c) : g(x)를 x축 방향으로 -c 만큼 평행이동한 그래프

이 셋을 범위에 따라 나타낸 그래프가 "연속이면서 감소 또는 증가하는 함수"여야 하는 것이죠.
그런데 g(x+a)는 g(x) 그래프를 좌우로 움직인것에 불과하고 대신 x의 범위만 -1보다 작다는 것이기 때문에 x가 한없이 작아지면 a에 관계없이 g(x+a)는 양의 무한대로 발산한다는 것을 알 수 있습니다. 마찬가지로 g(x+c)도 1이상의 x에 대해서 나타내면, x가 한없이 커지면 g(x+c)는 c의 값에 관계없이 음의 무한대로 발산합니다.

즉, g.f를 증가 또는 감소 중에 하나로 선택해야 한다면 반드시 감소함수로 선택해야 한다는 뜻이 됩니다. 따라서 -1 미만인 구간에서의 g.f는 감소구간만을 갖도록 하기 위하여 g(x) = -x-2만을 취하고, x축 방향으로 0 이상 이동해야 합니다. 또한, 1 이상인 구간에서의 g.f도 감소구간만을 갖도록 하기 위하여 g(x)=-x+2만을 취한 후, x축 방향으로 0 이하로 이동해야 합니다. 

여기까지의 결론을 종합하면,

한편, 가운데 식인 g(bx)에 대해서 살펴보겠습니다.
g(bx)는 위에서 말한 것 처럼 g(x)를 1/|b|배 만큼 가로 방향으로 늘이거나 줄인 그래프인데요, 이해를 돕기 위해 b 값에 따른 그래프를 나타내면 다음과 같습니다.

|b|>1일 때에는 가로가 좁아지기 때문에 첫번째 그림처럼 -1이상 1미만인 구간에 증가, 감소가 섞이게 되는 것을 알 수 있습니다. 반대로 |b|<1일 때에는 b>0일 때는 증가함수, b<0일때는 감소함수만 나타나게 되죠.
앞서서 -1 미만, 1 이상에 해당되는 다른 두 식이 감소함수라는 결론이 나왔으므로, b의 값은 g(bx)를 감소함수로만 나타나게 할 수 있는 -1<b<0에 해당됨을 알 수 있습니다.

따라서, g.f의 역함수가 존재할 가능성이 있는 유일한 경우는 g.f가 다음과 같이 정의될 때 입니다.

여기에 이 함수는 연속이어야 하므로
x=-1에서 연속할 조건 -a-1=-b, x=1에서 연속할 조건 b=-c+1에 의해,

a+b+2c = (b-1)+b+2(-b+1)=1 입니다.

(a, b, c의 범위까지 구해두었으나, 답을 얻는데 사용되지는 않았네요)

수학의 정도(正道) - 대홍쌤 블로그에서 허락을 받아 올리는 해설입니다.