Threads 100 시리즈 셔플 순서를 데이터로 안 바꾸는 이유

매일 하나씩, portfolio 사이트를 Threads 에 소개하는 시리즈를 굴리고 있습니다.

100 개의 사이트를 한 번 셔플해서 순서를 정한 뒤, 그 순서대로 하루 한 개씩 포스팅합니다. 어떤 사이트가 며칠째에 나갈지는 시작 시점에 이미 정해져 있습니다.

가끔 의문이 듭니다.

어떤 사이트는 GA4 에서 컨버전이 잘 나오고, 어떤 사이트는 viral 트리거가 또렷합니다. 매일의 포스팅 성과 데이터가 쌓이면, "성과 좋은 사이트를 앞쪽으로 당겨야 하지 않나" 라는 유혹이 듭니다. 100 번째에 배치된 사이트가 사실은 10 번째쯤에 와야 하는 사이트일 수도 있으니까요.

이 유혹에 답을 안 하기로 했습니다. 처음 셔플한 순서를 그대로 둡니다. 어떤 분석 결과도 그 순서를 바꾸지 않습니다.

이유는 Threads 알고리즘 자체의 영향에서 옵니다. 어제 포스팅이 spike 를 만들면 오늘의 노출에 영향이 갑니다. 어제가 잠잠하면 오늘도 잠잠한 베이스라인에서 시작합니다. 이 영향은 글의 내용이 아니라 어제 노출의 잔재에서 옵니다. 그러니까 오늘 포스팅의 성과는 오늘 사이트의 가치만으로 결정되지 않습니다.

이 상황에서 데이터로 순서를 매번 다시 정렬한다고 생각해보면 — 정렬의 기준 데이터 자체가 알고리즘 잔재에 오염되어 있습니다. 어떤 사이트가 50 번째 자리에 있는데 그날 우연히 spike 가 겹쳐서 잘 나왔다면, 다음 사이클에 5 번째로 당기는 결정은 그 사이트의 가치를 측정한 것이 아니라 그날 알고리즘 상태를 측정한 것에 가깝습니다. 5 번째로 당겨도 같은 결과가 나온다는 보장이 없습니다.

데이터를 무시한다는 뜻은 아닙니다. 데이터 기반 우선순위는 Threads 외 채널에서 적용합니다. 블로그·유튜브·메일링 — 알고리즘 잔재가 덜 들어오는 채널에서는 성과 데이터로 다음 픽의 우선순위를 결정합니다. Threads 만 예외입니다.

이 규칙을 정한 뒤 한 가지 부산물이 생겼습니다. 매일 포스팅을 결정하는 시간이 0 에 가까워졌습니다. 셔플 순서표에서 오늘 자 사이트를 꺼내 올리면 끝입니다. 어제 어떤 시그널이 있었는지를 기준으로 오늘 누구를 올릴지 — 이런 매일의 의사결정이 사라졌습니다.

처음에는 이 규칙이 합리적인지 확신이 없었습니다. 데이터를 무시한다는 게 평소 분석 습관과 어긋나 보였습니다. 그런데 몇 주 굴려보니, Threads 알고리즘에서 들어오는 노이즈를 데이터로 해석하려던 시도가 매번 미끄러졌습니다.

이 글은 현 시점 기록일 뿐입니다. 6 개월 뒤 시리즈가 100 일을 다 채우고 나면 셔플 순서가 결과에 얼마나 영향을 줬는지를 회고로 다시 적을 생각입니다. 그때는 다른 결론에 도달해 있을 수도 있습니다.