arjaythedev/twelve-dollar-server-challenge는 1 vCPU와 2 GB RAM을 갖춘 월 12달러 서버에서 같은 소형 API를 여러 언어와 프레임워크로 구현해 처리 가능한 사용자 수를 겨루는 챌린지다. 참가자는 SQLite를 사용해 API를 만들고, 제출물은 정해진 테스트를 통과해야 한다. 저장소의 주 언어는 C이며 MIT 라이선스로 공개됐다.
README에 따르면 프로젝트는 언어별 기본 설정과 최적화되지 않은 코드로 8개 언어를 벤치마크했다. 제출물은 같은 서버에서 k6 부하 테스트로 평가하며 Nginx 사용은 선택 사항이다. 점수는 5분 유지 구간을 통과한 최대 사용자 수로 정한다. 이때 p95 응답 시간 500밀리초, p99 1초, 오류율 1퍼센트 미만 조건을 함께 적용한다. API 사양과 데이터 구조를 고정하고 요청 사이의 캐시를 금지하며, 쓰기는 응답 전에 데이터베이스에 반영하도록 해 비교 조건을 맞춘다. 저장소에는 검사 42항목과 k6 부하 시험 스크립트가 있으며, 제출물별 점수와 용량 측정 결과는 JSON으로 남는다.
다만 비교 대상은 정해진 웹 API에 한정된다. 저장소도 규칙과 시험 스크립트 중심이라 알고리즘 구현 자체를 깊게 비교하는 프로젝트는 아니다. 기본 설정과 최적화되지 않은 코드의 결과는 저사양 서버에서의 참고 자료에 가깝고, 각 구현을 충분히 튜닝한 뒤의 성능까지 설명하지는 않는다.