디스코드가 일렉트론을 버리고 Rust 로 간다길래

디스코드가 데스크톱 앱을 Rust 로 다시 만든다는 소식을 봤다. UI 는 사람들이 예상하기로는 Tauri 였으나 GPUI 로 그린다고 한다. 공동 창업자이자 CTO 인 Stanislav Vishnevskiy 가 11월 초에 X 에 직접 올린 이야기라 소문은 아닌 것 같다 ( Windows Latest ). GPUI 는 Zed 에디터를 만든 팀이 쓰는 프레임워크다. 웹뷰를 띄우는 게 아니라 GPU 로 화면을 직접 그린다. 일렉트론은 앱마다 크롬을 하나씩 들고 다니는 구조라 메모리를 많이 먹는다는 얘기가 늘 따라다녔는데, 디스코드는 그 구조 자체를 내려놓기로 한 것 같다. 모바일도 같이 바뀐다고 한다. React Native 를 빼고, 화면은 각 플랫폼 네이티브로 두되 그 아래 코드는 Rust 로 데스크톱과 공유한다는 이야기다. 나는 메모리 숫자보다 이쪽이 더 눈에 들어왔다. 메모리 얘기도 돈다. 테스트 빌드가 300MB 조금 안 되게 쓴다는 스크린샷이다. 근데 출시 전 빌드 화면 한 장이고 출시일도 없어서, 그냥 그런 게 있구나 하고 보고 있다. 왜 C++ 에서 Rust 로 옮겼나 나도 C++ 로 짜던 코드를 Rust 로 옮겼다. 회사 일이라 자세히 쓰기는 어렵고, 이유만 적어 둔다. 한 번에 옮긴 건 아니다. 4년 전에는 일부 모듈만 Rust 로 바꿨고, 작년에 코어 로직 전부를 Rust 로 옮겼다. 지금 일렉트론은 UI 만 맡고 있다. 개인적으로 만드는 앱도 코어 로직은 전부 Rust 로 짠다. git 클라이언트인 git403 은 Tauri 로 만들었고, 데스크톱과 안드로이드를 같이 지원한다. vmdeck 은 애플 실리콘 맥 전용 가상화 앱이다. Parallels, VMware, UTM 을 대신하려고 만들었고, 회사에서도 라이선스 걱정 없이 쓰고 싶었다. 인텔 맥이나 윈도우용도 생각은 해 봤다. 그런데 윈도우는 이미 무료로 쓸 만한 앱이 많고, 인텔 맥은 단종돼서 아직은 손이 안 간다. 고민이 하나 있다. vmdeck 안에 윈도우를 설치해서 쓰...

AI 산출물은 한 건씩 보지 말고 스무 개를 한 줄로 세워라

오전에 나는 저장소 하나를 열어서 산출물 열여덟 개의 제목만 뽑아 세로로 늘어놨다.

A가 아니라 B였다
A했고 B였다
기대한 것과 결과가 어긋났다

열여덟 개 중 열다섯 개가 이 셋 중 하나였다. 끝맺는 모양까지 보면 거의 다 똑같았다. 질문형도 명사구도 없었다.

한 건씩 볼 때는 아무 문제가 없었다. 각각은 검사를 통과했고, 통과 기록도 남아 있다. 검사기가 제목을 안 읽고 있었을 뿐이다.

그날 하루 동안 같은 저장소에서 이런 게 연달아 나왔다. 하나씩은 다 다른 사고처럼 보이는데, 설계와 구현과 검증을 다 맡기고 나서 사람이 무엇을 안 봤는가에서 전부 나왔다.

밝은 책상 위에 같은 서식의 종이 열여덟 장이 격자로 놓여 있고 전부 같은 자리에 같은 도장이 찍힌 오버헤드 구도

이 저장소에는 산출물 문체를 훑는 검사기가 있다. 금지 표현 목록의 일곱 번째 항목이 이렇게 적혀 있다.

AI 결론형 정형구: 가 아니라 ~다 · 데 있다 · 한 셈이다 · 결국 ~것이다
→ 사실만 쓰고 결론 라벨을 떼면 대개 좋아진다.

발행된 제목 중 셋이 정확히 그 문형이었다.

AX 는 도구를 사는 일이 아니라 권한을 자르는 일이다
깨진 유리창 이론은 마음가짐이 아니라 순찰 인력에서 시작했다
네 번째 리팩토링에서 AI가 아니라 내가 문제였다

검사기가 고장 난 게 아니다. 검사기는 본문 파일을 훑는다. 제목은 파일 맨 위 메타데이터에 있고, 그 영역은 훑는 범위 밖이었다.

검사기를 만들 때는 본문이 전부처럼 보였을 거다. 제목은 나중에 붙는 짧은 문자열이니까. 근데 목록 화면에서는 제목만 보인다. 읽는 사람이 제일 먼저 보는 게 검사에서 빠져 있었다.

검사기가 무엇을 훑는지는 만들 때 정해지고, 그 뒤로는 아무도 다시 확인하지 않는다. 산출물의 모양이 바뀌어도 검사 범위는 처음 그대로다.

더 나쁜 게 뒤에 있었다.

같은 저장소의 다른 문서에 제목 작성 규칙이 있다. 클릭 유인 기법 다섯 개 중 두 번째가 이렇다.

기존 상식 반박 — ~가 아니다, ~는 필요 없을까, ~보다 더 중요한 것

그리고 그 아래에 이 기법을 하나 이상 필수로 넣으라고 적혀 있다.

한 문서는 가 아니라 ~다 를 금지하고, 다른 문서는 같은 문형을 필수로 요구한다. 둘 다 같은 작업에서 쓰인다. 근데 이 두 문서를 같이 읽은 사람이 없었다. 따로 보면 둘 다 그럴듯해서 그냥 넘어갔다.

AI는 두 문서를 다 읽고 둘 다 성실하게 따르려고 한다. 그러면 두 규칙 중 검사받지 않는 규칙이 이긴다. 제목 규칙은 만들 때 적용되고 금지 목록은 만든 뒤에 적용되는데, 금지 목록 검사는 제목까지 닿지 않았다. 그래서 열여덟 개 중 열다섯 개가 같은 모양으로 나왔다.

문서를 늘리면 모순도 같이 는다. 규칙이 몇 개일 땐 한눈에 보이는데 스무 개쯤 되면 안 보인다. 결국 산출물을 열어 봐야 알았다. 두 규칙이 부딪힌 결과가 거기 이미 나와 있었다.

도입부 규칙도 비슷했다. 네 박자로 잡으라는 것이다.

왜 하려 했는지 → 무엇을 했는지 → 됐다 → 그런데 다른 게 깨졌다

구조 자체는 좋다. 문제는 이게 필수 조항이었다는 것이다. 같은 문서 조금 위에는 "구조를 매번 다르게" 하라는 항목이 있고 예시 다섯 개 중 하나가 "결론부터 던지고 왜 그런지 풀어가기"다. 그런데 아래 필수 조항이 "결과나 결론으로 시작하지 않는다"고 못 박는다. 다섯 개 중 하나가 바로 죽고, 나머지 넷도 네 박자 도입을 달고 나면 서로 구분이 안 된다.

규칙에 값이 비어 있어도 AI 는 매번 같은 답을 내고, 값이 하나로 고정돼 있어도 매번 같은 답을 낸다. 도입부 규칙은 고정된 경우였다.

나는 설계 단계에서 사람이 봐야 하는 건 항목이 다 채워졌는지보다 어느 항목이 출력을 하나로 고정하는지라고 본다. 그건 문서를 읽어서는 잘 안 보이고 산출물을 열 개쯤 쌓아놓고 봐야 보인다.

설계부터 검증까지 맡기면 각 단계에서 통과 표시가 나온다. 문서는 읽어보면 말이 되고, 빌드는 통과하고, 검사는 지적된 항목을 고치면 목록이 비워진다. 세 단계가 전부 초록불이니 사람이 산출물을 열어 볼 이유가 사라진다.

초록불 보고도 매번 열어 보는 사람은 없다. 그러려고 만든 표시니까. 근데 그 표시가 뭘 보증하는지는 아무도 다시 안 봤다.

빌드 통과가 보증하는 건 컴파일이고 검사 통과가 보증하는 건 그 검사가 훑은 범위다. 범위가 좁아도 초록이고 넓어도 초록이다. 산출물을 매번 다 읽을 수는 없다. 검사가 무엇을 안 보고 있는지는 한 번 확인하면 되고, 그 한 번이 산출물 스무 개를 읽는 것보다 싸다. 그 한 번을 아무도 안 했다.

한 건 검사와 집합 검사

검사 범위를 다 넓혀도 안 잡히는 게 하나 있다. 산출물 하나가 좋은 것과 산출물 스무 개가 서로 다른 것은 다른 문제다.

깨진 유리창 이론은 마음가짐이 아니라 순찰 인력에서 시작했다 는 떼어놓고 보면 읽을 만한 제목이다. 구체적이고, 무엇을 다루는지 알 수 있고, 읽고 싶어진다. 한 건 검사에서 이걸 걸러낼 근거가 없다. 걸러내면 오히려 나쁜 검사다. 그런데 열여덟 개를 세로로 세우면 열다섯 개가 같은 수사를 쓴다. 그러면 한 틀에서 찍어 낸 것처럼 보인다.

도입부도 같았다. 스무 개 중 열 개가 그 네 박자였다. 본문에서 전환어 하나만 세어 봐도 여든 번이 넘게 나왔다.

좋은 규칙이라도 필수로 걸면 산출물이 전부 같은 모양으로 나온다. 규칙이 나쁘면 나쁜 게 스무 개 나오고 규칙이 좋으면 좋은 게 스무 개 나오는데, 스무 개가 같다는 사실 자체가 문제가 되는 영역이 있고, 한 건 검사로는 그걸 못 잡는다. 검사기 입력에 나머지 열아홉 개가 없기 때문이다.

속도도 있다. 3주쯤에 스무 개가 나왔다. 손으로 만들면 열 번째쯤에서 "또 같은 걸 쓰고 있네" 하고 스스로 방향을 튼다. 스무 개가 3주 만에 나오면 그 지겨움이 도착하기 전에 스무 개가 이미 나가 있다. 검사가 안 보는 곳에서 생긴 문제는 만드는 속도만큼 쌓인다.

사람 리뷰어라면 같은 걸 세 번 연속 보면 "또 이 모양이네" 소리가 나온다. 기억이 집합 검사를 대신 해준다. AI 세션은 매번 새로 시작한다. 이전 산출물이 입력에 없으면 열아홉 번을 같은 모양으로 만들고도 스무 번째에서 똑같이 만든다. 사람끼리 일할 때 저절로 생기던 견제가 여기엔 없다.

그래서 나는 검사를 하나 새로 만들었다. 산출물의 형태만 센다. 제목이 무슨 어미로 끝나는가, 특정 수사가 들어 있는가, 도입 세 문단 안에 전환어가 몇 개인가. 새 산출물을 직전 다섯 개와 대조해서 세 항목이 겹치면 반려한다.

돌려보니 이렇게 나왔다.

제목 형태(굵게)   평서문 17편(94%)
제목 반전장치     있음 15편(83%)
[경고] 제목이 '평서문' 하나로 17/18편 쏠려 있다
[경고] 제목 반전·대비 장치가 15/18편. 이게 지문이 된다

이 두 줄은 한 건씩 검사할 때는 나올 수가 없는 문장이다. 이 검사는 검사기 맨 앞에 뒀다. 한 편을 아무리 다듬어도 스무 편이 다 같은 모양이면 소용이 없어서다.

설계도 되돌렸다. 도입 네 박자를 필수에서 빼고 여섯 유형 중 하나로 내렸다. 장면으로 시작하거나, 결론을 먼저 놓거나, 질문을 던지거나, 남의 문장을 옮기거나, 순서대로 기록하거나. 직전 다섯 개가 쓴 유형은 못 고르게 했다. 되돌린 뒤 분포는 이렇게 바뀌었다.

제목 형태   명사구 7 · 평서문 7 · 질문형 5 · 명령형 1
반전 장치   3/20   (전 15/18)
도입 전환어 2/20   (전 10/20)

같은 날 나온 것들

같은 날 다른 것도 하나 나왔다. 배포 대상 목록을 원격에서 받아 로컬과 대조해봤더니 원격에 스무 개, 로컬에는 열여덟 개만 기록이 있었다.

하나는 로컬에 파일은 있는데 배포 식별자가 비어 있었고, 다른 하나는 파일 자체가 없었다. 둘 다 다른 머신에서 배포됐고, 배포 결과가 이 저장소로 안 돌아온 것이다.

식별자가 비어 있는 경우가 특히 나빴다. 배포 스크립트는 식별자가 있으면 갱신하고 없으면 새로 만든다. 그 상태에서 배포를 한 번 돌리면 같은 산출물이 하나 더 생기고, 새로 만들어진 것에 식별자가 기록되니까 원본은 영영 갱신되지 않는다.

여러 머신에서 같은 파이프라인을 돌리면 언제든 생기는 일인데, AI에게 배포까지 맡기면 이 어긋남을 아무도 눈치채지 못하는 기간이 길어진다. 사람이 손으로 배포하면 목록을 보게 되고, 목록을 보면 개수가 안 맞는 게 눈에 들어온다. 명령 한 줄로 끝나면 목록을 볼 일이 없다. 대조는 열 줄이 안 됐다. 그 열 줄을 아무도 안 쓴 건 어긋난 적이 없다고 알고 있었기 때문인데, 그것도 확인한 게 아니라 그냥 그렇게 알고 있었던 것이다.

제목 열여덟 개를 고치려고 정규식으로 한 번에 치환을 돌렸는데, 열여덟 개 파일이 전부 깨졌다.

메타데이터의 그 항목은 값이 길면 여러 줄에 걸쳐 이어진다. 정규식은 첫 줄만 바꿨고, 남은 줄들은 갈 곳이 없어져서 파일 전체가 파싱되지 않았다.

발행 전에 파일을 실제 파서에 넣어 보고서야 잡았다. 눈으로 봤으면 못 잡았을 거다. 화면에선 줄 하나 더 있는 것뿐이라 멀쩡해 보인다. 고친 방법은 정규식을 다듬는 게 아니라 파서로 읽고, 값을 바꾸고, 파서로 다시 쓰는 것이었다. 형식을 문자열로 다루는 걸 그만두면 여러 줄이든 한 줄이든 상관이 없어진다.

AI에게 일괄 수정을 시키면 거의 항상 문자열 치환으로 온다. 빠르고 짧고 대개 맞는다. 한 건 고칠 때는 합리적인데 열여덟 건을 한 번에 고칠 때는 가끔 틀리는 게 전부 틀리는 게 된다.

이 저장소에는 규칙이 두 군데 있다. 작업할 때 읽는 문서와, 세션이 시작할 때 자동으로 주입되는 메모리다. 도입 네 박자는 양쪽에 다 적혀 있었다. 작업 문서에서 필수 조항을 빼도 메모리는 다음 세션 첫 줄에서 다시 들어온다.

고친 다음 날 같은 규칙이 돌아오고, 산출물은 다시 같은 모양으로 나오는데 왜 그런지는 알기 어렵다. 문서를 고친 커밋은 남아 있으니 고쳤다고 믿게 된다.

같은 사실이 두 군데 적혀 있으면 하나만 고쳐도 고쳐진 것처럼 보인다. 여기가 사람이 관리하던 시절보다 나빠지는 부분이다. 사람은 규칙을 기억으로 들고 다니니까 원본이 하나인데, AI는 매 세션 문서를 다시 읽고 여러 개면 다 읽는다. 오래된 사본이 최신 사본을 이길 수 있고, 어느 사본이 이겼는지는 어디에도 기록되지 않는다. 메모리도 세 파일을 같이 고쳤다. 규칙을 고칠 때는 그 규칙이 몇 군데 적혀 있는지부터 세는 게 먼저다.

예전에는 문체를 점수로 매기는 게이트가 있었다. 패턴마다 점수를 더해 백 점 만점을 내고 기준선을 넘으면 발행을 막았다. 그 게이트를 없앤 건 점수와 판정 문자열을 검사받는 에이전트가 직접 써서 파일에 남겼기 때문이다. 발행 스크립트는 그 파일에서 "합격"이라는 글자를 찾았다. 검사받는 에이전트가 합격 여부를 스스로 적고 있었다.

AI에게 일을 맡길 때 이 모양이 계속 나온다. 검증을 시키면 검증 결과도 같이 만들어 온다. 그 결과는 그럴듯하고 대개 맞아서, 틀렸을 때 티가 안 난다. 테스트를 짜라고 시키면 통과하는 테스트를 짜 오는 것과 같은 일이다.

그래서 새 검사기는 판단을 안 한다. 어미를 세고, 문자열이 몇 번 나오는지 세고, 분포를 출력한다. 좋은지 나쁜지는 말하지 않고 사람이 보고 정한다. 평서문 17/18 은 모델이 "충분히 다양합니다"라고 말해도 17/18이다. 나는 게이트로 쓸 수 있는 건 이런 종류의 사실뿐이라고 본다. 판단이 들어가는 순간 그 판단을 누가 하느냐는 질문이 따라붙고, 답이 "검사받는 에이전트"이면 게이트가 아니다.

같은 날 원격에만 있던 산출물 하나를 회수해 로컬 형식으로 되돌릴 때도 눈으로 확인하지 않고 렌더러에 다시 넣어 원본과 대조했다. 글자 수까지 딱 맞았다. 중간에 표가 한 덩어리로 안 묶여 각 줄이 본문 문단으로 렌더링되던 것도 그 대조에서 나왔다. 눈으로 봤으면 표가 좀 이상하다고만 생각하고 넘어갔을 것이다. 왕복시켜 맞춰 보니 어디서 어긋났는지 바로 나왔다.

제목 열여덟 개를 새로 뽑았다. 형태를 명사구와 질문형과 명령형으로 흩고, 메타 설명 열여덟 개도 다시 썼다. 도입은 스무 개 중 열 개를 다시 썼다. 나머지 열 개는 이미 서로 달라서 건드리지 않았다. 그리고 전부 다시 배포했다.

이 정도로 끝난 건 운이 좋아서다. 이 플랫폼은 주소를 처음 배포할 때 고정하고 제목이 바뀌어도 주소를 안 바꾼다. 주소가 제목에서 파생되는 구조였으면 제목 열여덟 개를 고치는 순간 주소 열여덟 개가 죽고, 산출물끼리 서로를 가리키는 링크도 같이 죽는다. 세어보니 그런 링크가 여덟 개 있었다.

산출물을 안 들여다본 탓에 생긴 문제는 만들 때는 안 보인다. 만들 때는 오히려 빠르다. 고생은 되돌릴 때 하고, 그때 드는 품은 산출물 개수에 비례한다. 열여덟 개에서 알아채면 열여덟 개를 고치면 되고, 백 개에서 알아채면 백 개를 고쳐야 한다. 빨리 만든 이득은 바로 보이고 안 본 탓에 드는 품은 나중에 오니까, 앞의 것만 눈에 들어온다.

제목을 세로로 세워 보는 데는 스크립트 하나랑 몇 분이면 됐다. 그걸 안 한 3주 동안 스무 개가 나갔다.

댓글

이 블로그의 인기 게시물

아이들은 우리 게임에 들어오지 못한다

AI 부업 강의 여섯 편이 "리스크가 제로죠"라고 말했다

AI가 썼다는 브라우저 300만 줄에서 112만 줄은 남의 코드였다