[CLEAN CODE] 동시성(Concurrency)

객체는 처리의 추상화다. 스레드는 일정의 추상화다.

📢 동시성이 필요한 이유?

Why Concurrency?

동시성은 결합(Coupling)을 없애는 전략이다.
무엇과 언제를 분리하는 전략이다.

미신과 오해

Myths and Misconceptions

• 동시성은 항상 성능을 높여준다.
  -> 동시성은 때로 성능을 높여준다. 대기 시간이 아주 길어 여러 스레드가 프로세서를 공유할 수 있거나, 여러 프로세서가 동시에 처리할 독립적인 계산이 충분히 많은 경우에만 성능이 높아진다.

• 동시성을 구현해도 설계는 변하지 않는다.
  -> 단일 스레드 시스템과 다중 스레드 시스템은 설계가 판이하게 다르다. 무엇과 언제를 분리하면 시스템 구조가 크게 달라진다.

• 웹 또는 EJB 컨테이너를 사용하면 동시성을 이해할 필요가 없다.
  -> 컨테이너가 어떻게 동작하는지, 어떻게 동시 수정, 데드락 등과 같은 문제를 피할 수 있는지를 알아야만 한다.

동시성은 부하를 유발하고, 복잡하며, 동시성 버그는 재현하기 어렵다.

📢 난관

Challenges

public class X {
    private int lastIdUsed;
    
    public int getNextId() {
        return ++lastIdUsed;
    }
}

인스턴스 X를 생성하고, lastIdUsed 필드를 설정한 다음, 두 스레드가 해당 인스턴스를 공유한다고 치면, 그 중에서 일부경로가 잘못된 결과를 내놓을 수 있다.

📢 동시성 방어 원칙

Concurrency Defense Principles

동시성 코드가 일으키는 문제로부터 시스템을 방어하는 원칙과 기술

단일 책임 원칙(SRP)

Single Responsibility Principle

SRP는 주어진 메서드/클래스/컴포넌트를 변경할 이유가 하나여야 한다는 원칙이다.
동시성 관련 코드는 다른 코드와 분리해야 한다는 뜻이다.

• 동시성을 구현 시 고려사항
  • 동시성 코드는 독자적인 개발, 변경, 조율 주기가 있다.
  • 동시성 코드에는 독자적인 난관이 있다. 다른 코드에서 겪는 난관과 다르며 훨씬 어렵다.
  • 잘못 구현한 동시성 코드는 별의별 방식으로 실패한다. 주변에 있는 다른 코드가 발목을 잡지 않더라도 동시성 하나만으로도 충분히 어렵다.

동시성 코드는 다른 코드와 분리하라.

추론: 자료 범위를 제한하라

Corollary: Limit the Scope of Data

두 스레드가 서로 간섭하는 문제를 해결하는 방안으로 공유 객체를 사용하는 코드 내 임계 영역을 synchronized 키워드로 보호하라고 권장한다.

자료를 캡슐화(Encapsulation)하라. 공유 자료를 최대한 줄여라.

추론: 자료 사본을 이용하라

Corollary: Use Copies of Data

공유 자료를 줄이려면 처음부터 공유하지 않는 방법이 제일 좋고, 어떤 경우에는 객체를 복사해 읽기 전용으로 사용하는 방법이 있다.

추론: 스레드는 가능한 독립적으로 구현하라

Corollary: Threads Should Be as Independent as Possible

다른 스레드와 자료를 공유하지 않는다.
각 스레드는 클라이언트 요청 하나를 처리한다. 모든 정보는 비공유 출처에서 가져오며 로컬 변수에 저장한다.

독자적인 스레드로, 가능하면 다른 프로세서에서, 돌려도 괜찮도록 자료를 독립적인 다위로 분할하라.

📢 라이브러리를 이해하라

Know Your Library

• 스레드 환경에 안전한 컬렉션을 사용한다. (자바 5부터 제공)
• 서로 무관한 작업을 수행할 때는 executor 프레임워크를 사용한다.
• 가능하다면 스레드가 차단되지 않는 방법을 사용한다.
• 일부 클래스 라이브러리는 스레드에 안전하지 못하다.

스레드 환경에 안전한 컬렉션

Thread-Safe Collections

ConcurrentHashMap은 거의 모든 상황에서 HashMap보다 빠르고, 동시 읽기/쓰기를 지원하며 자주 사용하는 복합 연산을 다중 스레드 상에서 안전하게 만든 메서드로 제공한다.

언어가 제공하는 클래스를 검토하라.
자바에서는 java.util.concurrent, java.util.concurrent.atomic, java.util.concurrent.locks가 있다.

📢 실행 모델을 이해하라

Know Your Execution Models

한정된 자원(Bound Resource)

• 다중 스레드 환경에서 사용하는 자원으로, 크기나 숫자가 제한적
• 예시) 데이터베이스 연결, 길이가 일정한 읽기/쓰기 버퍼 등

상호 배제(Mutual Exclusion)

• 한 번에 한 스레드만 공유 자료나 공유 자원을 사용할 수 있는 경우

기아(Starvation)

• 한 스레드나 여러 스레드가 굉장히 오랫동안 혹은 영원히 자원을 기다린다.
• 예시) 항상 짧은 스레드에게 우선순위를 준다면, 짧은 스레드가 지속적으로 이어질 경우, 긴 스레드가 기아 상태에 빠진다.

데드락(Deadlock)

• 여러 스레드가 서로가 끝나기를 기다린다.
• 모든 스레드가 각기 필요한 자원을 다른 스레드가 점유하는 바람에 어느쪽도 더 이상 진행하지 못한다.

라이브락(Livelock)

• 락을 거는 단계에서 각 스레드가 서로를 방해한다.
• 스레드는 계속해서 진행하려 하지만 공명으로 인해 굉장히 오랫동안 혹은 영원히 진행하지 못한다.

생산자-소비자

Producer-Consumer

생산자 스레드와 소비자 스레드가 사용하는 대기열은 한정된 자원이다.
생산자 스레드는 대기열에 빈 공간이 있어야 정보를 채우고, 소비자 스레드는 대기열에 정보가 있어야 가져온다.
즉, 생산자 스레드는 빈 공간이 생길 때까지 기다리고, 소비자 스레드는 정보가 채워질 때까지 기다린다.

대기열을 올바로 사용하고자 서로에게 시그널을 보내는데, 잘못하면 동시에 서로에게서 시그널을 기다릴 가능성이 존재한다.

읽기-쓰기

Readers-Writers

읽기 스레드가 주로 공유 자원을 사용하지만, 쓰기 스레드가 이따금 공유 자원을 갱신한다.
읽기 스레드와 쓰기 스레드의 요구를 적절히 만족시켜 처리율을 적당히 높이고 기아도 방지하는 해법이 필요하다.

간단한 전략으로 읽기 스레드가 없을 때까지 갱신을 원하는 쓰기 스레드가 버퍼를 기다리는 방법이 있다.
하지만, 읽기 스레드가 계속 이어지면 쓰기 스레드는 기아 상태에 빠진다.

식사하는 철학자들

Dining Philosophers

애플리케이션을 여러 프로세스가 자원을 얻으려 경쟁한다.
주의해서 설계하지 않으면 데드락, 라이브락, 처리율 저하, 효율성 저하 등을 겪는다.

위의 기본 알고리즘과 각 해법을 이해하라

📢 동기화하는 메서드 사이에 존재하는 의존성을 이해하라

Beware Dependencies Between Synchronized Methods

동기화하는 메서드 사이에 의존성이 존재하면 동시성 코드에 찾아내기 어려운 버그가 생긴다.
공유 클래스 하나에 동기화된 메서드가 여럿이라면 구현이 올바른지 다시 한 번 확인하기 바란다.

공유 객체 하나에는 메서드 하나만 사용하라

공유 객체 하나에 여러 메서드가 필요할 때 고려사항

• 클라이언트에서 잠금: 클라이언트에서 첫 번째 메서드를 호출하기 전에 서버를 잠그고, 마지막 메서드를 호출할 때까지 잠금을 유지한다.
• 서버에서 잠금: 서버에다가 '서버를 잠그고 모든 메서드를 호출한 후 잠금을 해제하는 메서드'를 구현하고 클라이언트는 이 메서드를 호출한다.
• 연결 서버: 잠금을 수행하는 중간 단계를 생성한다.

📢 동기화하는 부분을 작게 만들어라

Keep Synchronized Sections Small

자바에서 synchronized 키워드를 사용하면 락을 설정한다.
그러나 락은 스레드를 지연시키고 부하를 가중시키므로 남발은 바람직하지 않다.

반면, 임계영역은 반드시 보호해야 한다.
따라서 임계영역 수를 최대한 줄여야 하는데, 이 때 거대한 임계영역 하나로 구현하는 것은 스레드 간에 경쟁이 늘어나고 프로그램 성능을 떨어뜨린다.

동기화하는 부분을 최대한 작게 만들어라

📢 올바른 종료 코드는 구현하기 어렵다

Writing Correct Shut-Down Code Is Hard

영구적으로 돌아가는 시스템을 구현하는 방법과 잠시 돌다 깔끔하게 종료하는 시스템을 구현하는 방법은 다르다.
깔끔하게 종료하는 다중 스레드 코드를 짜야한다면 데드락에 유의하고 시간을 투자해 올바로 구현해야 한다.

종료 코드를 개발 초기부터 고민하고 동작하게 초기부터 구현하라.
생각보다 오래 걸리고, 생각보다 어려우므로 이미 나온 알고리즘을 검토하라.

📢 스레드 코드 테스트하기

Testing Threaded Code

문제를 노출하는 테스트 케이스를 작성하라.
프로그램 설정과 시스템 설정과 부하를 바꿔가며 자주 돌려라.
테스트가 실패하면 원인을 추적하라.
다시 돌렸더니 통과하더라는 이유로 그냥 넘어가면 절대로 안 된다.

말이 안 되는 실패는 잠정적인 스레드 문제로 취급하라

Treat Spurious Failures as Candidate Threading Issues

시스템 실패를 '일회성'이라 치부하지 마라

다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자

Get Your Nonthreaded Code Working First

스레드 환경 밖에서 생기는 버그와 스레드 환경에서 생기는 버그를 동시에 디버깅하지 마라
먼저 스레드 환경 밖에서 코드를 올바로 돌려라

다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있도록 스레드 코드를 구현하라

Make Your Threaded Code Pluggable

• 한 스레드로 실행하거나, 여러 스레도르 실행하거나, 실행 중 스레드 수를 바꿔본다.
• 스레드 코드를 실제 환경이나 테스트 환경에서 돌려본다.
• 테스트 코드를 빨리, 천천히, 다양한 속도로 돌려본다.
• 반복 테스트가 가능하도록 테스트 케이스를 작성한다.

다양한 설정에서 실행할 목적으로 다른 환경에 쉽게 끼워 넣을 수 있게 코드를 구현하라

다중 스레드를 쓰는 코드 부분을 상황에 맞춰 조정할 수 있게 작성하라

Make Your Threaded Code Tunable

처음부터 다양한 설정으로 프로그램의 성능 측정 방법을 강구한다.

프로세서 수보다 많은 스레드를 돌려보라

Run with More Threads Than Processors

시스템이 스레드를 스와핑할 때도 문제가 발생한다.
스와핑이 잦을수록 임계영역을 빼먹은 코드나 데드락을 일으키는 코드를 찾기 쉬워진다.

다른 플랫폼에서 돌려보라

Run on Differenr Platforms

운영체제마다 스레드를 처리하는 정책이 달라 결과가 달라질 수 있다.

처음부터 그리고 자주 모든 목표 플랫폼에서 코드를 돌려라

코드에 보조 코드를 넣어 돌려라. 강제로 실패를 일으키게 해보라

Instrument Your Code to Try and Force Failures

스레드 버그는 실패하는 경로가 실행될 확률이 극도로 저조해서 산발적이고 우발적이고 재현이 어렵다.
보조 코드를 추가해 코드가 실행되는 순서를 바꾼다.

직접 구현하기

Hand-Coded
코드에다 직접 wait(), sleep(), yeild(), priority() 함수를 추가한다.

자동화

Automated

보조 코드를 자동으로 추가하려면 AOF(Aspect-Oriented Framework), CGLB, ASM 등과 같은 도구를 사용한다.

📢 결론

Conclusion

• 다중 스레드 코드를 올바로 구현하기 어려우므로 주의하지 않으면 희귀하고 오묘한 오류에 직면한다.
• SRP를 준수하고, 스레드 코드는 최대한 집약되고 작게 만들어서 전적으로 스레드만 테스트한다.
• 동시성 오류를 일으키는 잠정적인 원인을 철저히 이해한다.
• 사용하는 라이브러리와 기본 알고리즘을 이해한다.
• 보호할 코드 영역을 찾아내는 방법과 특정 코드 영역을 잠그는 방법을 이해한다.
• 테스트 용이성을 가져간다. (TDD 따르기)
• 보조 코드를 추가하여 오류를 드러나도록 한다.

📖 느낀점
스레드는 어렵다. 봐도 봐도 어렵다. 뭔 소리인지 모르겠다. 다른 책도 펼쳐봐야겠다.