[Ch.01] 자바 8, 9, 10, 11 : 무슨 일이 일어나고 있는가?

[beginin15]

[blossun]

참고 자료

• [JAVA] Stream, 스트림과 병렬처리
• parallelStream 남용으로인한 장애경험기

[beginin15]

아래는 원본에서 일부만 가져왔습니다. 저의 추측도 포함되어 있기 때문에 정확하지 않은 내용이 있을 수 있다는 점! 참고해주세요. 참고로 가독성은 원본이 더 나은 것 같습니다.ㅋㅋ

핵심 정리 + 알게된 사실

1. 스트림 API는 빅데이터를 다루기에 적합하다?

(p.10) '스트림이 처리하는 데이터(심지어 처리된 데이터)를 모두 메모리에 저장하지 않을 수도 있도록 설계되었다. 따라서 스트림을 이용하면 컴퓨터 메모리에 저장할 수 없는 큰 데이터도 문제없이 처리할 수 있다.'

• 자바의 스트림 API가 빅데이터를 다루기 좋은 이유는 속도가 아니라 메모리 측면에서 다뤄진다.

• 스트림은 요소들을 메모리에 저장하지 않는다. (반면 컬렉션은 모든 요소를 메모리에 저장한다.)

• 스트림은 Source(컬렉션, 배열, 입출력 채널 등)로부터 입력받은 데이터를 처리하여 Destination으로 전달하는 파이프라인의 일종이다.

  

  출처 - https://medium.com/elevate-java/java-streams-an-in-memory-data-structure-d6984eea1091

• 이 때, Source로부터 전체 데이터를 한번에 읽어들이지 않고 chunk by chunk로 가져온다. 즉, 엄청난 크기의 전체 데이터를 저장하기 위한 버퍼가 필요하지 않다는 의미이다.

• 현재 나의 수준에서 스트림을 이용한 경우는 Source가 컬렉션인 경우 밖에 없다. 그래서 '메모리에 저장하지 않는다'는 내용이 잠시 이해되지 않았다. Source가 빅데이터를 다루는 Kafka라고 생각해보자. (Destination은 인메모리가 아닌 외부 어딘가) 스트림은 Source로부터 입력받는 데이터를 처리하는 과정에서 전체 데이터를 수용하기 위한 공간은 할당하지 않기 때문에 자바 애플리케이션에서 메모리 걱정없이 빅데이터를 다룰 수 있는 도구가 된다.

그렇다고 아예 메모리를 사용하지 않는 것은 아니고 중간 연산을 처리하는 과정에서 RAM은 사용하지 않을까? 단지 그 크기가 전체가 아닌 chunk 수준으로 필요하기 때문에 빅데이터를 다루기엔 문제가 없는 것이 아닌지.

2. Lazy evaluation

• 스트림 API는 중간 연산과 최종 연산으로 분류할 수 있다.

• 최종 연산이 호출되기 전까지 중간 연산은 수행되지 않는다.

• 최종 연산의 내용에 따라 중간 연산을 모든 데이터에 수행하지 않을 수 있다. 모든 데이터가 아니라 필요한 만큼의 데이터에만 중간 연산을 수행하기도 한다는 의미이다.

  Integer integer = Arrays.asList(10,3,13,4,1,52)
  	.stream()
  	.filter(number -> number % 2 == 0)
  	.findFirst()
  	.get();

  최종 연산이 findFirst()이기 때문에 10, 3, 13, 4, 1, 52에 대해 filter 연산(중간 연산)을 수행하지 않는다. 첫 번째 요소인 10 에만 filter를 수행하고 그 결과를 반환한다.

  
  출처 - https://dzone.com/articles/how-a-stream-works

• 이러한 특징은 스트림의 병렬 처리와 더불어 자동으로 최적화하는 효과를 누릴 수 있게 해준다.

3. 프로세서 - 코어 / 프로세스 - 스레드 구분

프로세서

• 컴퓨터 내에서 프로그램을 수행하는 하드웨어 유닛
• 보통 프로세서와 CPU를 같은 의미로 사용한다.
• 프로세서는 코어 이외에 Cache, JTAG 등을 포함한다.

코어

• CPU(프로세서)의 핵심 연산 장치 (CPU 부품 중 하나)
• 프로세서가 하는 일을 분담한다. (노동자수!)
• 즉, 하나의 프로세서는 여러 개의 코어를 가질 수 있다.
• 하나의 코어는 산술연산장치(ALU), 컨트롤러(Control Unit), 레지스터가 각각 할당되어 있다.

프로세스

• 프로그램이 운영체제에 의해 메모리 공간을 할당받아 실행 중인 것
• 프로세서와 프로세스는 엄연히 다른 것!
  • 프로세서는 하드웨어 장치
  • 프로세스는 프로세서에 의해 실행되는 소프트웨어(작업 목록)

스레드

• 프로세스 내 실행 흐름. 논리적 작업 처리 단위

• 원래는 하나의 코어에서 하나의 스레드를 처리했지만 하이퍼스레딩 기술이 생겨나면서 코어보다 스레드가 많은 상황이 존재한다.

  하이퍼스레딩 기술이란 하나의 코어가 둘 이상의 스레드를 실행할 수 있는 기술이다.

4. 스레드는 다루기 어렵다.

프로그래머가 문제없이 스레드를 직접 관리하는 것은 어렵다. 오죽 어려우면 자바의 버전이 높아질 때마다 꾸준하게 스레드를 안전하게 사용하기 위한 장치들을 지원했을까!

• 자바 1.0 - 스레드와 락
• 자바 5 - 스레드 풀, 병렬 실행 컬렉션 (concurrent collection)
• 자바 7 - 포크/조인 프레임워크
• 자바 8 - 스트림 병렬 처리 + 함수형 프로그래밍을 위한 기반 (함수의 일급 시민 승격, 람다)
• 자바 9 - 리액티브 프로그래밍 지원

5. 멀티코어 CPU의 대중화가 자바 8에 미친 영향

• 먼저 멀티코어 CPU가 인기를 얻게된 이유는 CPU 성능의 발전이 더뎌지고 있기 때문이다. 이제는 질보단 양으로 승부하게 된 것이다.
• 자바 프로그램이 여러 개의 코어(=멀티코어)를 활용하려면(=병렬 수행하려면) 스레드를 생성해야 한다.
• 그러나 스레드는 프로그래머가 관리하기 어렵고 많은 문제를 발생시키기도 한다.
• 자바 8은 쉽고 안전하게 병렬 수행할 수 있는 방법을 제공하게 된다. (스트림, 함수형 프로그래밍 등)

6. 스트림 API

스트림이란?

• 한 번에 한 개씩 만들어지는 연속적인 데이터 항목들의 모임

스트림 API의 핵심

• 데이터베이스의 쿼리처럼 데이터를 추상화하여 다루므로, 다양한 데이터를 처리할 수 있는 공통된 방법을 제공한다.
  • 배열이나 컬렉션과 같은 일련의 데이터를 처리할 때 사용하는 반복문이나 반복자는 정형화된 처리 패턴이 없기 때문에 데이터마다 다른 방법으로 코드를 작성해야 했다. 이렇게 작성된 코드는 반복되는 부분은 많지만 재사용이 거의 불가능하다.
  • 스트림은 자주 반복되는 패턴인 필터링 / 추출 / 그룹화를 처리할 수 있는 API를 제공한다.

장점과 단점

장점

• 스트림 API를 활용하면 스레드를 직접 다루지 않고 병렬적으로 데이터를 처리할 수 있다. (분할, 병합 등)
• 반복문이나 반복자로 인해 발생하는 중복 코드를 줄일 수 있다.

단점

• 스트림의 병렬화가 제대로 이루어지지 않으면 응답 불가(liveness failure) 상태에 빠지게 된다.

• 스트림은 함수 객체나 람다를 이용하기 때문에 그 특성으로 인한 제약이 발생할 수 있다.

  • 함수 객체나 람다는 지역 변수, 멤버 변수에 접근하여 수정할 수 없다. (final 변수 읽기만 가능)

  • 반복문에서 조건과 함께 사용하는 return, break, continue와 같은 동작을 구현할 수 없다.

  스트림이 함수 객체와 람다를 사용하는 이유는 안정적인 병렬 작업을 위해 side-effect가 없는 순수 함수를 사용하는 것과 관련이 있다. 이는 추후에 더 자세히 알아보자.

스트림의 단점과 사용 시 주의해야 할 점은 나중에 더 자세히 살펴봐야 할 것 같다.

7. 컬렉션과 스트림 차이점

• 반복 처리
  • 컬렉션은 반복 과정을 직접 코드로 작성해야 한다. 이를 외부 반복(external iteration)이라고 한다.
  • 스트림은 라이브러리 내부에서 모든 데이터가 처리된다. 이를 내부 반복(internal iteration)이라고 한다.
• 메모리 할당
  • 컬렉션은 모든 요소를 메모리에 할당한다.
  • 스트림은 한 번에 모든 요소를 메모리에 할당하지 않는다. 입력 스트림으로부터 하나씩 가져와서 처리하기 때문이다.
• (bonus) 주안점
  • 컬렉션은 어떻게 데이터를 저장하고 접근할지에 중점을 둔다.
  • 스트림은 데이터에 어떤 계산을 할 것인지 묘사하는 것에 중점을 둔다.

기본적으로 스트림 개념 중 일부는 컬렉션에서 가져왔으며 쿼리와 같은 데이터 추상화 아이디어를 더한 것 같다.

8. 일급 객체(First-class object)

• 일급 시민(First-class citizen)이라고도 부른다.
• 다른 객체에 일반적으로 적용 가능한 연산을 모두 지원하는 객체를 가리킨다.
  • 함수의 매개변수로 전달하기 / 반환값으로 전달하기 / 변수에 대입하기와 같은 연산을 지원할 때 일급 객체라고 한다.

9. 동작 파라미터화

• 함수를 인자로 전달하는 것을 의미한다. 이는 함수가 일급 객체(일급 시민)라는 뜻이다.
• 기본적으로 자바에서 함수는 일급 객체가 아니다.
• 자바 8 이후부터 함수형 인터페이스를 기반으로 함수를 일급 객체처럼 취급할 수 있도록 지원한다.
  • 메서드 참조를 이용하여 기명(named) 함수를 인자로 전달할 수 있다.
  • 람다를 이용하여 익명 함수를 인자로 전달할 수 있다.
• 동작 파라미터화는 함수형 프로그래밍에서 적극적으로 활용된다.

유틸성 클래스는 상태를 가지고 있지 않는 경우가 많기 때문에 메서드 참조 방식으로 활용되기에 적합하다.

10. 순수 함수

• 공유된 가변 데이터에 접근하지 않아 부작용(side-effect)를 발생시키지 않는 함수

  여기서 부작용(side-effect)란, 함수의 실행으로 인해 함수 외부가 영향을 받는 것을 의미한다.

  • 다른 코드와 동시에(병렬적으로) 실행되어도 안전하게 실행할 수 있다.

• 수학적인 함수처럼 함수가 정해진 기능만 수행한다는 의미에서 '순수 함수'라고 표현한다.

  • 인자를 결과(반환값)로 변환하는 기능만 갖는다.

• 공유된 변수나 객체에 접근하지 않기 때문에(상태를 변경하는 작업을 수행하지 않기 때문에) 병렬 프로세스와 스트림 API의 인자로서 적합하다.

11. 함수형 프로그래밍

• 함수를 값(일급 객체)으로 취급하여 프로그램을 구현하는 기법
• 자바에서는 람다 문법으로 구현할 수 있다.
• 순수 함수와 동작 파라미터화는 함수형 프로그래밍의 핵심적인 특징이다.
  • '함수형'이란 단어에는 2가지 의미를 포함한다.
    1. 함수를 값(일급 객체)로 사용한다.
    2. 컴포넌트 간에 상호작용이 일어나지 않는다. (를 보장한다.)

13. 디폴트 메서드

• 인터페이스에서 default라는 새로운 키워드를 지원한다.
• 인터페이스의 변경을 용이하게 해준다.
• 기존 인터페이스의 문제점을 보완했다.
  • 디폴트 메서드가 없을 때는 인터페이스가 변경되면 이를 구현한 모든 구현체가 변경되어야 한다. (유지 보수 측면에서 최악!)
  • 기존의 구현을 고치치 않고도 이미 공개된 인터페이스를 변경할 수 있도록 하기 위해 디폴트 메서드가 등장했다.

14. 자바 8 ~ 11의 주요 변경 사항

• 자바 8
  • 함수형 프로그래밍을 위한 기반 마련 (동작 파라미터화, 람다)
  • 스트림
• 자바 9
  • 대규모 컴포넌트를 정의하고 사용하는 기능 (대규모 컴포넌트 기반 프로그래밍)
  • 모듈 (시스템의 구조를 만들 수 있다)
  • 리액티브 프로그래밍 툴킷을 임포트해서 시스템을 구성할 수 있음
• 자바 10
  • 지역 변수 추론
• 자바 11
  • 람다 표현식 인수 문법
  • 비동기 http 클라이언트 라이브러리(HttpClient) 제공

기타

다이아몬드 상속 문제

출처 - https://en.wikipedia.org/wiki/Multiple_inheritance

• 다중 상속을 허용하면 발생할 수 있는 문제

• 동일한 시그니처를 갖는 메소드가 2개 이상의 부모 클래스에서 오버라이드된 경우, 컴파일러는 어떤 부모의 메소드를 호출해야할지 모호하다.

  class GrandParent {
      void method(){
          System.out.println("GrandParent");
      }
  }
  
  class ParentA extends GrandParent {
      @Override
      void method(){
          System.out.println("ParentA");
      }
  }
  
  class ParentB extends GrandParent {
      @Override
      void method(){
          System.out.println("ParentB");
      }
  }
  
  class Child extends ParentA, ParentB {
      @Override
      void method() {
          super.method(); //ParentA의 메소드를 호출해야하나? ParentB의 메소드를 호출해야하나?
      }
  }

• C / C++은 다중 상속이 가능하며 위와 같은 문제를 개발자에게 맡겨 놓았다. 반면 자바는 다중 상속을 막아놓았다.

• 그러나 자바에서 인터페이스는 다중 상속이 가능하다. 인터페이스의 default 메소드로 인해 다중 디폴트 메서드가 존재할 수 있다. 동일한 시그니처를 갖는 default 메소드가 2개 이상의 부모에 존재하는 경우, 컴파일 에러가 발생한다.

참고 자료

본문

1. 스트림 API는 빅데이터를 다루기에 적합하다?

• Java 8 Stream vs Collection Storage
• Java Streams — An In-Memory Data Structure
• Living the stream: Reducing memory usage in Java and Kotlin

2. Lazy evaluation

• DZone - How a Stream Works

4. 프로세서 - 코어 / 프로세스 - 스레드 관계

• 네이버 블로그 - 프로세서(Processor), 코어(Core), 쓰레드(Thread)
• 프로세서, CPU, MPU, MCU, 코어의 개념과 차이

6. 스트림 API

• 스트림 API: 데이터의 추상화
• 이펙티브 자바 - 아이템 45. 스트림은 주의해서 사용하라.
• 이펙티브 자바 - 아이템 46. 스트림에서는 부작용 없는 함수를 사용하라.
• Streams API 를 다룰때 실수하기 쉬운것 10가지

기타

• 다이아몬드 상속 문제

읽어볼 자료

• 함수형 프로그래밍 vs 객체지향 프로그래밍
• The Java Tutorials - Concurrency

[suhyunsim]

다소 늦었지만 추가로 다는 푸글의 모던 자바 책 정리 포스트

• Ch.1 정리

[blossun]

책 정리

• ch01