메모리와 캐시

데이터를 저장하는 장치로 기억장치 혹은 저장장치로 불린다. 일반적으로 메모리라고 하면 주기억장치인 RAM을 의미한다.

위 사진은 메모리 계층구조이며 읽기와 쓰기를 하는 주체는 CPU다. CPU와 가까이 위치한 저장장치일수록 접근 시간이 빠르다. 또한, CPU는 디코딩 속도 등의 문제로 작은 크기의 메모리에 더 빠르게 접근할 수 있다. 그런 이유로 CPU와 가까이 위치할수록 더 작은 크기를 갖게 된다.

기억장치 구분

• Register : 명령어, 주소, 데이터등의 임시 데이터를 저장하는 공간이고, CPU 내부에 존재하기 때문에 가장 빠른 접근시간을 갖는다.
• Cache : 자주 사용되는 데이터는 계속 쓰이기 때문에 이런 데이터를 굳이 RAM이나 더 접근 거리가 먼 저장 장소에 위치할 이유가 없다. 자주쓰는 데이터들을 저장하는 임시기억장치이다. CPU와 Main Memory 속도차이를 완화시키는 역할을 한다.
• Main Memory : 프로그램 실행에 필요한 데이터가 저장되는 기억 장치
• Secondary Storage : 주기억장치의 단점을 보완할 수 있는 기억 장치
  • 단점 : CPU가 직접 접근할 수 없으며 접근속도가 주기억장치에 비해 느리다.
  • 장점 : 저장 공간이 크고 영구적으로 저장할 수 있다.

Cache

CPU와 메인 메모리 사이에 위치하여 자주 사용할 데이터를 주기억장치가 아닌 캐시에서 가져온다. 속도라는 장점을 얻지만, 용량이 적고 비용이 비싼 단점이 있다. CPU에는 이러한 캐시 메모리가 2~3개 정도 사용된다. 각각 L1, L2, L3 캐시 메모리라고 불린다.

• L1 : CPU 내부에 존재하며 제일 먼저 이곳에서 데이터를 찾는다.
• L2 : CPU와 RAM 사이에 존재한다.
• L3 : 보통 메인보드에 존재한다고 한다.

지역성(원리)

1. 시간 지역성 : 어떤 데이터가 참조되면 곧바로 다시 참조될 가능성이 높음
2. 공간 지역성 : 데이터가 참조되면 주위의 데이터가 참조될 가능성이 높음

이런 두가지의 지역성 바탕으로 데이터를 판단하여 캐시에 저장한다.

Cache Hit, Miss, Latency

CPU가 메인 메모리에 가기 전, 캐시에 데이터가 있을 경우를 Cache Hit, 없을 경우를 Cache Miss라고 하는데, Miss의 경우는 세 가지의 경우가 존재한다.

1. Cold Miss : 해당 메모리 주소를 처음 불러서 나는 경우
2. Conflict Miss : 캐시 메모리에 A, B 데이터를 저장해야하는데, A, B가 같은 캐시 메모리 주소에 할당되어 나는 경우
3. Capacity Miss : 캐시 메모리 공간이 부족해서 나는 경우

캐시의 성능을 측정할 때는 Hit Latency와 Miss Latency가 중요한 요인으로 꼽히는데, 각각 캐싱된 데이터를 가져올 때 소요되는 시간과 데이터를 가져올 때 소요되는 시간 을 의미한다. 캐시의 성능을 높히려면, 캐시의 크기를 줄여 Hit Latency를 줄이거나, 캐시의 크기를 늘려 Miss Latency를 줄여야 한다. 트레이드 오프 관계라고 할 수 있다.

구조 및 작동 방식

1. Direct Mapped Cache

메모리 주소에 기반을 두고 할당하며, 그림처럼 메모리의 여러 주소가 캐시의 한 주소에 대응되는 다대일 방식이다. 그림을 예로 들면, 메모리의 00000, 01000, 10000, 11000 메모리 주소는 000 캐시 메모리 주소에 맵핑된다. 이 때 000이 인덱스 필드라고 하며, 앞의 나머지(00, 01, 10, 110)를 태그 필드라고 한다. 간단하고 빠른 장점이 있지만 Conflict Miss라는 다른 데이터를 같은 캐시에 저장할 경우가 발생될 수 있다.

2. Fully Associative Cache

비어있는 캐시 메모리가 있으면, 마음대로 주소를 저장하는 방식이다. 저장할 때는 매우 간단하지만 찾을 때가 문제이며 앞의 Direct Mapped Cache 처럼 조건 혹은 규칙이 없어 캐시에 있는 모든 블럭을 다 찾아 원하는 데이터가 있는지 검색해야 한다.

3. Set Associative Cache

1번과 2번을 합친 방식이다. 특정 행을 지정하고 그 행 안의 어떤 열이든 비어있을 때 저장하는 방식이다. Direct에 비해 검색 속도는 느리지만, 저장이 빠르고 Fully에 비해 저장이 느린 대신 검색이 빠르다. 각자 방식의 장단을 보완하는 역할로 이해하면 될 것 같다.