Improving Direct-Mapped Cache Performance by the Addition of a Small Fully-Associative Cache and Prefetch Buffers

Cải thiện hiệu năng Cache ánh xạ trực tiếp bằng cách bổ sung một Cache kết hợp đầy đủ nhỏ và các Bộ đệm nạp trước

Norman P. Jouppi

Digital Equipment Corporation Western Research Lab

100 Hamilton Ave., Palo Alto, CA 94301

Tóm tắt

Các dự báo về công nghệ máy tính cho thấy các bộ xử lý với hiệu năng đỉnh 1,000 MIPS trong tương lai tương đối gần. Các bộ xử lý này có thể dễ dàng mất một nửa hoặc nhiều hơn hiệu năng của chúng trong hệ thống phân cấp bộ nhớ nếu thiết kế của hệ thống phân cấp dựa trên các kỹ thuật cache truyền thống. Bài báo này trình bày các kỹ thuật phần cứng để cải thiện hiệu năng của cache.

Miss caching đặt một cache kết hợp đầy đủ nhỏ giữa một cache và đường nạp lại của nó. Các lỗi cache trúng trong miss cache chỉ có chi phí lỗi một chu kỳ, trái ngược với chi phí lỗi nhiều chu kỳ khi không có miss cache. Các miss cache nhỏ có từ 2 đến 5 mục nhập được cho thấy là rất hiệu quả trong việc loại bỏ các lỗi xung đột ánh xạ trong các cache ánh xạ trực tiếp cấp đầu tiên.

Victim caching là một cải tiến của miss caching, trong đó cache kết hợp đầy đủ nhỏ được nạp với nạn nhân của một lỗi thay vì dòng được yêu cầu. Các victim cache nhỏ có từ 1 đến 5 mục nhập thậm chí còn hiệu quả hơn miss caching trong việc loại bỏ các lỗi xung đột.

Các bộ đệm luồng nạp trước các dòng cache bắt đầu từ một địa chỉ lỗi cache. Dữ liệu được nạp trước được đặt trong bộ đệm chứ không phải trong cache. Các bộ đệm luồng hữu ích trong việc loại bỏ các lỗi cache do dung lượng và bắt buộc, cũng như một số lỗi xung đột cache lệnh.

Abstract

Projections of computer technology forecast processors with peak performance of 1,000 MIPS in the relatively near future. These processors could easily lose half or more of their performance in the memory hierarchy if the hierarchy design is based on conventional caching techniques. This paper presents hardware techniques to improve the performance of caches.

Miss caching places a small fully-associative cache between a cache and its refill path. Misses in the cache that hit in the miss cache have only a one cycle miss penalty, as opposed to a many cycle miss penalty without the miss cache. Small miss caches of 2 to 5 entries are shown to be very effective in removing mapping conflict misses in first-level direct-mapped caches.

Victim caching is an improvement to miss caching that loads the small fully-associative cache with the victim of a miss and not the requested line. Small victim caches of 1 to 5 entries are even more effective at removing conflict misses than miss caching.

Stream buffers prefetch cache lines starting at a cache miss address. The prefetched data is placed in the buffer and not in the cache. Stream buffers are useful in removing capacity and compulsory cache misses, as well as some instruction cache conflict misses. Stream buffers are more effective than previously investigated prefetch techniques at using the next slower level in the memory hierarchy when it is pipelined. An extension to the basic stream buffer, called multi-way stream buffers, is introduced. Multi-way stream buffers are useful for prefetching along multiple intertwined data reference streams.

Together, victim caches and stream buffers reduce the miss rate of the first level in the cache hierarchy by a factor of two to three on a set of six large benchmarks.

This section is missing here.

1 Introduction

This section is missing here.

2 Baseline Design

This section is missing here.

3 Reducing Conflict Misses: Miss Caching and Victim Caching

This section is missing here.

4 Reducing Capacity and Compulsory Misses

This section is missing here.

5 Conclusions

This section is missing here.

Acknowledgments