[LINUX] Gestion de la mémoire élevée

À l'origine, il fait partie du code source du noyau Linux, il sera donc traité comme GPLv2 (reconnaissance qu'il devrait l'être).

https://www.kernel.org/doc/html/latest/index.html

Licensing documentation

The following describes the license of the Linux kernel source code (GPLv2), how to properly mark the license of individual files in the source tree, as well as links to the full license text.

https://www.kernel.org/doc/html/latest/process/license-rules.html#kernel-licensing

https://www.kernel.org/doc/html/latest/vm/highmem.html

High Memory Handling By: Peter Zijlstra [email protected]

What Is High Memory?

High memory (highmem) is used when the size of physical memory approaches or exceeds the maximum size of virtual memory.

La mémoire élevée (highmem) est utilisée lorsque la taille de la mémoire physique approche ou dépasse la taille maximale de la mémoire virtuelle.

At that point it becomes impossible for the kernel to keep all of the available physical memory mapped at all times.

À ce stade, il ne sera plus possible de conserver à tout moment toute la mémoire physique disponible pour le noyau.

This means the kernel needs to start using temporary mappings of the pieces of physical memory that it wants to access.

Cela signifie que vous devez temporairement commencer à mapper une partie de la mémoire physique à laquelle le noyau veut accéder.

.

The part of (physical) memory not covered by a permanent mapping is what we refer to as ‘highmem’.

La partie de la mémoire (physique) qui n'est pas couverte par le mappage persistant seul est appelée «highmem». ..

There are various architecture dependent constraints on where exactly that border lies.

Il existe diverses contraintes dépendantes de l'architecture sur l'emplacement des limites.

.

In the i386 arch, for example, we choose to map the kernel into every process’s VM space so that we don’t have to pay the full TLB invalidation costs for kernel entry/exit.

Par exemple, pour l'arche i386, choisissez de mapper le noyau à l'espace de la machine virtuelle pour tous les processus. Nous n'avons plus à payer l'intégralité du coût d'invalidation TLB pour l'entrée / la sortie du noyau.

This means the available virtual memory space (4GiB on i386) has to be divided between user and kernel space.

Cela signifie que l'espace mémoire virtuelle disponible (4 Go sur l'i386) est réparti entre l'utilisateur et l'espace du noyau.

.

The traditional split for architectures using this approach is 3:1, 3GiB for userspace and the top 1GiB for kernel space:

La méthode traditionnelle de fractionnement pour les architectures qui adoptent cette approche est 3: 1 avec 3 Go dans l'espace utilisateur et 1 Go supérieur dans l'espace noyau.

.

+--------+ 0xffffffff
| Kernel |
+--------+ 0xc0000000
|        |
| User   |
|        |
+--------+ 0x00000000

This means that the kernel can at most map 1GiB of physical memory at any one time, but because we need virtual address space for other things - including temporary maps to access the rest of the physical memory - the actual direct map will typically be less (usually around ~896MiB).

Cela signifie que le noyau peut mapper jusqu'à 1 Gio de mémoire physique à la fois. La carte directe réelle est généralement inférieure à cela (généralement autour de 896 Mo) car elle nécessite un espace d'adressage virtuel pour d'autres choses, comme une carte temporaire pour accéder au reste de la mémoire physique.

.

Other architectures that have mm context tagged TLBs can have separate kernel and user maps. Some hardware (like some ARMs), however, have limited virtual space when they use mm context tags.

D'autres architectures avec des TLB étiquetés en contexte mm peuvent avoir un noyau divisé et une carte utilisateur. Cependant, sur certains matériels (par exemple, une partie d'ARM), l'utilisation de balises de contexte mm limitera l'espace virtuel.

Temporary Virtual Mappings

The kernel contains several ways of creating temporary mappings:

Le noyau a plusieurs façons de générer des mappages temporaires.

.

  • vmap(). This can be used to make a long duration mapping of multiple physical pages into a contiguous virtual space. It needs global synchronization to unmap.
  • kmap(). This permits a short duration mapping of a single page. It needs global synchronization, but is amortized somewhat. It is also prone to deadlocks when using in a nested fashion, and so it is not recommended for new code.
  • kmap_atomic(). This permits a very short duration mapping of a single page. Since the mapping is restricted to the CPU that issued it, it performs well, but the issuing task is therefore required to stay on that CPU until it has finished, lest some other task displace its mappings. . kmap_atomic() may also be used by interrupt contexts, since it is does not sleep and the caller may not sleep until after kunmap_atomic() is called. . It may be assumed that k[un]map_atomic() won’t fail.

Using kmap_atomic

When and where to use kmap_atomic() is straightforward.

Il est clair quand et où utiliser kmap_atomic ().

It is used when code wants to access the contents of a page that might be allocated from high memory (see __GFP_HIGHMEM), for example a page in the pagecache.

Ceci est utilisé lorsque le code accède à des pages réservées par une mémoire élevée (__ GFP_HIGHMEM), telles que des pages dans le cache de pages.

The API has two functions, and they can be used in a manner similar to the following

L'API a deux fonctions, dont chacune est utilisée comme suit.

.

/* Find the page of interest. */
struct page *page = find_get_page(mapping, offset);

/* Gain access to the contents of that page. */
void *vaddr = kmap_atomic(page);

/* Do something to the contents of that page. */
memset(vaddr, 0, PAGE_SIZE);

/* Unmap that page. */
kunmap_atomic(vaddr);

Note that the kunmap_atomic() call takes the result of the kmap_atomic() call not the argument.

Sachez que kummap_atomic () sera appelé quel que soit le résultat de l'appel de kmap_atomic ().

If you need to map two pages because you want to copy from one page to another you need to keep the kmap_atomic calls strictly nested, like:

Si vous voulez mapper deux pages et copier d'une page à une autre, vous devez appeler kmap_atomic () avec une structure d'imbrication stricte. Par exemple

vaddr1 = kmap_atomic(page1);
vaddr2 = kmap_atomic(page2);

memcpy(vaddr1, vaddr2, PAGE_SIZE);

kunmap_atomic(vaddr2);
kunmap_atomic(vaddr1);

Cost of Temporary Mappings

The cost of creating temporary mappings can be quite high.

Le coût de génération d'une cartographie temporaire peut être très élevé.

The arch has to manipulate the kernel’s page tables, the data TLB and/or the MMU’s registers.

L'architecture nécessite de travailler avec la table des pages du noyau, le TLB de données et / et le registre MMU.

.

If CONFIG_HIGHMEM is not set, then the kernel will try and create a mapping simply with a bit of arithmetic that will convert the page struct address into a pointer to the page contents rather than juggling mappings about. In such a case, the unmap operation may be a null operation.

Si CONFIG_HIGHMEM n'est pas défini, le noyau tente de créer un mappage avec quelques opérations arithmétiques qui traduisent l'adresse de la structure de page en un pointeur vers le contenu de la page au lieu de jongler avec le mappage. Dans de tels cas, l'opération unmap peut être une opération nulle.

.

If CONFIG_MMU is not set, then there can be no temporary mappings and no highmem. In such a case, the arithmetic approach will also be used.

Si CONFIG_MMU n'est pas défini, il se peut qu'il n'y ait pas de mappage temporaire ou de highmem. Même dans de tels cas, l'approche arithmétique est utilisée.

.

i386 PAE

The i386 arch, under some circumstances, will permit you to stick up to 64GiB of RAM into your 32-bit machine. This has a number of consequences:

Selon la situation, le i386 Architect Tea peut également installer jusqu'à 64 Gio de RAM sur une machine 32 bits. Cela a de nombreuses implications.

  • Linux needs a page-frame structure for each page in the system and the pageframes need to live in the permanent mapping, which means:
  • you can have 896M/sizeof(struct page) page-frames at most; with struct page being 32-bytes that would end up being something in the order of 112G worth of pages; the kernel, however, needs to store more than just page-frames in that memory…
  • PAE makes your page tables larger - which slows the system down as more data has to be accessed to traverse in TLB fills and the like. One advantage is that PAE has more PTE bits and can provide advanced features like NX and PAT.

The general recommendation is that you don’t use more than 8GiB on a 32-bit machine - although more might work for you and your workload, you’re pretty much on your own - don’t expect kernel developers to really care much if things come apart.

Une recommandation générale est de ne pas utiliser plus de 8 Go sur une machine 32 bits. Cela peut avoir un effet sur les utilisateurs et la charge des utilisateurs. Mais fais-le toi-même. Si quelque chose ne va pas, ne vous attendez pas vraiment à ce que le développeur du noyau s'en soucie.

Recommended Posts

Gestion de la mémoire élevée
Le traitement des données
Gestion des exceptions