嵌入式Linux內核移植相關代碼分析

本文通過整理之前研發的一個項目(ARM7TDMI +uCLinux)，分析內核啟動過程及需要修改的文件，以供內核移植者參考。整理過程中也同時參考了眾多網友的帖子，在此謝過。由于整理過程匆忙，難免錯誤及講解的不夠清楚之處，請各位網友指正，這里提前謝過。本文分以下部分進行介紹：
1. Bootloader及內核解壓
2. 內核啟動方式介紹
3. 內核啟動地址的確定
4. arch/armnommu/kernel/head-armv.S分析
5. start_kernel()函數分析

1. Bootloader及內核解壓
Bootloader將內核加載到內存中，設定一些寄存器，然后將控制權交由內核，該過程中，關閉MMU功能。通常，內核都是以壓縮的方式存放，如zImage，這里有兩種解壓方法：
使用內核自解壓程序。
arch/arm/boot/compressed/head.S或arch/arm/boot/compressed/head-xxxxx.S
arch/arm/boot/compressed/misc.c
在Bootloader中增加解壓功能。
使用該方法時內核不需要帶有自解壓功能，而使用Bootloader中的解壓程序代替內核自解壓程序。其工作過程與內核自解壓過程相似：Bootloader把壓縮方式的內核解壓到內存中，然后跳轉到內核入口處開始執行。

2. 幾種內核啟動方式介紹
XIP (EXECUTE IN PLACE) 是指直接從存放代碼的位置上啟動運行。
2.1 非壓縮，非XIP
非XIP方式是指在運行之前需對代碼進行重定位。該類型的內核以非壓縮方式存放在Flash中，啟動時由Bootloader加載到內存后運行。
2.2 非壓縮，XIP
該類型的內核以非壓縮格式存放在ROM/Flash中，不需要加載到內存就能運行，Bootloader直接跳轉到其存放地址執行。Data段復制和BSS段清零的工作由內核自己完成。這種啟動方式常用于內存空間有限的系統中，另外，程序在ROM/Flash中運行的速度相對較慢。
2.3 RAM自解壓
壓縮格式的內核由開頭一段自解壓代碼和壓縮內核數據組成，由于以壓縮格式存放，內核只能以非XIP方式運行。RAM自解壓過程如下：壓縮內核存放于ROM/Flash中，Bootloader啟動后加載到內存中的臨時空間，然后跳轉到壓縮內核入口地址執行自解壓代碼，內核被解壓到最終的目的地址然后運行。壓縮內核所占據的臨時空間隨后被Linux回收利用。這種方式的內核在嵌入式產品中較為常見。
2.4 ROM自解壓
解壓縮代碼也能夠以XIP的方式在ROM/Flash中運行。ROM自解壓過程如下：壓縮內核存放在ROM/Flash中，不需要加載到內存就能運行，Bootloader直接跳轉到其存放地址執行其自解壓代碼，將壓縮內核解壓到最終的目的地址并運行。ROM自解壓方式存放的內核解壓縮速度慢，而且也不能節省內存空間。

3. 內核啟動地址的確定
內核自解壓方式
Head.S/head-XXX.S獲得內核解壓后首地址ZREALADDR，然后解壓內核，并把解壓后的內核放在ZREALADDR的位置上，最后跳轉到ZREALADDR地址上，開始真正的內核啟動。

arch/armnommu/boot/Makefile，定義ZRELADDR和ZTEXTADDR。ZTEXTADDR是自解壓代碼的起始地址，如果從內存啟動內核，設置為0即可，如果從Rom/Flash啟動，則設置ZTEXTADDR為相應的值。ZRELADDR是內核解壓縮后的執行地址。
arch/armnommu/boot/compressed/vmlinux.ld,引用LOAD_ADDR和TEXT_START。
arch/armnommu/boot/compressed/Makefile, 通過如下一行：
SEDFLAGS = s/TEXT_START/$(ZTEXTADDR)/;s/LOAD_ADDR/$(ZRELADDR)/;
使得TEXT_START = ZTEXTADDR，LOAD_ADDR = ZRELADDR。

說明：
執行完decompress_kernel函數后,代碼跳回head.S/head-XXX.S中,檢查解壓縮之后的kernel起始地址是否緊挨著kernel image。如果是,beqcall_kernel,執行解壓后的kernel。如果解壓縮之后的kernel起始地址不是緊挨著kernelimage,則執行relocate,將其拷貝到緊接著kernel image的地方,然后跳轉,執行解壓后的kernel。

Bootloader解壓方式
Bootloader把解壓后的內核放在內存的TEXTADDR位置上，然后跳轉到TEXTADDR位置上，開始內核啟動。
arch/armnommu/Makefile，一般設置TEXTADDR為PAGE_OFF+0x8000，如定義為0x00008000, 0xC0008000等。
arch/armnommu/vmlinux.lds，引用TEXTADDR

4. arch/armnommu/kernel/head-armv.S
該文件是內核最先執行的一個文件，包括內核入口ENTRY(stext)到start_kernel間的初始化代碼，主要作用是檢查CPUID，Architecture Type，初始化BSS等操作，并跳到start_kernel函數。在執行前，處理器應滿足以下狀態：
r0 - should be 0
r1 - unique architecture number
MMU - off
I-cache - on or off
D-cache – off

/* 部分源代碼分析 */
/* 內核入口點 */
ENTRY(stext)
/* 程序狀態，禁止FIQ、IRQ，設定SVC模式 */
mov r0, #F_BIT | I_BIT | MODE_SVC@ make sure svc mode
/* 置當前程序狀態寄存器 */
msr cpsr_c, r0 @ and all irqs disabled
/* 判斷CPU類型，查找運行的CPU ID值與Linux編譯支持的ID值是否支持 */
bl __lookup_processor_type
/* 跳到__error */
teq r10, #0 @ invalid processor?
moveq r0, #'p' @ yes, error 'p'
beq __error
/* 判斷體系類型，查看R1寄存器的Architecture Type值是否支持 */
bl __lookup_architecture_type
/* 不支持，跳到出錯 */
teq r7, #0 @ invalid architecture?
moveq r0, #'a' @ yes, error 'a'
beq __error
/* 創建核心頁表 */
bl __create_page_tables
adr lr, __ret @ return address
add pc, r10, #12 @ initialise processor
/* 跳轉到start_kernel函數 */
b start_kernel

__lookup_processor_type這個函數根據芯片的ID從proc.info獲取proc_info_list結構，proc_info_list結構定義在include/asm-armnommu/proginfo.h中，該結構的數據定義在arch/armnommu/mm/proc-arm*.S文件中，ARM7TDMI系列芯片的proc_info_list數據定義在arch/armnommu/mm/proc-arm6,7.S文件中。函數__lookup_architecture_type從arch.info獲取machine_desc結構，machine_desc結構定義在include/asm-armnommu/mach/arch.h中，針對不同arch的數據定義在arch/armnommu/mach-*/arch.c文件中。
在這里如果知道processor_type和architecture_type,可以直接對相應寄存器進行賦值。

5. start_kernel()函數分析
下面對start_kernel()函數及其相關函數進行分析。
5.1 lock_kernel()
/* Getting the big kernel lock.
* This cannot happen asynchronously,
* so we only need to worry about other
* CPU's.
*/
extern __inline__ void lock_kernel(void)
{
if (!++current->lock_depth)
spin_lock(kernel_flag);
}
kernel_flag是一個內核大自旋鎖，所有進程都通過這個大鎖來實現向內核態的遷移。只有獲得這個大自旋鎖的處理器可以進入內核，如中斷處理程序等。在任何一對lock_kernel／unlock_kernel函數里至多可以有一個程序占用CPU。進程的lock_depth成員初始化為-1，在kerenl/fork.c文件中設置。在它小于0時（恒為-1），進程不擁有內核鎖；當大于或等于0時，進程得到內核鎖。

5.2 setup_arch()
setup_arch()函數做體系相關的初始化工作，函數的定義在arch/armnommu/kernel/setup.c文件中，主要涉及下列主要函數及代碼。
5.2.1 setup_processor()
該函數主要通過
for (list = __proc_info_begin; list __proc_info_end ; list++)
if ((processor_id list->cpu_mask) == list->cpu_val)
break;
這樣一個循環來在.proc.info段中尋找匹配的processor_id，processor_id在head_armv.S文件
中設置。

5.2.2 setup_architecture(machine_arch_type)
該函數獲得體系結構的信息，返回mach-xxx/arch.c 文件中定義的machine結構體的指針，包含以下內容：
MACHINE_START (xxx, “xxx”)
MAINTAINER (xxx)
BOOT_MEM (xxx, xxx, xxx)
FIXUP (xxx)
MAPIO (xxx)
INITIRQ (xxx)
MACHINE_END

5.2.3內存設置代碼
if (meminfo.nr_banks == 0)
{
meminfo.nr_banks = 1;
meminfo.bank[0].start = PHYS_OFFSET;
meminfo.bank[0].size = MEM_SIZE;
}
meminfo結構表明內存情況，是對物理內存結構meminfo的默認初始化。nr_banks指定內存塊的數量，bank指定每塊內存的范圍，PHYS_OFFSET指定某塊內存塊的開始地址，MEM_SIZE指定某塊內存塊長度。PHYS_OFFSET和MEM_SIZE都定義在include/asm-armnommu/arch-XXX/memory.h文件中，其中PHYS_OFFSET是內存的開始地址，MEM_SIZE就是內存的結束地址。這個結構在接下來內存的初始化代碼中起重要作用。

5.2.4 內核內存空間管理
init_mm.start_code = (unsigned long) _text; 內核代碼段開始
init_mm.end_code = (unsigned long) _etext; 內核代碼段結束
init_mm.end_data = (unsigned long) _edata; 內核數據段開始
init_mm.brk = (unsigned long) _end; 內核數據段結束

每一個任務都有一個mm_struct結構管理其內存空間，init_mm 是內核的mm_struct。其中設置成員變量* mmap指向自己， 意味著內核只有一個內存管理結構，設置 pgd=swapper_pg_dir，
swapper_pg_dir是內核的頁目錄，ARM體系結構的內核頁目錄大小定義為16k。init_mm定義了整個內核的內存空間，內核線程屬于內核代碼，同樣使用內核空間，其訪問內存空間的權限與內核一樣。

5.2.5 內存結構初始化
bootmem_init(meminfo)函數根據meminfo進行內存結構初始化。bootmem_init(meminfo)函數中調用reserve_node_zero(bootmap_pfn, bootmap_pages)函數，這個函數的作用是保留一部分內存使之不能被動態分配。這些內存塊包括：
reserve_bootmem_node(pgdat, __pa(_stext), _end - _stext); /*內核所占用地址空間*/
reserve_bootmem_node(pgdat, bootmap_pfn/*bootmem結構所占用地址空間*/

5.2.6 paging_init(meminfo, mdesc)
創建內核頁表，映射所有物理內存和IO空間，對于不同的處理器，該函數差別比較大。下面簡單描述一下ARM體系結構的存儲系統及MMU相關的概念。
在ARM存儲系統中，使用內存管理單元(MMU)實現虛擬地址到實際物理地址的映射。利用MMU，可把SDRAM的地址完全映射到0x0起始的一片連續地址空間，而把原來占據這片空間的FLASH或者ROM映射到其他不相沖突的存儲空間位置。例如，FLASH的地址從0x00000000～0x00FFFFFF，而SDRAM的地址范圍是0x3000 0000～0x3lFFFFFF，則可把SDRAM地址映射為0x00000000～0xlFFFFFF，而FLASH的地址可以映射到0x90000000～0x90FFFFFF(此處地址空間為空閑，未被占用)。映射完成后，如果處理器發生異常，假設依然為IRQ中斷，PC指針指向0xl8處的地址，而這個時候PC實際上是從位于物理地址的0x30000018處讀取指令。通過MMU的映射，則可實現程序完全運行在SDRAM之中。在實際的應用中．可能會把兩片不連續的物理地址空間分配給SDRAM。而在操作系統中，習慣于把SDRAM的空間連續起來，方便內存管理，且應用程序申請大塊的內存時，操作系統內核也可方便地分配。通過MMU可實現不連續的物理地址空間映射為連續的虛擬地址空間。操作系統內核或者一些比較關鍵的代碼，一般是不希望被用戶應用程序訪問。通過MMU可以控制地址空間的訪問權限，從而保護這些代碼不被破壞。
MMU的實現過程，實際上就是一個查表映射的過程。建立頁表是實現MMU功能不可缺少的一步。頁表位于系統的內存中，頁表的每一項對應于一個虛擬地址到物理地址的映射。每一項的長度即是一個字的長度(在ARM中，一個字的長度被定義為4Bytes)。頁表項除完成虛擬地址到物理地址的映射功能之外，還定義了訪問權限和緩沖特性等。
MMU的映射分為兩種，一級頁表的變換和二級頁表變換。兩者的不同之處就是實現的變換地址空間大小不同。一級頁表變換支持1 M大小的存儲空間的映射，而二級可以支持64 kB，4 kB和1 kB大小地址空間的映射。

動態表(頁表)的大?。奖眄棓担總€表項所需的位數，即為整個內存空間建立索引表時，需要多大空間存放索引表本身。
表項數＝虛擬地址空間/每頁大小
每個表項所需的位數＝Log(實際頁表數)+適當控制位數
實際頁表數 ＝物理地址空間/每頁大小



--------------------------------------------------------------------------------
Send_linux 回復于：2007-03-06 15:44:27

下面分析paging_init（）函數的代碼。
在paging_init中分配起始頁（即第0頁）地址：
zero_page = 0xCXXXXXXX

memtable_init(mi); 如果當前微處理器帶有MMU，則為系統內存創建頁表；如果當前微處理器不支持MMU，比如ARM7TDMI上移植uCLinux操作系統時，則不需要此類步驟?？梢酝ㄟ^如下一個宏定義實現靈活控制，對于帶有MMU的微處理器而言，memtable_init(mi)是paging_init()中最重要的函數。
#ifndef CONFIG_UCLINUX
/* initialise the page tables. */
memtable_init(mi);
……（此處省略若干代碼）
free_area_init_node(node, pgdat, 0, zone_size,
bdata->node_boot_start, zhole_size);
}
#else /* 針對不帶MMU微處理器 */
{
/*****************************************************/
定義物理內存區域管理
/*****************************************************/
unsigned long zone_size[MAX_NR_ZONES] = {0,0,0};

zone_size[ZONE_DMA] = 0;
zone_size[ZONE_NORMAL] = (END_MEM - PAGE_OFFSET) >> PAGE_SHIFT;

free_area_init_node(0, NULL, NULL, zone_size, PAGE_OFFSET, NULL);
}
#endif

uCLinux與其它嵌入式Linux最大的區別就是MMU管理這一塊，從上面代碼就明顯可以看到這點區別。下面繼續討論針對帶MMU的微處理器的內存管理。
void __init memtable_init(struct meminfo *mi)
{
struct map_desc *init_maps, *p, *q;
unsigned long address = 0;
int i;
init_maps = p = alloc_bootmem_low_pages(PAGE_SIZE);
/*******************************************************/
其中map_desc定義為：
struct map_desc {
unsigned long virtual;
unsigned long physical;
unsigned long length;
int domain:4, // 頁表的domain
prot_read:1, // 讀保護標志
prot_write:1, // 寫保護標志
cacheable:1, // 是否使用cache
bufferable:1, // 是否使用write buffer
last:1; //空
};init_maps /* map_desc是區段及其屬性的定義 */

下面代碼對meminfo的區段進行遍歷，在嵌入式系統中列舉所有可映射的內存，例如32M SDRAM, 4M FLASH等，用meminfo記錄這些內存區段。同時填寫init_maps 中的各項內容。meminfo結構如下：
struct meminfo {
int nr_banks;
unsigned long end;
struct {
unsigned long start;
unsigned long size;
int node;
} bank[NR_BANKS];
};
/********************************************************/

for (i = 0; i mi->nr_banks; i++)
{
if (mi->bank.size == 0)
continue;

p->physical = mi->bank.start;
p->virtual = __phys_to_virt(p->physical);
p->length = mi->bank.size;
p->domain = DOMAIN_KERNEL;
p->prot_read = 0;
p->prot_write = 1;
p->cacheable = 1; //使用Cache
p->bufferable = 1; //使用write buffer
p ++; //下一個區段
}

/* 如果系統存在FLASH,執行以下代碼 */
#ifdef FLUSH_BASE
p->physical = FLUSH_BASE_PHYS;
p->virtual = FLUSH_BASE;
p->length = PGDIR_SIZE;
p->domain = DOMAIN_KERNEL;
p->prot_read = 1;
p->prot_write = 0;
p->cacheable = 1;
p->bufferable = 1;

p ++;
#endif

/***********************************************************/
接下來的代碼是逐個區段建立頁表
/***********************************************************/
q = init_maps;
do {
if (address q->virtual || q == p) {

/*******************************************************************************/
由于內核空間是從某個地址開始，如0xC0000000，所以0xC000 0000 以前的頁表項全部清空
clear_mapping在mm-armv.c中定義，其中clear_mapping()是個宏，根據處理器的不同，可以被展開為如下代碼
cpu_XXX_set_pmd(((pmd_t *)(((init_mm )->pgd+ (( virt) >> 20 )))),((pmd_t){( 0 )}));
其中init_mm為內核的mm_struct，pgd指向 swapper_pg_dir，在arch/arm/kernel/init_task.c中定義。cpu_XXX_set_pmd定義在 proc_armXXX.S文件中，參見ENTRY(cpu_XXX_set_pmd) 處代碼。
/*********************************************************************************/
clear_mapping(address);

/* 每個表項增加1M */
address += PGDIR_SIZE;
} else {

/* 構建內存頁表 */
create_mapping(q);

address = q->virtual + q->length;
address = (address + PGDIR_SIZE - 1) PGDIR_MASK;

q ++;
}
} while (address != 0);

/ * create_mapping函數也在mm-armv.c中定義 */
static void __init create_mapping(struct map_desc *md)
{
unsigned long virt, length;
int prot_sect, prot_pte;
long off;

/*******************************************************************************/
大部分應用中均采用1級section模式的地址映射，一個section的大小為1M，也就是說從邏輯地址到物理地址的轉變是這樣的一個過程：
一個32位的地址，高12位決定了該地址在頁表中的index，這個index的內容決定了該邏輯section對應的物理section；低20位決定了該地址在section中的偏移（index）。例如：從0x0～0xFFFFFFFF的地址空間總共可以分成0x1000（4K）個 section（每個section大小為1M），頁表中每項的大小為32個bit，因此頁表的大小為0x4000（16K）。

每個頁表項的內容如下:
bit: 31 20 19 12 11 10 9 8 5 4 3 2 1 0
content: Section對應的物理地址 NULL AP 0 Domain 1 C B 1 0
最低兩位（10）是section分頁的標識。
AP：Access Permission，區分只讀、讀寫、SVC＆其它模式。
Domain：每個section都屬于某個Domain，每個Domain的屬性由寄存器控制。一般都只要包含兩個Domain，一個可訪問地址空間； 另一個不可訪問地址空間。