PPC fixes for SMP; also fix the stack overflow detection, remove
[opensuse:kernel.git] / arch / ppc / kernel / head_8xx.S
1 /*
2  * BK Id: %F% %I% %G% %U% %#%
3  */
4 /*
5  *  arch/ppc/kernel/except_8xx.S
6  *
7  *  PowerPC version 
8  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
9  *  Rewritten by Cort Dougan (cort@cs.nmt.edu) for PReP
10  *    Copyright (C) 1996 Cort Dougan <cort@cs.nmt.edu>
11  *  Low-level exception handlers and MMU support
12  *  rewritten by Paul Mackerras.
13  *    Copyright (C) 1996 Paul Mackerras.
14  *  MPC8xx modifications by Dan Malek
15  *    Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
16  *
17  *  This file contains low-level support and setup for PowerPC 8xx
18  *  embedded processors, including trap and interrupt dispatch.
19  *
20  *  This program is free software; you can redistribute it and/or
21  *  modify it under the terms of the GNU General Public License
22  *  as published by the Free Software Foundation; either version
23  *  2 of the License, or (at your option) any later version.
24  *      
25  */
26
27 #include <linux/config.h>
28 #include <asm/processor.h>
29 #include <asm/page.h>
30 #include <asm/mmu.h>
31 #include <asm/cache.h>
32 #include <asm/pgtable.h>
33 #include <asm/cputable.h>
34 #include <asm/thread_info.h>
35 #include <asm/ppc_asm.h>
36 #include "ppc_defs.h"
37
38         .text
39         .globl  _stext
40 _stext:
41
42 /*
43  * _start is defined this way because the XCOFF loader in the OpenFirmware
44  * on the powermac expects the entry point to be a procedure descriptor.
45  */
46         .text
47         .globl  _start
48 _start:
49
50 /* MPC8xx
51  * This port was done on an MBX board with an 860.  Right now I only
52  * support an ELF compressed (zImage) boot from EPPC-Bug because the
53  * code there loads up some registers before calling us:
54  *   r3: ptr to board info data
55  *   r4: initrd_start or if no initrd then 0
56  *   r5: initrd_end - unused if r4 is 0
57  *   r6: Start of command line string
58  *   r7: End of command line string
59  *
60  * I decided to use conditional compilation instead of checking PVR and
61  * adding more processor specific branches around code I don't need.
62  * Since this is an embedded processor, I also appreciate any memory
63  * savings I can get.
64  *
65  * The MPC8xx does not have any BATs, but it supports large page sizes.
66  * We first initialize the MMU to support 8M byte pages, then load one
67  * entry into each of the instruction and data TLBs to map the first
68  * 8M 1:1.  I also mapped an additional I/O space 1:1 so we can get to
69  * the "internal" processor registers before MMU_init is called.
70  *
71  * The TLB code currently contains a major hack.  Since I use the condition
72  * code register, I have to save and restore it.  I am out of registers, so
73  * I just store it in memory location 0 (the TLB handlers are not reentrant).
74  * To avoid making any decisions, I need to use the "segment" valid bit
75  * in the first level table, but that would require many changes to the
76  * Linux page directory/table functions that I don't want to do right now.
77  *
78  * I used to use SPRG2 for a temporary register in the TLB handler, but it
79  * has since been put to other uses.  I now use a hack to save a register
80  * and the CCR at memory location 0.....Someday I'll fix this.....
81  *      -- Dan
82  */
83         
84         .globl  __start
85 __start:
86         mr      r31,r3                  /* save parameters */
87         mr      r30,r4
88         mr      r29,r5
89         mr      r28,r6
90         mr      r27,r7
91         li      r24,0                   /* cpu # */
92
93         /* We have to turn on the MMU right away so we get cache modes
94          * set correctly.
95          */
96         bl      initial_mmu
97
98 /* We now have the lower 8 Meg mapped into TLB entries, and the caches
99  * ready to work.
100  */
101
102 turn_on_mmu:
103         mfmsr   r0
104         ori     r0,r0,MSR_DR|MSR_IR
105         mtspr   SRR1,r0
106         lis     r0,start_here@h
107         ori     r0,r0,start_here@l
108         mtspr   SRR0,r0
109         SYNC
110         rfi                             /* enables MMU */
111
112 /*
113  * Exception entry code.  This code runs with address translation
114  * turned off, i.e. using physical addresses.
115  * We assume sprg3 has the physical address of the current
116  * task's thread_struct.
117  */
118 #define EXCEPTION_PROLOG        \
119         mtspr   SPRG0,r20;      \
120         mtspr   SPRG1,r21;      \
121         mfcr    r20;            \
122         mfspr   r21,SPRG2;              /* exception stack to use from */ \
123         cmpwi   0,r21,0;                /* user mode or RTAS */ \
124         bne     1f;             \
125         tophys(r21,r1);                 /* use tophys(kernel sp) otherwise */ \
126         subi    r21,r21,INT_FRAME_SIZE; /* alloc exc. frame */\
127 1:      stw     r20,_CCR(r21);          /* save registers */ \
128         stw     r22,GPR22(r21); \
129         stw     r23,GPR23(r21); \
130         mfspr   r20,SPRG0;      \
131         stw     r20,GPR20(r21); \
132         mfspr   r22,SPRG1;      \
133         stw     r22,GPR21(r21); \
134         mflr    r20;            \
135         stw     r20,_LINK(r21); \
136         mfctr   r22;            \
137         stw     r22,_CTR(r21);  \
138         mfspr   r20,XER;        \
139         stw     r20,_XER(r21);  \
140         mfspr   r22,SRR0;       \
141         mfspr   r23,SRR1;       \
142         stw     r0,GPR0(r21);   \
143         stw     r1,GPR1(r21);   \
144         stw     r2,GPR2(r21);   \
145         stw     r1,0(r21);      \
146         tovirt(r1,r21);                 /* set new kernel sp */ \
147         SAVE_4GPRS(3, r21);     \
148         SAVE_GPR(7, r21);
149 /*
150  * Note: code which follows this uses cr0.eq (set if from kernel),
151  * r21, r22 (SRR0), and r23 (SRR1).
152  */
153
154 /*
155  * Exception vectors.
156  */
157 #define STD_EXCEPTION(n, label, hdlr)           \
158         . = n;                                  \
159 label:                                          \
160         EXCEPTION_PROLOG;                       \
161         addi    r3,r1,STACK_FRAME_OVERHEAD;     \
162         li      r20,MSR_KERNEL;                 \
163         bl      transfer_to_handler;            \
164         .long   hdlr;                           \
165         .long   ret_from_except
166
167 /* System reset */
168 #ifdef CONFIG_SMP /* MVME/MTX start the secondary here */
169         STD_EXCEPTION(0x100, Reset, __secondary_start_psurge)
170 #else
171         STD_EXCEPTION(0x100, Reset, UnknownException)
172 #endif  
173
174 /* Machine check */
175         STD_EXCEPTION(0x200, MachineCheck, MachineCheckException)
176
177 /* Data access exception.
178  * This is "never generated" by the MPC8xx.  We jump to it for other
179  * translation errors.
180  */
181         . = 0x300
182 DataAccess:
183         EXCEPTION_PROLOG
184         mfspr   r20,DSISR
185         stw     r20,_DSISR(r21)
186         mr      r5,r20
187         mfspr   r4,DAR
188         stw     r4,_DAR(r21)
189         addi    r3,r1,STACK_FRAME_OVERHEAD
190         li      r20,MSR_KERNEL
191         rlwimi  r20,r23,0,16,16         /* copy EE bit from saved MSR */
192         bl      transfer_to_handler
193         .long   do_page_fault
194         .long   ret_from_except
195
196 /* Instruction access exception.
197  * This is "never generated" by the MPC8xx.  We jump to it for other
198  * translation errors.
199  */
200         . = 0x400
201 InstructionAccess:
202         EXCEPTION_PROLOG
203         addi    r3,r1,STACK_FRAME_OVERHEAD
204         mr      r4,r22
205         mr      r5,r23
206         li      r20,MSR_KERNEL
207         rlwimi  r20,r23,0,16,16         /* copy EE bit from saved MSR */
208         bl      transfer_to_handler
209         .long   do_page_fault
210         .long   ret_from_except
211
212 /* External interrupt */
213         . = 0x500;
214 HardwareInterrupt:
215         EXCEPTION_PROLOG;
216         addi    r3,r1,STACK_FRAME_OVERHEAD
217         li      r20,MSR_KERNEL
218         li      r4,0
219         bl      transfer_to_handler
220         .globl do_IRQ_intercept
221 do_IRQ_intercept:
222         .long   do_IRQ;
223         .long   ret_from_intercept
224         
225
226 /* Alignment exception */
227         . = 0x600
228 Alignment:
229         EXCEPTION_PROLOG
230         mfspr   r4,DAR
231         stw     r4,_DAR(r21)
232         mfspr   r5,DSISR
233         stw     r5,_DSISR(r21)
234         addi    r3,r1,STACK_FRAME_OVERHEAD
235         li      r20,MSR_KERNEL
236         rlwimi  r20,r23,0,16,16         /* copy EE bit from saved MSR */
237         bl      transfer_to_handler
238         .long   AlignmentException
239         .long   ret_from_except
240
241 /* Program check exception */
242         . = 0x700
243 ProgramCheck:
244         EXCEPTION_PROLOG
245         addi    r3,r1,STACK_FRAME_OVERHEAD
246         li      r20,MSR_KERNEL
247         rlwimi  r20,r23,0,16,16         /* copy EE bit from saved MSR */
248         bl      transfer_to_handler
249         .long   ProgramCheckException
250         .long   ret_from_except
251
252 /* No FPU on MPC8xx.  This exception is not supposed to happen.
253 */
254         STD_EXCEPTION(0x800, FPUnavailable, UnknownException)
255
256         . = 0x900
257 Decrementer:
258         EXCEPTION_PROLOG
259         addi    r3,r1,STACK_FRAME_OVERHEAD
260         li      r20,MSR_KERNEL
261         bl      transfer_to_handler
262         .globl timer_interrupt_intercept
263 timer_interrupt_intercept:
264         .long   timer_interrupt
265         .long   ret_from_intercept
266
267         STD_EXCEPTION(0xa00, Trap_0a, UnknownException)
268         STD_EXCEPTION(0xb00, Trap_0b, UnknownException)
269
270 /* System call */
271         . = 0xc00
272 SystemCall:
273         EXCEPTION_PROLOG
274         stw     r3,ORIG_GPR3(r21)
275         li      r20,MSR_KERNEL
276         rlwimi  r20,r23,0,16,16         /* copy EE bit from saved MSR */
277         bl      transfer_to_handler
278         .long   DoSyscall
279         .long   ret_from_except
280
281 /* Single step - not used on 601 */
282         STD_EXCEPTION(0xd00, SingleStep, SingleStepException)
283
284         STD_EXCEPTION(0xe00, Trap_0e, UnknownException)
285         STD_EXCEPTION(0xf00, Trap_0f, UnknownException)
286
287 /* On the MPC8xx, this is a software emulation interrupt.  It occurs
288  * for all unimplemented and illegal instructions.
289  */
290         STD_EXCEPTION(0x1000, SoftEmu, SoftwareEmulation)
291
292         . = 0x1100
293 /*
294  * For the MPC8xx, this is a software tablewalk to load the instruction
295  * TLB.  It is modelled after the example in the Motorola manual.  The task
296  * switch loads the M_TWB register with the pointer to the first level table.
297  * If we discover there is no second level table (the value is zero), the
298  * plan was to load that into the TLB, which causes another fault into the
299  * TLB Error interrupt where we can handle such problems.  However, that did
300  * not work, so if we discover there is no second level table, we restore
301  * registers and branch to the error exception.  We have to use the MD_xxx
302  * registers for the tablewalk because the equivalent MI_xxx registers
303  * only perform the attribute functions.
304  */
305 InstructionTLBMiss:
306 #ifdef CONFIG_8xx_CPU6
307         stw     r3, 8(r0)
308         li      r3, 0x3f80
309         stw     r3, 12(r0)
310         lwz     r3, 12(r0)
311 #endif
312         mtspr   M_TW, r20       /* Save a couple of working registers */
313         mfcr    r20
314         stw     r20, 0(r0)
315         stw     r21, 4(r0)
316         mfspr   r20, SRR0       /* Get effective address of fault */
317 #ifdef CONFIG_8xx_CPU6
318         li      r3, 0x3780
319         stw     r3, 12(r0)
320         lwz     r3, 12(r0)
321 #endif
322         mtspr   MD_EPN, r20     /* Have to use MD_EPN for walk, MI_EPN can't */
323         mfspr   r20, M_TWB      /* Get level 1 table entry address */
324
325         /* If we are faulting a kernel address, we have to use the
326          * kernel page tables.
327          */
328         andi.   r21, r20, 0x0800        /* Address >= 0x80000000 */
329         beq     3f
330         lis     r21, swapper_pg_dir@h
331         ori     r21, r21, swapper_pg_dir@l
332         rlwimi  r20, r21, 0, 2, 19
333 3:
334         lwz     r21, 0(r20)     /* Get the level 1 entry */
335         rlwinm. r20, r21,0,0,19 /* Extract page descriptor page address */
336         beq     2f              /* If zero, don't try to find a pte */
337
338         /* We have a pte table, so load the MI_TWC with the attributes
339          * for this "segment."
340          */
341         tophys(r21,r21)
342         ori     r21,r21,1               /* Set valid bit */
343 #ifdef CONFIG_8xx_CPU6
344         li      r3, 0x2b80
345         stw     r3, 12(r0)
346         lwz     r3, 12(r0)
347 #endif
348         mtspr   MI_TWC, r21     /* Set segment attributes */
349 #ifdef CONFIG_8xx_CPU6
350         li      r3, 0x3b80
351         stw     r3, 12(r0)
352         lwz     r3, 12(r0)
353 #endif
354         mtspr   MD_TWC, r21     /* Load pte table base address */
355         mfspr   r21, MD_TWC     /* ....and get the pte address */
356         lwz     r20, 0(r21)     /* Get the pte */
357
358         ori     r20, r20, _PAGE_ACCESSED
359         stw     r20, 0(r21)
360
361         /* The Linux PTE won't go exactly into the MMU TLB.
362          * Software indicator bits 21, 22 and 28 must be clear.
363          * Software indicator bits 24, 25, 26, and 27 must be
364          * set.  All other Linux PTE bits control the behavior
365          * of the MMU.
366          */
367         li      r21, 0x00f0
368         rlwimi  r20, r21, 0, 24, 28     /* Set 24-27, clear 28 */
369
370 #ifdef CONFIG_8xx_CPU6
371         li      r3, 0x2d80
372         stw     r3, 12(r0)
373         lwz     r3, 12(r0)
374 #endif
375         mtspr   MI_RPN, r20     /* Update TLB entry */
376
377         mfspr   r20, M_TW       /* Restore registers */
378         lwz     r21, 0(r0)
379         mtcr    r21
380         lwz     r21, 4(r0)
381 #ifdef CONFIG_8xx_CPU6
382         lwz     r3, 8(r0)
383 #endif
384         rfi
385
386 2:      mfspr   r20, M_TW       /* Restore registers */
387         lwz     r21, 0(r0)
388         mtcr    r21
389         lwz     r21, 4(r0)
390 #ifdef CONFIG_8xx_CPU6
391         lwz     r3, 8(r0)
392 #endif
393         b       InstructionAccess
394
395         . = 0x1200
396 DataStoreTLBMiss:
397 #ifdef CONFIG_8xx_CPU6
398         stw     r3, 8(r0)
399         li      r3, 0x3f80
400         stw     r3, 12(r0)
401         lwz     r3, 12(r0)
402 #endif
403         mtspr   M_TW, r20       /* Save a couple of working registers */
404         mfcr    r20
405         stw     r20, 0(r0)
406         stw     r21, 4(r0)
407         mfspr   r20, M_TWB      /* Get level 1 table entry address */
408
409         /* If we are faulting a kernel address, we have to use the
410          * kernel page tables.
411          */
412         andi.   r21, r20, 0x0800
413         beq     3f
414         lis     r21, swapper_pg_dir@h
415         ori     r21, r21, swapper_pg_dir@l
416         rlwimi r20, r21, 0, 2, 19
417 3:
418         lwz     r21, 0(r20)     /* Get the level 1 entry */
419         rlwinm. r20, r21,0,0,19 /* Extract page descriptor page address */
420         beq     2f              /* If zero, don't try to find a pte */
421
422         /* We have a pte table, so load fetch the pte from the table.
423          */
424         tophys(r21, r21)
425         ori     r21, r21, 1     /* Set valid bit in physical L2 page */
426 #ifdef CONFIG_8xx_CPU6
427         li      r3, 0x3b80
428         stw     r3, 12(r0)
429         lwz     r3, 12(r0)
430 #endif
431         mtspr   MD_TWC, r21     /* Load pte table base address */
432         mfspr   r20, MD_TWC     /* ....and get the pte address */
433         lwz     r20, 0(r20)     /* Get the pte */
434
435         /* Insert the Guarded flag into the TWC from the Linux PTE.
436          * It is bit 27 of both the Linux PTE and the TWC (at least
437          * I got that right :-).  It will be better when we can put
438          * this into the Linux pgd/pmd and load it in the operation
439          * above.
440          */
441         rlwimi  r21, r20, 0, 27, 27
442 #ifdef CONFIG_8xx_CPU6
443         li      r3, 0x3b80
444         stw     r3, 12(r0)
445         lwz     r3, 12(r0)
446 #endif
447         mtspr   MD_TWC, r21
448
449         mfspr   r21, MD_TWC     /* get the pte address again */
450         ori     r20, r20, _PAGE_ACCESSED
451         stw     r20, 0(r21)
452
453         /* The Linux PTE won't go exactly into the MMU TLB.
454          * Software indicator bits 21, 22 and 28 must be clear.
455          * Software indicator bits 24, 25, 26, and 27 must be
456          * set.  All other Linux PTE bits control the behavior
457          * of the MMU.
458          */
459         li      r21, 0x00f0
460         rlwimi  r20, r21, 0, 24, 28     /* Set 24-27, clear 28 */
461
462 #ifdef CONFIG_8xx_CPU6
463         li      r3, 0x3d80
464         stw     r3, 12(r0)
465         lwz     r3, 12(r0)
466 #endif
467         mtspr   MD_RPN, r20     /* Update TLB entry */
468
469         mfspr   r20, M_TW       /* Restore registers */
470         lwz     r21, 0(r0)
471         mtcr    r21
472         lwz     r21, 4(r0)
473 #ifdef CONFIG_8xx_CPU6
474         lwz     r3, 8(r0)
475 #endif
476         rfi
477
478 2:      mfspr   r20, M_TW       /* Restore registers */
479         lwz     r21, 0(r0)
480         mtcr    r21
481         lwz     r21, 4(r0)
482 #ifdef CONFIG_8xx_CPU6
483         lwz     r3, 8(r0)
484 #endif
485         b       DataAccess
486
487 /* This is an instruction TLB error on the MPC8xx.  This could be due
488  * to many reasons, such as executing guarded memory or illegal instruction
489  * addresses.  There is nothing to do but handle a big time error fault.
490  */
491         . = 0x1300
492 InstructionTLBError:
493         b       InstructionAccess
494
495 /* This is the data TLB error on the MPC8xx.  This could be due to
496  * many reasons, including a dirty update to a pte.  We can catch that
497  * one here, but anything else is an error.  First, we track down the
498  * Linux pte.  If it is valid, write access is allowed, but the
499  * page dirty bit is not set, we will set it and reload the TLB.  For
500  * any other case, we bail out to a higher level function that can
501  * handle it.
502  */
503         . = 0x1400
504 DataTLBError:
505 #ifdef CONFIG_8xx_CPU6
506         stw     r3, 8(r0)
507         li      r3, 0x3f80
508         stw     r3, 12(r0)
509         lwz     r3, 12(r0)
510 #endif
511         mtspr   M_TW, r20       /* Save a couple of working registers */
512         mfcr    r20
513         stw     r20, 0(r0)
514         stw     r21, 4(r0)
515
516         /* First, make sure this was a store operation.
517         */
518         mfspr   r20, DSISR
519         andis.  r21, r20, 0x0200        /* If set, indicates store op */
520         beq     2f
521
522         /* The EA of a data TLB miss is automatically stored in the MD_EPN 
523          * register.  The EA of a data TLB error is automatically stored in 
524          * the DAR, but not the MD_EPN register.  We must copy the 20 most 
525          * significant bits of the EA from the DAR to MD_EPN before we 
526          * start walking the page tables.  We also need to copy the CASID 
527          * value from the M_CASID register.
528          * Addendum:  The EA of a data TLB error is _supposed_ to be stored 
529          * in DAR, but it seems that this doesn't happen in some cases, such 
530          * as when the error is due to a dcbi instruction to a page with a 
531          * TLB that doesn't have the changed bit set.  In such cases, there 
532          * does not appear to be any way  to recover the EA of the error 
533          * since it is neither in DAR nor MD_EPN.  As a workaround, the 
534          * _PAGE_HWWRITE bit is set for all kernel data pages when the PTEs 
535          * are initialized in mapin_ram().  This will avoid the problem, 
536          * assuming we only use the dcbi instruction on kernel addresses.
537          */
538         mfspr   r20, DAR
539         rlwinm  r21, r20, 0, 0, 19
540         ori     r21, r21, MD_EVALID
541         mfspr   r20, M_CASID
542         rlwimi  r21, r20, 0, 28, 31
543 #ifdef CONFIG_8xx_CPU6
544         li      r3, 0x3780
545         stw     r3, 12(r0)
546         lwz     r3, 12(r0)
547 #endif
548         mtspr   MD_EPN, r21
549
550         mfspr   r20, M_TWB      /* Get level 1 table entry address */
551
552         /* If we are faulting a kernel address, we have to use the
553          * kernel page tables.
554          */
555         andi.   r21, r20, 0x0800
556         beq     3f
557         lis     r21, swapper_pg_dir@h
558         ori     r21, r21, swapper_pg_dir@l
559         rlwimi  r20, r21, 0, 2, 19
560 3:
561         lwz     r21, 0(r20)     /* Get the level 1 entry */
562         rlwinm. r20, r21,0,0,19 /* Extract page descriptor page address */
563         beq     2f              /* If zero, bail */
564
565         /* We have a pte table, so fetch the pte from the table.
566          */
567         tophys(r21, r21)
568         ori     r21, r21, 1             /* Set valid bit in physical L2 page */
569 #ifdef CONFIG_8xx_CPU6
570         li      r3, 0x3b80
571         stw     r3, 12(r0)
572         lwz     r3, 12(r0)
573 #endif
574         mtspr   MD_TWC, r21             /* Load pte table base address */
575         mfspr   r21, MD_TWC             /* ....and get the pte address */
576         lwz     r20, 0(r21)             /* Get the pte */
577
578         andi.   r21, r20, _PAGE_RW      /* Is it writeable? */
579         beq     2f                      /* Bail out if not */
580
581         /* Update 'changed', among others.
582         */
583         ori     r20, r20, _PAGE_DIRTY|_PAGE_ACCESSED|_PAGE_HWWRITE
584         mfspr   r21, MD_TWC             /* Get pte address again */
585         stw     r20, 0(r21)             /* and update pte in table */
586
587         /* The Linux PTE won't go exactly into the MMU TLB.
588          * Software indicator bits 21, 22 and 28 must be clear.
589          * Software indicator bits 24, 25, 26, and 27 must be
590          * set.  All other Linux PTE bits control the behavior
591          * of the MMU.
592          */
593         li      r21, 0x00f0
594         rlwimi  r20, r21, 0, 24, 28     /* Set 24-27, clear 28 */
595
596 #ifdef CONFIG_8xx_CPU6
597         li      r3, 0x3d80
598         stw     r3, 12(r0)
599         lwz     r3, 12(r0)
600 #endif
601         mtspr   MD_RPN, r20     /* Update TLB entry */
602
603         mfspr   r20, M_TW       /* Restore registers */
604         lwz     r21, 0(r0)
605         mtcr    r21
606         lwz     r21, 4(r0)
607 #ifdef CONFIG_8xx_CPU6
608         lwz     r3, 8(r0)
609 #endif
610         rfi
611 2:
612         mfspr   r20, M_TW       /* Restore registers */
613         lwz     r21, 0(r0)
614         mtcr    r21
615         lwz     r21, 4(r0)
616 #ifdef CONFIG_8xx_CPU6
617         lwz     r3, 8(r0)
618 #endif
619         b       DataAccess
620
621         STD_EXCEPTION(0x1500, Trap_15, UnknownException)
622         STD_EXCEPTION(0x1600, Trap_16, UnknownException)
623         STD_EXCEPTION(0x1700, Trap_17, TAUException)
624         STD_EXCEPTION(0x1800, Trap_18, UnknownException)
625         STD_EXCEPTION(0x1900, Trap_19, UnknownException)
626         STD_EXCEPTION(0x1a00, Trap_1a, UnknownException)
627         STD_EXCEPTION(0x1b00, Trap_1b, UnknownException)
628
629 /* On the MPC8xx, these next four traps are used for development
630  * support of breakpoints and such.  Someday I will get around to
631  * using them.
632  */
633         STD_EXCEPTION(0x1c00, Trap_1c, UnknownException)
634         STD_EXCEPTION(0x1d00, Trap_1d, UnknownException)
635         STD_EXCEPTION(0x1e00, Trap_1e, UnknownException)
636         STD_EXCEPTION(0x1f00, Trap_1f, UnknownException)
637
638         . = 0x2000
639
640         .globl  giveup_fpu
641 giveup_fpu:
642         blr
643
644 /* Maybe someday.......
645 */
646 _GLOBAL(__setup_cpu_8xx)
647         blr
648
649 /*
650  * This is where the main kernel code starts.
651  */
652 start_here:
653         /* ptr to current */
654         lis     r2,init_task@h
655         ori     r2,r2,init_task@l
656
657         /* ptr to phys current thread */
658         tophys(r4,r2)
659         addi    r4,r4,THREAD    /* init task's THREAD */
660         mtspr   SPRG3,r4
661         li      r3,0
662         mtspr   SPRG2,r3        /* 0 => r1 has kernel sp */
663
664         /* stack */
665         lis     r1,init_thread_union@ha
666         addi    r1,r1,init_thread_union@l
667         li      r0,0
668         stwu    r0,THREAD_SIZE-STACK_FRAME_OVERHEAD(r1)
669
670         bl      early_init      /* We have to do this with MMU on */
671
672 /*
673  * Decide what sort of machine this is and initialize the MMU.
674  */
675         mr      r3,r31
676         mr      r4,r30
677         mr      r5,r29
678         mr      r6,r28
679         mr      r7,r27
680         bl      machine_init
681         bl      MMU_init
682
683 /*
684  * Go back to running unmapped so we can load up new values
685  * and change to using our exception vectors.
686  * On the 8xx, all we have to do is invalidate the TLB to clear
687  * the old 8M byte TLB mappings and load the page table base register.
688  */
689         /* The right way to do this would be to track it down through
690          * init's THREAD like the context switch code does, but this is
691          * easier......until someone changes init's static structures.
692          */
693         lis     r6, swapper_pg_dir@h
694         ori     r6, r6, swapper_pg_dir@l
695         tophys(r6,r6)
696 #ifdef CONFIG_8xx_CPU6
697         lis     r4, cpu6_errata_word@h
698         ori     r4, r4, cpu6_errata_word@l
699         li      r3, 0x3980
700         stw     r3, 12(r4)
701         lwz     r3, 12(r4)
702 #endif
703         mtspr   M_TWB, r6
704         lis     r4,2f@h
705         ori     r4,r4,2f@l
706         tophys(r4,r4)
707         li      r3,MSR_KERNEL & ~(MSR_IR|MSR_DR)
708         mtspr   SRR0,r4
709         mtspr   SRR1,r3
710         rfi
711 /* Load up the kernel context */
712 2:
713         SYNC                    /* Force all PTE updates to finish */
714         tlbia                   /* Clear all TLB entries */
715         sync                    /* wait for tlbia/tlbie to finish */
716         TLBSYNC                 /* ... on all CPUs */
717
718         /* set up the PTE pointers for the Abatron bdiGDB.
719         */
720         tovirt(r6,r6)
721         lis     r5, abatron_pteptrs@h
722         ori     r5, r5, abatron_pteptrs@l
723         stw     r5, 0xf0(r0)    /* Must match your Abatron config file */
724         tophys(r5,r5)
725         stw     r6, 0(r5)
726
727 /* Now turn on the MMU for real! */
728         li      r4,MSR_KERNEL
729         lis     r3,start_kernel@h
730         ori     r3,r3,start_kernel@l
731         mtspr   SRR0,r3
732         mtspr   SRR1,r4
733         rfi                     /* enable MMU and jump to start_kernel */
734
735 /* Set up the initial MMU state so we can do the first level of
736  * kernel initialization.  This maps the first 8 MBytes of memory 1:1
737  * virtual to physical.  Also, set the cache mode since that is defined
738  * by TLB entries and perform any additional mapping (like of the IMMR).
739  * If configured to pin some TLBs, we pin the first 8 Mbytes of kernel,
740  * 24 Mbytes of data, and the 8M IMMR space.  Anything not covered by
741  * these mappings is mapped by page tables.
742  */
743 initial_mmu:
744         tlbia                   /* Invalidate all TLB entries */
745 #ifdef CONFIG_PIN_TLB
746         lis     r8, MI_RSV4I@h
747         ori     r8, r8, 0x1c00
748 #else
749         li      r8, 0
750 #endif
751         mtspr   MI_CTR, r8      /* Set instruction MMU control */
752
753 #ifdef CONFIG_PIN_TLB
754         lis     r10, (MD_RSV4I | MD_RESETVAL)@h
755         ori     r10, r10, 0x1c00
756         mr      r8, r10
757 #else
758         lis     r10, MD_RESETVAL@h
759 #endif
760 #ifndef CONFIG_8xx_COPYBACK
761         oris    r10, r10, MD_WTDEF@h
762 #endif
763         mtspr   MD_CTR, r10     /* Set data TLB control */
764
765         /* Now map the lower 8 Meg into the TLBs.  For this quick hack,
766          * we can load the instruction and data TLB registers with the
767          * same values.
768          */
769         lis     r8, KERNELBASE@h        /* Create vaddr for TLB */
770         ori     r8, r8, MI_EVALID       /* Mark it valid */
771         mtspr   MI_EPN, r8
772         mtspr   MD_EPN, r8
773         li      r8, MI_PS8MEG           /* Set 8M byte page */
774         ori     r8, r8, MI_SVALID       /* Make it valid */
775         mtspr   MI_TWC, r8
776         mtspr   MD_TWC, r8
777         li      r8, MI_BOOTINIT         /* Create RPN for address 0 */
778         mtspr   MI_RPN, r8              /* Store TLB entry */
779         mtspr   MD_RPN, r8
780         lis     r8, MI_Kp@h             /* Set the protection mode */
781         mtspr   MI_AP, r8
782         mtspr   MD_AP, r8
783
784         /* Map another 8 MByte at the IMMR to get the processor
785          * internal registers (among other things).
786          */
787 #ifdef CONFIG_PIN_TLB
788         addi    r10, r10, 0x0100
789         mtspr   MD_CTR, r10
790 #endif
791         mfspr   r9, 638                 /* Get current IMMR */
792         andis.  r9, r9, 0xff80          /* Get 8Mbyte boundary */
793
794         mr      r8, r9                  /* Create vaddr for TLB */
795         ori     r8, r8, MD_EVALID       /* Mark it valid */
796         mtspr   MD_EPN, r8
797         li      r8, MD_PS8MEG           /* Set 8M byte page */
798         ori     r8, r8, MD_SVALID       /* Make it valid */
799         mtspr   MD_TWC, r8
800         mr      r8, r9                  /* Create paddr for TLB */
801         ori     r8, r8, MI_BOOTINIT|0x2 /* Inhibit cache -- Cort */
802         mtspr   MD_RPN, r8
803
804 #ifdef CONFIG_PIN_TLB
805         /* Map two more 8M kernel data pages.
806         */
807         addi    r10, r10, 0x0100
808         mtspr   MD_CTR, r10
809
810         lis     r8, KERNELBASE@h        /* Create vaddr for TLB */
811         addis   r8, r8, 0x0080          /* Add 8M */
812         ori     r8, r8, MI_EVALID       /* Mark it valid */
813         mtspr   MD_EPN, r8
814         li      r9, MI_PS8MEG           /* Set 8M byte page */
815         ori     r9, r9, MI_SVALID       /* Make it valid */
816         mtspr   MD_TWC, r9
817         li      r11, MI_BOOTINIT        /* Create RPN for address 0 */
818         addis   r11, r11, 0x0080        /* Add 8M */
819         mtspr   MD_RPN, r8
820
821         addis   r8, r8, 0x0080          /* Add 8M */
822         mtspr   MD_EPN, r8
823         mtspr   MD_TWC, r9
824         addis   r11, r11, 0x0080        /* Add 8M */
825         mtspr   MD_RPN, r8
826 #endif
827
828         /* Since the cache is enabled according to the information we
829          * just loaded into the TLB, invalidate and enable the caches here.
830          * We should probably check/set other modes....later.
831          */
832         lis     r8, IDC_INVALL@h
833         mtspr   IC_CST, r8
834         mtspr   DC_CST, r8
835         lis     r8, IDC_ENABLE@h
836         mtspr   IC_CST, r8
837 #ifdef CONFIG_8xx_COPYBACK
838         mtspr   DC_CST, r8
839 #else
840         /* For a debug option, I left this here to easily enable
841          * the write through cache mode
842          */
843         lis     r8, DC_SFWT@h
844         mtspr   DC_CST, r8
845         lis     r8, IDC_ENABLE@h
846         mtspr   DC_CST, r8
847 #endif
848         blr
849
850
851 /*
852  * Set up to use a given MMU context.
853  * r3 is context number, r4 is PGD pointer.
854  *
855  * We place the physical address of the new task page directory loaded
856  * into the MMU base register, and set the ASID compare register with
857  * the new "context."
858  */
859 _GLOBAL(set_context)
860
861 #ifdef CONFIG_BDI_SWITCH
862         /* Context switch the PTE pointer for the Abatron BDI2000.
863          * The PGDIR is passed as second argument.
864          */
865         lis     r5, KERNELBASE@h
866         lwz     r5, 0xf0(r5)
867         stw     r4, 0x4(r5)
868 #endif
869
870 #ifdef CONFIG_8xx_CPU6
871         lis     r6, cpu6_errata_word@h
872         ori     r6, r6, cpu6_errata_word@l
873         tophys  (r4, r4)
874         li      r7, 0x3980
875         stw     r7, 12(r6)
876         lwz     r7, 12(r6)
877         mtspr   M_TWB, r4               /* Update MMU base address */
878         li      r7, 0x3380
879         stw     r7, 12(r6)
880         lwz     r7, 12(r6)
881         mtspr   M_CASID, r3             /* Update context */
882 #else
883         mtspr   M_CASID,r3              /* Update context */
884         tophys  (r4, r4)
885         mtspr   M_TWB, r4               /* and pgd */
886 #endif
887         SYNC
888         blr
889
890 #ifdef CONFIG_8xx_CPU6
891 /* It's here because it is unique to the 8xx.
892  * It is important we get called with interrupts disabled.  I used to
893  * do that, but it appears that all code that calls this already had
894  * interrupt disabled.
895  */
896         .globl  set_dec_cpu6
897 set_dec_cpu6:
898         lis     r7, cpu6_errata_word@h
899         ori     r7, r7, cpu6_errata_word@l
900         li      r4, 0x2c00
901         stw     r4, 8(r7)
902         lwz     r4, 8(r7)
903         mtspr   22, r3          /* Update Decrementer */
904         SYNC
905         blr
906 #endif
907         
908 /*
909  * We put a few things here that have to be page-aligned.
910  * This stuff goes at the beginning of the data segment,
911  * which is page-aligned.
912  */
913         .data
914         .globl  sdata
915 sdata:
916         .globl  empty_zero_page
917 empty_zero_page:
918         .space  4096
919
920         .globl  swapper_pg_dir
921 swapper_pg_dir:
922         .space  4096    
923
924 /*
925  * This space gets a copy of optional info passed to us by the bootstrap
926  * Used to pass parameters into the kernel like root=/dev/sda1, etc.
927  */     
928         .globl  cmd_line
929 cmd_line:
930         .space  512
931
932 /* Room for two PTE table poiners, usually the kernel and current user
933  * pointer to their respective root page table (pgdir).
934  */
935 abatron_pteptrs:
936         .space  8
937
938 #ifdef CONFIG_8xx_CPU6
939         .globl  cpu6_errata_word
940 cpu6_errata_word:
941         .space  16
942 #endif
943