v2.4.10.4 -> v2.4.10.5
[opensuse:kernel.git] / Documentation / DocBook / kernel-hacking.tmpl
1 <!DOCTYPE book PUBLIC "-//OASIS//DTD DocBook V3.1//EN"[]>
2
3 <book id="lk-hacking-guide">
4  <bookinfo>
5   <title>Unreliable Guide To Hacking The Linux Kernel</title>
6   
7   <authorgroup>
8    <author>
9     <firstname>Paul</firstname>
10     <othername>Rusty</othername>
11     <surname>Russell</surname>
12     <affiliation>
13      <address>
14       <email>rusty@rustcorp.com.au</email>
15      </address>
16     </affiliation>
17    </author>
18   </authorgroup>
19
20   <copyright>
21    <year>2000</year>
22    <holder>Paul Russell</holder>
23   </copyright>
24
25   <legalnotice>
26    <para>
27     This documentation is free software; you can redistribute
28     it and/or modify it under the terms of the GNU General Public
29     License as published by the Free Software Foundation; either
30     version 2 of the License, or (at your option) any later
31     version.
32    </para>
33    
34    <para>
35     This program is distributed in the hope that it will be
36     useful, but WITHOUT ANY WARRANTY; without even the implied
37     warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
38     See the GNU General Public License for more details.
39    </para>
40    
41    <para>
42     You should have received a copy of the GNU General Public
43     License along with this program; if not, write to the Free
44     Software Foundation, Inc., 59 Temple Place, Suite 330, Boston,
45     MA 02111-1307 USA
46    </para>
47    
48    <para>
49     For more details see the file COPYING in the source
50     distribution of Linux.
51    </para>
52   </legalnotice>
53
54   <releaseinfo>
55    This is the first release of this document as part of the kernel tarball.
56   </releaseinfo>
57
58  </bookinfo>
59
60  <toc></toc>
61
62  <chapter id="introduction">
63   <title>Introduction</title>
64   <para>
65    Welcome, gentle reader, to Rusty's Unreliable Guide to Linux
66    Kernel Hacking.  This document describes the common routines and
67    general requirements for kernel code: its goal is to serve as a
68    primer for Linux kernel development for experienced C
69    programmers.  I avoid implementation details: that's what the
70    code is for, and I ignore whole tracts of useful routines.
71   </para>
72   <para>
73    Before you read this, please understand that I never wanted to
74    write this document, being grossly under-qualified, but I always
75    wanted to read it, and this was the only way.  I hope it will
76    grow into a compendium of best practice, common starting points
77    and random information.
78   </para>
79  </chapter>
80
81  <chapter id="basic-players">
82   <title>The Players</title>
83
84   <para>
85    At any time each of the CPUs in a system can be:
86   </para>
87
88   <itemizedlist>
89    <listitem>
90     <para>
91      not associated with any process, serving a hardware interrupt;
92     </para>
93    </listitem>
94
95    <listitem>
96     <para>
97      not associated with any process, serving a softirq, tasklet or bh;
98     </para>
99    </listitem>
100
101    <listitem>
102     <para>
103      running in kernel space, associated with a process;
104     </para>
105    </listitem>
106
107    <listitem>
108     <para>
109      running a process in user space.
110     </para>
111    </listitem>
112   </itemizedlist>
113
114   <para>
115    There is a strict ordering between these: other than the last
116    category (userspace) each can only be pre-empted by those above.
117    For example, while a softirq is running on a CPU, no other
118    softirq will pre-empt it, but a hardware interrupt can.  However,
119    any other CPUs in the system execute independently.
120   </para>
121
122   <para>
123    We'll see a number of ways that the user context can block
124    interrupts, to become truly non-preemptable.
125   </para>
126   
127   <sect1 id="basics-usercontext">
128    <title>User Context</title>
129
130    <para>
131     User context is when you are coming in from a system call or
132     other trap: you can sleep, and you own the CPU (except for
133     interrupts) until you call <function>schedule()</function>.  
134     In other words, user context (unlike userspace) is not pre-emptable.
135    </para>
136
137    <note>
138     <para>
139      You are always in user context on module load and unload,
140      and on operations on the block device layer.
141     </para>
142    </note>
143
144    <para>
145     In user context, the <varname>current</varname> pointer (indicating 
146     the task we are currently executing) is valid, and
147     <function>in_interrupt()</function>
148     (<filename>include/asm/hardirq.h</filename>) is <returnvalue>false
149     </returnvalue>.  
150    </para>
151
152    <caution>
153     <para>
154      Beware that if you have interrupts or bottom halves disabled 
155      (see below), <function>in_interrupt()</function> will return a 
156      false positive.
157     </para>
158    </caution>
159   </sect1>
160
161   <sect1 id="basics-hardirqs">
162    <title>Hardware Interrupts (Hard IRQs)</title>
163
164    <para>
165     Timer ticks, <hardware>network cards</hardware> and 
166     <hardware>keyboard</hardware> are examples of real
167     hardware which produce interrupts at any time.  The kernel runs
168     interrupt handlers, which services the hardware.  The kernel
169     guarantees that this handler is never re-entered: if another
170     interrupt arrives, it is queued (or dropped).  Because it
171     disables interrupts, this handler has to be fast: frequently it
172     simply acknowledges the interrupt, marks a `software interrupt'
173     for execution and exits.
174    </para>
175
176    <para>
177     You can tell you are in a hardware interrupt, because 
178     <function>in_irq()</function> returns <returnvalue>true</returnvalue>.  
179    </para>
180    <caution>
181     <para>
182      Beware that this will return a false positive if interrupts are disabled 
183      (see below).
184     </para>
185    </caution>
186   </sect1>
187
188   <sect1 id="basics-softirqs">
189    <title>Software Interrupt Context: Bottom Halves, Tasklets, softirqs</title>
190
191    <para>
192     Whenever a system call is about to return to userspace, or a
193     hardware interrupt handler exits, any `software interrupts'
194     which are marked pending (usually by hardware interrupts) are
195     run (<filename>kernel/softirq.c</filename>).
196    </para>
197
198    <para>
199     Much of the real interrupt handling work is done here.  Early in
200     the transition to <acronym>SMP</acronym>, there were only `bottom 
201     halves' (BHs), which didn't take advantage of multiple CPUs.  Shortly 
202     after we switched from wind-up computers made of match-sticks and snot,
203     we abandoned this limitation.
204    </para>
205
206    <para>
207     <filename class=headerfile>include/linux/interrupt.h</filename> lists the 
208     different BH's.  No matter how many CPUs you have, no two BHs will run at 
209     the same time. This made the transition to SMP simpler, but sucks hard for
210     scalable performance.  A very important bottom half is the timer
211     BH (<filename class=headerfile>include/linux/timer.h</filename>): you 
212     can register to have it call functions for you in a given length of time.
213    </para>
214
215    <para>
216     2.3.43 introduced softirqs, and re-implemented the (now
217     deprecated) BHs underneath them.  Softirqs are fully-SMP
218     versions of BHs: they can run on as many CPUs at once as
219     required.  This means they need to deal with any races in shared
220     data using their own locks.  A bitmask is used to keep track of
221     which are enabled, so the 32 available softirqs should not be
222     used up lightly.  (<emphasis>Yes</emphasis>, people will
223     notice).
224    </para>
225
226    <para>
227     tasklets (<filename class=headerfile>include/linux/interrupt.h</filename>) 
228     are like softirqs, except they are dynamically-registrable (meaning you 
229     can have as many as you want), and they also guarantee that any tasklet 
230     will only run on one CPU at any time, although different tasklets can 
231     run simultaneously (unlike different BHs).  
232    </para>
233    <caution>
234     <para>
235      The name `tasklet' is misleading: they have nothing to do with `tasks', 
236      and probably more to do with some bad vodka Alexey Kuznetsov had at the 
237      time.
238     </para>
239    </caution>
240
241    <para>
242     You can tell you are in a softirq (or bottom half, or tasklet)
243     using the <function>in_softirq()</function> macro 
244     (<filename class=headerfile>include/asm/softirq.h</filename>).  
245    </para>
246    <caution>
247     <para>
248      Beware that this will return a false positive if a bh lock (see below)
249      is held.
250     </para>
251    </caution>
252   </sect1>
253  </chapter>
254
255  <chapter id="basic-rules">
256   <title>Some Basic Rules</title>
257
258   <variablelist>
259    <varlistentry>
260     <term>No memory protection</term>
261     <listitem>
262      <para>
263       If you corrupt memory, whether in user context or
264       interrupt context, the whole machine will crash.  Are you
265       sure you can't do what you want in userspace?
266      </para>
267     </listitem>
268    </varlistentry>
269
270    <varlistentry>
271     <term>No floating point or <acronym>MMX</acronym></term>
272     <listitem>
273      <para>
274       The <acronym>FPU</acronym> context is not saved; even in user
275       context the <acronym>FPU</acronym> state probably won't
276       correspond with the current process: you would mess with some
277       user process' <acronym>FPU</acronym> state.  If you really want
278       to do this, you would have to explicitly save/restore the full
279       <acronym>FPU</acronym> state (and avoid context switches).  It
280       is generally a bad idea; use fixed point arithmetic first.
281      </para>
282     </listitem>
283    </varlistentry>
284
285    <varlistentry>
286     <term>A rigid stack limit</term>
287     <listitem>
288      <para>
289       The kernel stack is about 6K in 2.2 (for most
290       architectures: it's about 14K on the Alpha), and shared
291       with interrupts so you can't use it all.  Avoid deep
292       recursion and huge local arrays on the stack (allocate
293       them dynamically instead).
294      </para>
295     </listitem>
296    </varlistentry>
297
298    <varlistentry>
299     <term>The Linux kernel is portable</term>
300     <listitem>
301      <para>
302       Let's keep it that way.  Your code should be 64-bit clean,
303       and endian-independent.  You should also minimize CPU
304       specific stuff, e.g. inline assembly should be cleanly
305       encapsulated and minimized to ease porting.  Generally it
306       should be restricted to the architecture-dependent part of
307       the kernel tree.
308      </para>
309     </listitem>
310    </varlistentry>
311   </variablelist>
312  </chapter>
313
314  <chapter id="ioctls">
315   <title>ioctls: Not writing a new system call</title>
316
317   <para>
318    A system call generally looks like this
319   </para>
320
321   <programlisting>
322 asmlinkage int sys_mycall(int arg) 
323 {
324         return 0; 
325 }
326   </programlisting>
327
328   <para>
329    First, in most cases you don't want to create a new system call.
330    You create a character device and implement an appropriate ioctl
331    for it.  This is much more flexible than system calls, doesn't have
332    to be entered in every architecture's
333    <filename class=headerfile>include/asm/unistd.h</filename> and
334    <filename>arch/kernel/entry.S</filename> file, and is much more
335    likely to be accepted by Linus.
336   </para>
337
338   <para>
339    If all your routine does is read or write some parameter, consider
340    implementing a <function>sysctl</function> interface instead.
341   </para>
342
343   <para>
344    Inside the ioctl you're in user context to a process.  When a
345    error occurs you return a negated errno (see
346    <filename class=headerfile>include/linux/errno.h</filename>),
347    otherwise you return <returnvalue>0</returnvalue>.
348   </para>
349
350   <para>
351    After you slept you should check if a signal occurred: the
352    Unix/Linux way of handling signals is to temporarily exit the
353    system call with the <constant>-ERESTARTSYS</constant> error.  The
354    system call entry code will switch back to user context, process
355    the signal handler and then your system call will be restarted
356    (unless the user disabled that).  So you should be prepared to
357    process the restart, e.g. if you're in the middle of manipulating
358    some data structure.
359   </para>
360
361   <programlisting>
362 if (signal_pending()) 
363         return -ERESTARTSYS;
364   </programlisting>
365
366   <para>
367    If you're doing longer computations: first think userspace. If you
368    <emphasis>really</emphasis> want to do it in kernel you should
369    regularly check if you need to give up the CPU (remember there is
370    cooperative multitasking per CPU).  Idiom:
371   </para>
372
373   <programlisting>
374 if (current-&gt;need_resched)
375         schedule(); /* Will sleep */ 
376   </programlisting>
377
378   <para>
379    A short note on interface design: the UNIX system call motto is
380    "Provide mechanism not policy".
381   </para>
382  </chapter>
383
384  <chapter id="deadlock-recipes">
385   <title>Recipes for Deadlock</title>
386
387   <para>
388    You cannot call any routines which may sleep, unless:
389   </para>
390   <itemizedlist>
391    <listitem>
392     <para>
393      You are in user context.
394     </para>
395    </listitem>
396
397    <listitem>
398     <para>
399      You do not own any spinlocks.
400     </para>
401    </listitem>
402
403    <listitem>
404     <para>
405      You have interrupts enabled (actually, Andi Kleen says
406      that the scheduling code will enable them for you, but
407      that's probably not what you wanted).
408     </para>
409    </listitem>
410   </itemizedlist>
411
412   <para>
413    Note that some functions may sleep implicitly: common ones are
414    the user space access functions (*_user) and memory allocation
415    functions without <symbol>GFP_ATOMIC</symbol>.
416   </para>
417
418   <para>
419    You will eventually lock up your box if you break these rules.  
420   </para>
421
422   <para>
423    Really.
424   </para>
425  </chapter>
426
427  <chapter id="common-routines">
428   <title>Common Routines</title>
429
430   <sect1 id="routines-printk">
431    <title>
432     <function>printk()</function>
433     <filename class=headerfile>include/linux/kernel.h</filename>
434    </title>
435
436    <para>
437     <function>printk()</function> feeds kernel messages to the
438     console, dmesg, and the syslog daemon.  It is useful for debugging
439     and reporting errors, and can be used inside interrupt context,
440     but use with caution: a machine which has its console flooded with
441     printk messages is unusable.  It uses a format string mostly
442     compatible with ANSI C printf, and C string concatenation to give
443     it a first "priority" argument:
444    </para>
445
446    <programlisting>
447 printk(KERN_INFO "i = %u\n", i);
448    </programlisting>
449
450    <para>
451     See <filename class=headerfile>include/linux/kernel.h</filename>;
452     for other KERN_ values; these are interpreted by syslog as the
453     level.  Special case: for printing an IP address use
454    </para>
455
456    <programlisting>
457 __u32 ipaddress;
458 printk(KERN_INFO "my ip: %d.%d.%d.%d\n", NIPQUAD(ipaddress));
459    </programlisting>
460
461    <para>
462     <function>printk()</function> internally uses a 1K buffer and does
463     not catch overruns.  Make sure that will be enough.
464    </para>
465
466    <note>
467     <para>
468      You will know when you are a real kernel hacker
469      when you start typoing printf as printk in your user programs :)
470     </para>
471    </note>
472
473    <!--- From the Lions book reader department --> 
474
475    <note>
476     <para>
477      Another sidenote: the original Unix Version 6 sources had a
478      comment on top of its printf function: "Printf should not be
479      used for chit-chat".  You should follow that advice.
480     </para>
481    </note>
482   </sect1>
483
484   <sect1 id="routines-copy">
485    <title>
486     <function>copy_[to/from]_user()</function>
487     /
488     <function>get_user()</function>
489     /
490     <function>put_user()</function>
491     <filename class=headerfile>include/asm/uaccess.h</filename>
492    </title>  
493
494    <para>
495     <emphasis>[SLEEPS]</emphasis>
496    </para>
497
498    <para>
499     <function>put_user()</function> and <function>get_user()</function>
500     are used to get and put single values (such as an int, char, or
501     long) from and to userspace.  A pointer into userspace should
502     never be simply dereferenced: data should be copied using these
503     routines.  Both return <constant>-EFAULT</constant> or 0.
504    </para>
505    <para>
506     <function>copy_to_user()</function> and
507     <function>copy_from_user()</function> are more general: they copy
508     an arbitrary amount of data to and from userspace.
509     <caution>
510      <para>
511       Unlike <function>put_user()</function> and
512       <function>get_user()</function>, they return the amount of
513       uncopied data (ie. <returnvalue>0</returnvalue> still means
514       success).
515      </para>
516     </caution>
517     [Yes, this moronic interface makes me cringe.  Please submit a
518     patch and become my hero --RR.]
519    </para>
520    <para>
521     The functions may sleep implicitly. This should never be called
522     outside user context (it makes no sense), with interrupts
523     disabled, or a spinlock held.
524    </para>
525   </sect1>
526
527   <sect1 id="routines-kmalloc">
528    <title><function>kmalloc()</function>/<function>kfree()</function>
529     <filename class=headerfile>include/linux/slab.h</filename></title>
530
531    <para>
532     <emphasis>[MAY SLEEP: SEE BELOW]</emphasis>
533    </para>
534
535    <para>
536     These routines are used to dynamically request pointer-aligned
537     chunks of memory, like malloc and free do in userspace, but
538     <function>kmalloc()</function> takes an extra flag word.
539     Important values:
540    </para>
541
542    <variablelist>
543     <varlistentry>
544      <term>
545       <constant>
546        GFP_KERNEL
547       </constant>
548      </term>
549      <listitem>
550       <para>
551        May sleep and swap to free memory. Only allowed in user
552        context, but is the most reliable way to allocate memory.
553       </para>
554      </listitem>
555     </varlistentry>
556     
557     <varlistentry>
558      <term>
559       <constant>
560        GFP_ATOMIC
561       </constant>
562      </term>
563      <listitem>
564       <para>
565        Don't sleep. Less reliable than <constant>GFP_KERNEL</constant>,
566        but may be called from interrupt context. You should
567        <emphasis>really</emphasis> have a good out-of-memory
568        error-handling strategy.
569       </para>
570      </listitem>
571     </varlistentry>
572     
573     <varlistentry>
574      <term>
575       <constant>
576        GFP_DMA
577       </constant>
578      </term>
579      <listitem>
580       <para>
581        Allocate ISA DMA lower than 16MB. If you don't know what that
582        is you don't need it.  Very unreliable.
583       </para>
584      </listitem>
585     </varlistentry>
586    </variablelist>
587
588    <para>
589     If you see a <errorname>kmem_grow: Called nonatomically from int
590     </errorname> warning message you called a memory allocation function
591     from interrupt context without <constant>GFP_ATOMIC</constant>.
592     You should really fix that.  Run, don't walk.
593    </para>
594
595    <para>
596     If you are allocating at least <constant>PAGE_SIZE</constant>
597     (<filename class=headerfile>include/asm/page.h</filename>) bytes,
598     consider using <function>__get_free_pages()</function>
599
600     (<filename class=headerfile>include/linux/mm.h</filename>).  It
601     takes an order argument (0 for page sized, 1 for double page, 2
602     for four pages etc.) and the same memory priority flag word as
603     above.
604    </para>
605
606    <para>
607     If you are allocating more than a page worth of bytes you can use
608     <function>vmalloc()</function>.  It'll allocate virtual memory in
609     the kernel map.  This block is not contiguous in physical memory,
610     but the <acronym>MMU</acronym> makes it look like it is for you
611     (so it'll only look contiguous to the CPUs, not to external device
612     drivers).  If you really need large physically contiguous memory
613     for some weird device, you have a problem: it is poorly supported
614     in Linux because after some time memory fragmentation in a running
615     kernel makes it hard.  The best way is to allocate the block early
616     in the boot process via the <function>alloc_bootmem()</function>
617     routine.
618    </para>
619
620    <para>
621     Before inventing your own cache of often-used objects consider
622     using a slab cache in
623     <filename class=headerfile>include/linux/slab.h</filename>
624    </para>
625   </sect1>
626
627   <sect1 id="routines-current">
628    <title><function>current</function>
629     <filename class=headerfile>include/asm/current.h</filename></title>
630
631    <para>
632     This global variable (really a macro) contains a pointer to
633     the current task structure, so is only valid in user context.
634     For example, when a process makes a system call, this will
635     point to the task structure of the calling process.  It is
636     <emphasis>not NULL</emphasis> in interrupt context.
637    </para>
638   </sect1>
639
640   <sect1 id="routines-udelay">
641    <title><function>udelay()</function>/<function>mdelay()</function>
642      <filename class=headerfile>include/asm/delay.h</filename> 
643      <filename class=headerfile>include/linux/delay.h</filename> 
644    </title>
645
646    <para>
647     The <function>udelay()</function> function can be used for small pauses.
648     Do not use large values with <function>udelay()</function> as you risk
649     overflow - the helper function <function>mdelay()</function> is useful
650     here, or even consider <function>schedule_timeout()</function>.
651    </para> 
652   </sect1>
653  
654   <sect1 id="routines-local-irqs">
655    <title><function>local_irq_save()</function>/<function>local_irq_restore()</function>
656     <filename class=headerfile>include/asm/system.h</filename>
657    </title>
658
659    <para>
660     These routines disable hard interrupts on the local CPU, and
661     restore them.  They are reentrant; saving the previous state in
662     their one <varname>unsigned long flags</varname> argument.  If you
663     know that interrupts are enabled, you can simply use
664     <function>local_irq_disable()</function> and
665     <function>local_irq_enable()</function>.
666    </para>
667   </sect1>
668
669   <sect1 id="routines-softirqs">
670    <title><function>local_bh_disable()</function>/<function>local_bh_enable()</function>
671     <filename class=headerfile>include/asm/softirq.h</filename></title>
672
673    <para>
674     These routines disable soft interrupts on the local CPU, and
675     restore them.  They are reentrant; if soft interrupts were
676     disabled before, they will still be disabled after this pair
677     of functions has been called.  They prevent softirqs, tasklets
678     and bottom halves from running on the current CPU.
679    </para>
680   </sect1>
681
682   <sect1 id="routines-processorids">
683    <title><function>smp_processor_id</function>()/<function>cpu_[number/logical]_map()</function>
684     <filename class=headerfile>include/asm/smp.h</filename></title>
685    
686    <para>
687     <function>smp_processor_id()</function> returns the current
688     processor number, between 0 and <symbol>NR_CPUS</symbol> (the
689     maximum number of CPUs supported by Linux, currently 32).  These
690     values are not necessarily continuous: to get a number between 0
691     and <function>smp_num_cpus()</function> (the number of actual
692     processors in this machine), the
693     <function>cpu_number_map()</function> function is used to map the
694     processor id to a logical number.
695     <function>cpu_logical_map()</function> does the reverse.
696    </para>
697   </sect1>
698
699   <sect1 id="routines-init">
700    <title><type>__init</type>/<type>__exit</type>/<type>__initdata</type>
701     <filename class=headerfile>include/linux/init.h</filename></title>
702
703    <para>
704     After boot, the kernel frees up a special section; functions
705     marked with <type>__init</type> and data structures marked with
706     <type>__initdata</type> are dropped after boot is complete (within
707     modules this directive is currently ignored).  <type>__exit</type>
708     is used to declare a function which is only required on exit: the
709     function will be dropped if this file is not compiled as a module.
710     See the header file for use. Note that it makes no sense for a function
711     marked with <type>__init</type> to be exported to modules with 
712     <function>EXPORT_SYMBOL()</function> - this will break.
713    </para>
714    <para>
715    Static data structures marked as <type>__initdata</type> must be initialised
716    (as opposed to ordinary static data which is zeroed BSS) and cannot be 
717    <type>const</type>.
718    </para> 
719
720   </sect1>
721
722   <sect1 id="routines-init-again">
723    <title><function>__initcall()</function>/<function>module_init()</function>
724     <filename class=headerfile>include/linux/init.h</filename></title>
725    <para>
726     Many parts of the kernel are well served as a module
727     (dynamically-loadable parts of the kernel).  Using the
728     <function>module_init()</function> and
729     <function>module_exit()</function> macros it is easy to write code
730     without #ifdefs which can operate both as a module or built into
731     the kernel.
732    </para>
733
734    <para>
735     The <function>module_init()</function> macro defines which
736     function is to be called at module insertion time (if the file is
737     compiled as a module), or at boot time: if the file is not
738     compiled as a module the <function>module_init()</function> macro
739     becomes equivalent to <function>__initcall()</function>, which
740     through linker magic ensures that the function is called on boot.
741    </para>
742
743    <para>
744     The function can return a negative error number to cause
745     module loading to fail (unfortunately, this has no effect if
746     the module is compiled into the kernel).  For modules, this is
747     called in user context, with interrupts enabled, and the
748     kernel lock held, so it can sleep.
749    </para>
750   </sect1>
751   
752   <sect1 id="routines-moduleexit">
753    <title> <function>module_exit()</function>
754     <filename class=headerfile>include/linux/init.h</filename> </title>
755
756    <para>
757     This macro defines the function to be called at module removal
758     time (or never, in the case of the file compiled into the
759     kernel).  It will only be called if the module usage count has
760     reached zero.  This function can also sleep, but cannot fail:
761     everything must be cleaned up by the time it returns.
762    </para>
763   </sect1>
764
765   <sect1 id="routines-module-use-counters">
766    <title> <function>MOD_INC_USE_COUNT</function>/<function>MOD_DEC_USE_COUNT</function>
767     <filename class=headerfile>include/linux/module.h</filename></title>
768
769    <para>
770     These manipulate the module usage count, to protect against
771     removal (a module also can't be removed if another module uses
772     one of its exported symbols: see below).  Every reference to
773     the module from user context should be reflected by this
774     counter (e.g. for every data structure or socket) before the
775     function sleeps.  To quote Tim Waugh:
776    </para>
777
778    <programlisting>
779 /* THIS IS BAD */
780 foo_open (...)
781 {
782         stuff..
783         if (fail)
784                 return -EBUSY;
785         sleep.. (might get unloaded here)
786         stuff..
787         MOD_INC_USE_COUNT;
788         return 0;
789 }
790
791 /* THIS IS GOOD /
792 foo_open (...)
793 {
794         MOD_INC_USE_COUNT;
795         stuff..
796         if (fail) {
797                 MOD_DEC_USE_COUNT;
798                 return -EBUSY;
799         }
800         sleep.. (safe now)
801         stuff..
802         return 0;
803 }
804    </programlisting>
805
806    <para>
807    You can often avoid having to deal with these problems by using the 
808    <structfield>owner</structfield> field of the 
809    <structname>file_operations</structname> structure. Set this field
810    as the macro <symbol>THIS_MODULE</symbol>.
811    </para>
812
813    <para>
814    For more complicated module unload locking requirements, you can set the
815    <structfield>can_unload</structfield> function pointer to your own routine,
816    which should return <returnvalue>0</returnvalue> if the module is
817    unloadable, or <returnvalue>-EBUSY</returnvalue> otherwise.
818    </para> 
819   
820   </sect1>
821  </chapter>
822
823  <chapter id="queues">
824   <title>Wait Queues
825    <filename class=headerfile>include/linux/wait.h</filename>
826   </title>
827   <para>
828    <emphasis>[SLEEPS]</emphasis>
829   </para>
830
831   <para>
832    A wait queue is used to wait for someone to wake you up when a
833    certain condition is true.  They must be used carefully to ensure
834    there is no race condition.  You declare a
835    <type>wait_queue_head_t</type>, and then processes which want to
836    wait for that condition declare a <type>wait_queue_t</type>
837    referring to themselves, and place that in the queue.
838   </para>
839
840   <sect1 id="queue-declaring">
841    <title>Declaring</title>
842    
843    <para>
844     You declare a <type>wait_queue_head_t</type> using the
845     <function>DECLARE_WAIT_QUEUE_HEAD()</function> macro, or using the
846     <function>init_waitqueue_head()</function> routine in your
847     initialization code.
848    </para>
849   </sect1>
850   
851   <sect1 id="queue-waitqueue">
852    <title>Queuing</title>
853    
854    <para>
855     Placing yourself in the waitqueue is fairly complex, because you
856     must put yourself in the queue before checking the condition.
857     There is a macro to do this:
858     <function>wait_event_interruptible()</function>
859
860     <filename class=headerfile>include/linux/sched.h</filename> The
861     first argument is the wait queue head, and the second is an
862     expression which is evaluated; the macro returns
863     <returnvalue>0</returnvalue> when this expression is true, or
864     <returnvalue>-ERESTARTSYS</returnvalue> if a signal is received.
865     The <function>wait_event()</function> version ignores signals.
866    </para>
867    <para>
868    Do not use the <function>sleep_on()</function> function family -
869    it is very easy to accidentally introduce races; almost certainly
870    one of the <function>wait_event()</function> family will do, or a
871    loop around <function>schedule_timeout()</function>. If you choose
872    to loop around <function>schedule_timeout()</function> remember
873    you must set the task state (with 
874    <function>set_current_state()</function>) on each iteration to avoid
875    busy-looping.
876    </para>
877  
878   </sect1>
879
880   <sect1 id="queue-waking">
881    <title>Waking Up Queued Tasks</title>
882    
883    <para>
884     Call <function>wake_up()</function>
885
886     <filename class=headerfile>include/linux/sched.h</filename>;,
887     which will wake up every process in the queue.  The exception is
888     if one has <constant>TASK_EXCLUSIVE</constant> set, in which case
889     the remainder of the queue will not be woken.
890    </para>
891   </sect1>
892  </chapter>
893
894  <chapter id="atomic-ops">
895   <title>Atomic Operations</title>
896
897   <para>
898    Certain operations are guaranteed atomic on all platforms.  The
899    first class of operations work on <type>atomic_t</type>
900
901    <filename class=headerfile>include/asm/atomic.h</filename>; this
902    contains a signed integer (at least 24 bits long), and you must use
903    these functions to manipulate or read atomic_t variables.
904    <function>atomic_read()</function> and
905    <function>atomic_set()</function> get and set the counter,
906    <function>atomic_add()</function>,
907    <function>atomic_sub()</function>,
908    <function>atomic_inc()</function>,
909    <function>atomic_dec()</function>, and
910    <function>atomic_dec_and_test()</function> (returns
911    <returnvalue>true</returnvalue> if it was decremented to zero).
912   </para>
913
914   <para>
915    Yes.  It returns <returnvalue>true</returnvalue> (i.e. != 0) if the
916    atomic variable is zero.
917   </para>
918
919   <para>
920    Note that these functions are slower than normal arithmetic, and
921    so should not be used unnecessarily.  On some platforms they
922    are much slower, like 32-bit Sparc where they use a spinlock.
923   </para>
924
925   <para>
926    The second class of atomic operations is atomic bit operations on a
927    <type>long</type>, defined in
928
929    <filename class=headerfile>include/asm/bitops.h</filename>.  These
930    operations generally take a pointer to the bit pattern, and a bit
931    number: 0 is the least significant bit.
932    <function>set_bit()</function>, <function>clear_bit()</function>
933    and <function>change_bit()</function> set, clear, and flip the
934    given bit.  <function>test_and_set_bit()</function>,
935    <function>test_and_clear_bit()</function> and
936    <function>test_and_change_bit()</function> do the same thing,
937    except return true if the bit was previously set; these are
938    particularly useful for very simple locking.
939   </para>
940   
941   <para>
942    It is possible to call these operations with bit indices greater
943    than BITS_PER_LONG.  The resulting behavior is strange on big-endian
944    platforms though so it is a good idea not to do this.
945   </para>
946
947   <para>
948    Note that the order of bits depends on the architecture, and in
949    particular, the bitfield passed to these operations must be at
950    least as large as a <type>long</type>.
951   </para>
952  </chapter>
953
954  <chapter id="symbols">
955   <title>Symbols</title>
956
957   <para>
958    Within the kernel proper, the normal linking rules apply
959    (ie. unless a symbol is declared to be file scope with the
960    <type>static</type> keyword, it can be used anywhere in the
961    kernel).  However, for modules, a special exported symbol table is
962    kept which limits the entry points to the kernel proper.  Modules
963    can also export symbols.
964   </para>
965
966   <sect1 id="sym-exportsymbols">
967    <title><function>EXPORT_SYMBOL()</function>
968     <filename class=headerfile>include/linux/module.h</filename></title>
969
970    <para>
971     This is the classic method of exporting a symbol, and it works
972     for both modules and non-modules.  In the kernel all these
973     declarations are often bundled into a single file to help
974     genksyms (which searches source files for these declarations).
975     See the comment on genksyms and Makefiles below.
976    </para>
977   </sect1>
978
979   <sect1 id="sym-exportnosymbols">
980    <title><symbol>EXPORT_NO_SYMBOLS</symbol>
981     <filename class=headerfile>include/linux/module.h</filename></title>
982
983    <para>
984     If a module exports no symbols then you can specify
985     <programlisting>
986 EXPORT_NO_SYMBOLS;
987     </programlisting>
988     anywhere in the module.
989     In kernel 2.4 and earlier, if a module contains neither
990     <function>EXPORT_SYMBOL()</function> nor
991     <symbol>EXPORT_NO_SYMBOLS</symbol> then the module defaults to
992     exporting all non-static global symbols.
993     In kernel 2.5 onwards you must explicitly specify whether a module
994     exports symbols or not.
995    </para>
996   </sect1>
997
998   <sect1 id="sym-exportsymbols-gpl">
999    <title><function>EXPORT_SYMBOL_GPL()</function>
1000     <filename class=headerfile>include/linux/module.h</filename></title>
1001
1002    <para>
1003     Similar to <function>EXPORT_SYMBOL()</function> except that the
1004     symbols exported by <function>EXPORT_SYMBOL_GPL()</function> can
1005     only be seen by modules with a
1006     <function>MODULE_LICENCE()</function> that specifies a GPL
1007     compatible license.
1008    </para>
1009   </sect1>
1010  </chapter>
1011
1012  <chapter id="conventions">
1013   <title>Routines and Conventions</title>
1014
1015   <sect1 id="conventions-doublelinkedlist">
1016    <title>Double-linked lists
1017     <filename class=headerfile>include/linux/list.h</filename></title>
1018
1019    <para>
1020     There are three sets of linked-list routines in the kernel
1021     headers, but this one seems to be winning out (and Linus has
1022     used it).  If you don't have some particular pressing need for
1023     a single list, it's a good choice.  In fact, I don't care
1024     whether it's a good choice or not, just use it so we can get
1025     rid of the others.
1026    </para>
1027   </sect1>
1028
1029   <sect1 id="convention-returns">
1030    <title>Return Conventions</title>
1031
1032    <para>
1033     For code called in user context, it's very common to defy C
1034     convention, and return <returnvalue>0</returnvalue> for success,
1035     and a negative error number
1036     (eg. <returnvalue>-EFAULT</returnvalue>) for failure.  This can be
1037     unintuitive at first, but it's fairly widespread in the networking
1038     code, for example.
1039    </para>
1040
1041    <para>
1042     The filesystem code uses <function>ERR_PTR()</function>
1043
1044     <filename class=headerfile>include/linux/fs.h</filename>; to
1045     encode a negative error number into a pointer, and
1046     <function>IS_ERR()</function> and <function>PTR_ERR()</function>
1047     to get it back out again: avoids a separate pointer parameter for
1048     the error number.  Icky, but in a good way.
1049    </para>
1050   </sect1>
1051
1052   <sect1 id="conventions-borkedcompile">
1053    <title>Breaking Compilation</title>
1054
1055    <para>
1056     Linus and the other developers sometimes change function or
1057     structure names in development kernels; this is not done just to
1058     keep everyone on their toes: it reflects a fundamental change
1059     (eg. can no longer be called with interrupts on, or does extra
1060     checks, or doesn't do checks which were caught before).  Usually
1061     this is accompanied by a fairly complete note to the linux-kernel
1062     mailing list; search the archive.  Simply doing a global replace
1063     on the file usually makes things <emphasis>worse</emphasis>.
1064    </para>
1065   </sect1>
1066
1067   <sect1 id="conventions-initialising">
1068    <title>Initializing structure members</title>
1069
1070    <para>
1071     The preferred method of initializing structures is to use the
1072     gcc Labeled Elements extension, eg:
1073    </para>
1074    <programlisting>
1075 static struct block_device_operations opt_fops = {
1076         open:                   opt_open,
1077         release:                opt_release,
1078         ioctl:                  opt_ioctl,
1079         check_media_change:     opt_media_change,
1080 };
1081    </programlisting>
1082
1083    <para>
1084     This makes it easy to grep for, and makes it clear which
1085     structure fields are set.  You should do this because it looks
1086     cool.
1087    </para>
1088   </sect1>
1089
1090   <sect1 id="conventions-gnu-extns">
1091    <title>GNU Extensions</title>
1092
1093    <para>
1094     GNU Extensions are explicitly allowed in the Linux kernel.
1095     Note that some of the more complex ones are not very well
1096     supported, due to lack of general use, but the following are
1097     considered standard (see the GCC info page section "C
1098     Extensions" for more details - Yes, really the info page, the
1099     man page is only a short summary of the stuff in info):
1100    </para>
1101    <itemizedlist>
1102     <listitem>
1103      <para>
1104       Inline functions
1105      </para>
1106     </listitem>
1107     <listitem>
1108      <para>
1109       Statement expressions (ie. the ({ and }) constructs).
1110      </para>
1111     </listitem>
1112     <listitem>
1113      <para>
1114       Declaring attributes of a function / variable / type
1115       (__attribute__)
1116      </para>
1117     </listitem>
1118     <listitem>
1119      <para>
1120       Labeled elements
1121      </para>
1122     </listitem>
1123     <listitem>
1124      <para>
1125       typeof
1126      </para>
1127     </listitem>
1128     <listitem>
1129      <para>
1130       Zero length arrays
1131      </para>
1132     </listitem>
1133     <listitem>
1134      <para>
1135       Macro varargs
1136      </para>
1137     </listitem>
1138     <listitem>
1139      <para>
1140       Arithmetic on void pointers
1141      </para>
1142     </listitem>
1143     <listitem>
1144      <para>
1145       Non-Constant initializers
1146      </para>
1147     </listitem>
1148     <listitem>
1149      <para>
1150       Assembler Instructions (not outside arch/ and include/asm/)
1151      </para>
1152     </listitem>
1153     <listitem>
1154      <para>
1155       Function names as strings (__FUNCTION__)
1156      </para>
1157     </listitem>
1158     <listitem>
1159      <para>
1160       __builtin_constant_p()
1161      </para>
1162     </listitem>
1163    </itemizedlist>
1164
1165    <para>
1166     Be wary when using long long in the kernel, the code gcc generates for
1167     it is horrible and worse: division and multiplication does not work
1168     on i386 because the GCC runtime functions for it are missing from
1169     the kernel environment.
1170    </para>
1171
1172     <!-- FIXME: add a note about ANSI aliasing cleanness -->
1173   </sect1>
1174
1175   <sect1 id="conventions-cplusplus">
1176    <title>C++</title>
1177    
1178    <para>
1179     Using C++ in the kernel is usually a bad idea, because the
1180     kernel does not provide the necessary runtime environment
1181     and the include files are not tested for it.  It is still
1182     possible, but not recommended.  If you really want to do
1183     this, forget about exceptions at least.
1184    </para>
1185   </sect1>
1186
1187   <sect1 id="conventions-ifdef">
1188    <title>&num;if</title>
1189    
1190    <para>
1191     It is generally considered cleaner to use macros in header files
1192     (or at the top of .c files) to abstract away functions rather than
1193     using `#if' pre-processor statements throughout the source code.
1194    </para>
1195   </sect1>
1196  </chapter>
1197
1198  <chapter id="submitting">
1199   <title>Putting Your Stuff in the Kernel</title>
1200
1201   <para>
1202    In order to get your stuff into shape for official inclusion, or
1203    even to make a neat patch, there's administrative work to be
1204    done:
1205   </para>
1206   <itemizedlist>
1207    <listitem>
1208     <para>
1209      Figure out whose pond you've been pissing in.  Look at the top of
1210      the source files, inside the <filename>MAINTAINERS</filename>
1211      file, and last of all in the <filename>CREDITS</filename> file.
1212      You should coordinate with this person to make sure you're not
1213      duplicating effort, or trying something that's already been
1214      rejected.
1215     </para>
1216
1217     <para>
1218      Make sure you put your name and EMail address at the top of
1219      any files you create or mangle significantly.  This is the
1220      first place people will look when they find a bug, or when
1221      <emphasis>they</emphasis> want to make a change.
1222     </para>
1223    </listitem>
1224
1225    <listitem>
1226     <para>
1227      Usually you want a configuration option for your kernel hack.
1228      Edit <filename>Config.in</filename> in the appropriate directory
1229      (but under <filename>arch/</filename> it's called
1230      <filename>config.in</filename>).  The Config Language used is not
1231      bash, even though it looks like bash; the safe way is to use only
1232      the constructs that you already see in
1233      <filename>Config.in</filename> files (see
1234      <filename>Documentation/kbuild/config-language.txt</filename>).
1235      It's good to run "make xconfig" at least once to test (because
1236      it's the only one with a static parser).
1237     </para>
1238
1239     <para>
1240      Variables which can be Y or N use <type>bool</type> followed by a
1241      tagline and the config define name (which must start with
1242      CONFIG_).  The <type>tristate</type> function is the same, but
1243      allows the answer M (which defines
1244      <symbol>CONFIG_foo_MODULE</symbol> in your source, instead of
1245      <symbol>CONFIG_FOO</symbol>) if <symbol>CONFIG_MODULES</symbol>
1246      is enabled.
1247     </para>
1248
1249     <para>
1250      You may well want to make your CONFIG option only visible if
1251      <symbol>CONFIG_EXPERIMENTAL</symbol> is enabled: this serves as a
1252      warning to users.  There many other fancy things you can do: see
1253      the various <filename>Config.in</filename> files for ideas.
1254     </para>
1255    </listitem>
1256
1257    <listitem>
1258     <para>
1259      Edit the <filename>Makefile</filename>: the CONFIG variables are
1260      exported here so you can conditionalize compilation with `ifeq'.
1261      If your file exports symbols then add the names to
1262      <varname>export-objs</varname> so that genksyms will find them.
1263      <caution>
1264       <para>
1265        There is a restriction on the kernel build system that objects
1266        which export symbols must have globally unique names.
1267        If your object does not have a globally unique name then the
1268        standard fix is to move the
1269        <function>EXPORT_SYMBOL()</function> statements to their own
1270        object with a unique name.
1271        This is why several systems have separate exporting objects,
1272        usually suffixed with ksyms.
1273       </para>
1274      </caution>
1275     </para>
1276    </listitem>
1277
1278    <listitem>
1279     <para>
1280      Document your option in Documentation/Configure.help.  Mention
1281      incompatibilities and issues here.  <emphasis> Definitely
1282      </emphasis> end your description with <quote> if in doubt, say N
1283      </quote> (or, occasionally, `Y'); this is for people who have no
1284      idea what you are talking about.
1285     </para>
1286    </listitem>
1287
1288    <listitem>
1289     <para>
1290      Put yourself in <filename>CREDITS</filename> if you've done
1291      something noteworthy, usually beyond a single file (your name
1292      should be at the top of the source files anyway).
1293      <filename>MAINTAINERS</filename> means you want to be consulted
1294      when changes are made to a subsystem, and hear about bugs; it
1295      implies a more-than-passing commitment to some part of the code.
1296     </para>
1297    </listitem>
1298    
1299    <listitem>
1300     <para>
1301      Finally, don't forget to read <filename>Documentation/SubmittingPatches</filename>
1302      and possibly <filename>Documentation/SubmittingDrivers</filename>.
1303     </para>
1304    </listitem>
1305   </itemizedlist>
1306  </chapter>
1307
1308  <chapter id="cantrips">
1309   <title>Kernel Cantrips</title>
1310
1311   <para>
1312    Some favorites from browsing the source.  Feel free to add to this
1313    list.
1314   </para>
1315
1316   <para>
1317    <filename>include/linux/brlock.h:</filename>
1318   </para>
1319   <programlisting>
1320 extern inline void br_read_lock (enum brlock_indices idx)
1321 {
1322         /*
1323          * This causes a link-time bug message if an
1324          * invalid index is used:
1325          */
1326         if (idx >= __BR_END)
1327                 __br_lock_usage_bug();
1328
1329         read_lock(&amp;__brlock_array[smp_processor_id()][idx]);
1330 }
1331   </programlisting>
1332
1333   <para>
1334    <filename>include/linux/fs.h</filename>:
1335   </para>
1336   <programlisting>
1337 /*
1338  * Kernel pointers have redundant information, so we can use a
1339  * scheme where we can return either an error code or a dentry
1340  * pointer with the same return value.
1341  *
1342  * This should be a per-architecture thing, to allow different
1343  * error and pointer decisions.
1344  */
1345  #define ERR_PTR(err)    ((void *)((long)(err)))
1346  #define PTR_ERR(ptr)    ((long)(ptr))
1347  #define IS_ERR(ptr)     ((unsigned long)(ptr) > (unsigned long)(-1000))
1348 </programlisting>
1349
1350   <para>
1351    <filename>include/asm-i386/uaccess.h:</filename>
1352   </para>
1353
1354   <programlisting>
1355 #define copy_to_user(to,from,n)                         \
1356         (__builtin_constant_p(n) ?                      \
1357          __constant_copy_to_user((to),(from),(n)) :     \
1358          __generic_copy_to_user((to),(from),(n)))
1359   </programlisting>
1360
1361   <para>
1362    <filename>arch/sparc/kernel/head.S:</filename>
1363   </para>
1364
1365   <programlisting>
1366 /*
1367  * Sun people can't spell worth damn. "compatability" indeed.
1368  * At least we *know* we can't spell, and use a spell-checker.
1369  */
1370
1371 /* Uh, actually Linus it is I who cannot spell. Too much murky
1372  * Sparc assembly will do this to ya.
1373  */
1374 C_LABEL(cputypvar):
1375         .asciz "compatability"
1376
1377 /* Tested on SS-5, SS-10. Probably someone at Sun applied a spell-checker. */
1378         .align 4
1379 C_LABEL(cputypvar_sun4m):
1380         .asciz "compatible"
1381   </programlisting>
1382
1383   <para>
1384    <filename>arch/sparc/lib/checksum.S:</filename>
1385   </para>
1386
1387   <programlisting>
1388         /* Sun, you just can't beat me, you just can't.  Stop trying,
1389          * give up.  I'm serious, I am going to kick the living shit
1390          * out of you, game over, lights out.
1391          */
1392   </programlisting>
1393  </chapter>
1394
1395  <chapter id="credits">
1396   <title>Thanks</title>
1397
1398   <para>
1399    Thanks to Andi Kleen for the idea, answering my questions, fixing
1400    my mistakes, filling content, etc.  Philipp Rumpf for more spelling
1401    and clarity fixes, and some excellent non-obvious points.  Werner
1402    Almesberger for giving me a great summary of
1403    <function>disable_irq()</function>, and Jes Sorensen and Andrea
1404    Arcangeli added caveats. Michael Elizabeth Chastain for checking
1405    and adding to the Configure section. <!-- Rusty insisted on this
1406    bit; I didn't do it! --> Telsa Gwynne for teaching me DocBook. 
1407   </para>
1408  </chapter>
1409 </book>
1410