[PATCH] x86_64 merge: arch + asm
[opensuse:kernel.git] / include / asm-x86_64 / semaphore.h
1 #ifndef _X86_64_SEMAPHORE_H
2 #define _X86_64_SEMAPHORE_H
3
4 #include <linux/linkage.h>
5
6 #ifdef __KERNEL__
7
8 /*
9  * SMP- and interrupt-safe semaphores..
10  *
11  * (C) Copyright 1996 Linus Torvalds
12  *
13  * Modified 1996-12-23 by Dave Grothe <dave@gcom.com> to fix bugs in
14  *                     the original code and to make semaphore waits
15  *                     interruptible so that processes waiting on
16  *                     semaphores can be killed.
17  * Modified 1999-02-14 by Andrea Arcangeli, split the sched.c helper
18  *                     functions in asm/sempahore-helper.h while fixing a
19  *                     potential and subtle race discovered by Ulrich Schmid
20  *                     in down_interruptible(). Since I started to play here I
21  *                     also implemented the `trylock' semaphore operation.
22  *          1999-07-02 Artur Skawina <skawina@geocities.com>
23  *                     Optimized "0(ecx)" -> "(ecx)" (the assembler does not
24  *                     do this). Changed calling sequences from push/jmp to
25  *                     traditional call/ret.
26  * Modified 2001-01-01 Andreas Franck <afranck@gmx.de>
27  *                     Some hacks to ensure compatibility with recent
28  *                     GCC snapshots, to avoid stack corruption when compiling
29  *                     with -fomit-frame-pointer. It's not sure if this will
30  *                     be fixed in GCC, as our previous implementation was a
31  *                     bit dubious.
32  *
33  * If you would like to see an analysis of this implementation, please
34  * ftp to gcom.com and download the file
35  * /pub/linux/src/semaphore/semaphore-2.0.24.tar.gz.
36  *
37  */
38
39 #include <asm/system.h>
40 #include <asm/atomic.h>
41 #include <asm/rwlock.h>
42 #include <linux/wait.h>
43 #include <linux/rwsem.h>
44
45 struct semaphore {
46         atomic_t count;
47         int sleepers;
48         wait_queue_head_t wait;
49 #if WAITQUEUE_DEBUG
50         long __magic;
51 #endif
52 };
53
54 #if WAITQUEUE_DEBUG
55 # define __SEM_DEBUG_INIT(name) \
56                 , (int)&(name).__magic
57 #else
58 # define __SEM_DEBUG_INIT(name)
59 #endif
60
61 #define __SEMAPHORE_INITIALIZER(name,count) \
62 { ATOMIC_INIT(count), 0, __WAIT_QUEUE_HEAD_INITIALIZER((name).wait) \
63         __SEM_DEBUG_INIT(name) }
64
65 #define __MUTEX_INITIALIZER(name) \
66         __SEMAPHORE_INITIALIZER(name,1)
67
68 #define __DECLARE_SEMAPHORE_GENERIC(name,count) \
69         struct semaphore name = __SEMAPHORE_INITIALIZER(name,count)
70
71 #define DECLARE_MUTEX(name) __DECLARE_SEMAPHORE_GENERIC(name,1)
72 #define DECLARE_MUTEX_LOCKED(name) __DECLARE_SEMAPHORE_GENERIC(name,0)
73
74 static inline void sema_init (struct semaphore *sem, int val)
75 {
76 /*
77  *      *sem = (struct semaphore)__SEMAPHORE_INITIALIZER((*sem),val);
78  *
79  * i'd rather use the more flexible initialization above, but sadly
80  * GCC 2.7.2.3 emits a bogus warning. EGCS doesnt. Oh well.
81  */
82         atomic_set(&sem->count, val);
83         sem->sleepers = 0;
84         init_waitqueue_head(&sem->wait);
85 #if WAITQUEUE_DEBUG
86         sem->__magic = (int)&sem->__magic;
87 #endif
88 }
89
90 static inline void init_MUTEX (struct semaphore *sem)
91 {
92         sema_init(sem, 1);
93 }
94
95 static inline void init_MUTEX_LOCKED (struct semaphore *sem)
96 {
97         sema_init(sem, 0);
98 }
99
100 asmlinkage void __down_failed(void /* special register calling convention */);
101 asmlinkage int  __down_failed_interruptible(void  /* params in registers */);
102 asmlinkage int  __down_failed_trylock(void  /* params in registers */);
103 asmlinkage void __up_wakeup(void /* special register calling convention */);
104
105 asmlinkage void __down(struct semaphore * sem);
106 asmlinkage int  __down_interruptible(struct semaphore * sem);
107 asmlinkage int  __down_trylock(struct semaphore * sem);
108 asmlinkage void __up(struct semaphore * sem);
109
110 /*
111  * This is ugly, but we want the default case to fall through.
112  * "__down_failed" is a special asm handler that calls the C
113  * routine that actually waits. See arch/i386/kernel/semaphore.c
114  */
115 static inline void down(struct semaphore * sem)
116 {
117 #if WAITQUEUE_DEBUG
118         CHECK_MAGIC(sem->__magic);
119 #endif
120
121         __asm__ __volatile__(
122                 "# atomic down operation\n\t"
123                 LOCK "decl %0\n\t"     /* --sem->count */
124                 "js 2f\n"
125                 "1:\n"
126                 ".section .text.lock,\"ax\"\n"
127                 "2:\tcall __down_failed\n\t"
128                 "jmp 1b\n"
129                 ".previous"
130                 :"=m" (sem->count)
131                 :"D" (sem)
132                 :"memory");
133 }
134
135 /*
136  * Interruptible try to acquire a semaphore.  If we obtained
137  * it, return zero.  If we were interrupted, returns -EINTR
138  */
139 static inline int down_interruptible(struct semaphore * sem)
140 {
141         int result;
142
143 #if WAITQUEUE_DEBUG
144         CHECK_MAGIC(sem->__magic);
145 #endif
146
147         __asm__ __volatile__(
148                 "# atomic interruptible down operation\n\t"
149                 LOCK "decl %1\n\t"     /* --sem->count */
150                 "js 2f\n\t"
151                 "xorl %0,%0\n"
152                 "1:\n"
153                 ".section .text.lock,\"ax\"\n"
154                 "2:\tcall __down_failed_interruptible\n\t"
155                 "jmp 1b\n"
156                 ".previous"
157                 :"=a" (result), "=m" (sem->count)
158                 :"D" (sem)
159                 :"memory");
160         return result;
161 }
162
163 /*
164  * Non-blockingly attempt to down() a semaphore.
165  * Returns zero if we acquired it
166  */
167 static inline int down_trylock(struct semaphore * sem)
168 {
169         int result;
170
171 #if WAITQUEUE_DEBUG
172         CHECK_MAGIC(sem->__magic);
173 #endif
174
175         __asm__ __volatile__(
176                 "# atomic interruptible down operation\n\t"
177                 LOCK "decl %1\n\t"     /* --sem->count */
178                 "js 2f\n\t"
179                 "xorl %0,%0\n"
180                 "1:\n"
181                 ".section .text.lock,\"ax\"\n"
182                 "2:\tcall __down_failed_trylock\n\t"
183                 "jmp 1b\n"
184                 ".previous"
185                 :"=a" (result), "=m" (sem->count)
186                 :"D" (sem)
187                 :"memory");
188         return result;
189 }
190
191 /*
192  * Note! This is subtle. We jump to wake people up only if
193  * the semaphore was negative (== somebody was waiting on it).
194  * The default case (no contention) will result in NO
195  * jumps for both down() and up().
196  */
197 static inline void up(struct semaphore * sem)
198 {
199 #if WAITQUEUE_DEBUG
200         CHECK_MAGIC(sem->__magic);
201 #endif
202         __asm__ __volatile__(
203                 "# atomic up operation\n\t"
204                 LOCK "incl %0\n\t"     /* ++sem->count */
205                 "jle 2f\n"
206                 "1:\n"
207                 ".section .text.lock,\"ax\"\n"
208                 "2:\tcall __up_wakeup\n\t"
209                 "jmp 1b\n"
210                 ".previous"
211                 :"=m" (sem->count)
212                 :"D" (sem)
213                 :"memory");
214 }
215 #endif /* __KERNEL__ */
216 #endif