kernel/printk.c

   1 /*
   2  *  linux/kernel/printk.c
   3  *
   4  *  Copyright (C) 1991, 1992  Linus Torvalds
   5  *
   6  * Modified to make sys_syslog() more flexible: added commands to
   7  * return the last 4k of kernel messages, regardless of whether
   8  * they've been read or not.  Added option to suppress kernel printk's
   9  * to the console.  Added hook for sending the console messages
  10  * elsewhere, in preparation for a serial line console (someday).
  11  * Ted Ts'o, 2/11/93.
  12  * Modified for sysctl support, 1/8/97, Chris Horn.
  13  * Fixed SMP synchronization, 08/08/99, Manfred Spraul
  14  *     manfred@colorfullife.com
  15  * Rewrote bits to get rid of console_lock
  16  *      01Mar01 Andrew Morton
  17  */
  18
  19 #include <linux/kernel.h>
  20 #include <linux/mm.h>
  21 #include <linux/tty.h>
  22 #include <linux/tty_driver.h>
  23 #include <linux/console.h>
  24 #include <linux/init.h>
  25 #include <linux/jiffies.h>
  26 #include <linux/nmi.h>
  27 #include <linux/module.h>
  28 #include <linux/moduleparam.h>
  29 #include <linux/interrupt.h>                    /* For in_interrupt() */
  30 #include <linux/delay.h>
  31 #include <linux/smp.h>
  32 #include <linux/security.h>
  33 #include <linux/bootmem.h>
  34 #include <linux/memblock.h>
  35 #include <linux/syscalls.h>
  36 #include <linux/kexec.h>
  37 #include <linux/kdb.h>
  38 #include <linux/ratelimit.h>
  39 #include <linux/kmsg_dump.h>
  40 #include <linux/syslog.h>
  41 #include <linux/cpu.h>
  42 #include <linux/notifier.h>
  43 #include <linux/rculist.h>
  44 #include <linux/poll.h>
  45
  46 #include <asm/uaccess.h>
  47
  48 #define CREATE_TRACE_POINTS
  49 #include <trace/events/printk.h>
  50
  51 /*
  52  * Architectures can override it:
  53  */
  54 void asmlinkage __attribute__((weak)) early_printk(const char *fmt, ...)
  55 {
  56 }
  57
  58 /* printk's without a loglevel use this.. */
  59 #define DEFAULT_MESSAGE_LOGLEVEL CONFIG_DEFAULT_MESSAGE_LOGLEVEL
  60
  61 /* We show everything that is MORE important than this.. */
  62 #define MINIMUM_CONSOLE_LOGLEVEL 1 /* Minimum loglevel we let people use */
  63 #define DEFAULT_CONSOLE_LOGLEVEL 7 /* anything MORE serious than KERN_DEBUG */
  64
  65 DECLARE_WAIT_QUEUE_HEAD(log_wait);
  66
  67 int console_printk[4] = {
  68         DEFAULT_CONSOLE_LOGLEVEL,       /* console_loglevel */
  69         DEFAULT_MESSAGE_LOGLEVEL,       /* default_message_loglevel */
  70         MINIMUM_CONSOLE_LOGLEVEL,       /* minimum_console_loglevel */
  71         DEFAULT_CONSOLE_LOGLEVEL,       /* default_console_loglevel */
  72 };
  73
  74 /*
  75  * Low level drivers may need that to know if they can schedule in
  76  * their unblank() callback or not. So let's export it.
  77  */
  78 int oops_in_progress;
  79 EXPORT_SYMBOL(oops_in_progress);
  80
  81 /*
  82  * console_sem protects the console_drivers list, and also
  83  * provides serialisation for access to the entire console
  84  * driver system.
  85  */
  86 static DEFINE_SEMAPHORE(console_sem);
  87 struct console *console_drivers;
  88 EXPORT_SYMBOL_GPL(console_drivers);
  89
  90 /*
  91  * This is used for debugging the mess that is the VT code by
  92  * keeping track if we have the console semaphore held. It's
  93  * definitely not the perfect debug tool (we don't know if _WE_
  94  * hold it are racing, but it helps tracking those weird code
  95  * path in the console code where we end up in places I want
  96  * locked without the console sempahore held
  97  */
  98 static int console_locked, console_suspended;
  99
 100 /*
 101  * If exclusive_console is non-NULL then only this console is to be printed to.
 102  */
 103 static struct console *exclusive_console;
 104
 105 /*
 106  *      Array of consoles built from command line options (console=)
 107  */
 108 struct console_cmdline
 109 {
 110         char    name[8];                        /* Name of the driver       */
 111         int     index;                          /* Minor dev. to use        */
 112         char    *options;                       /* Options for the driver   */
 113 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
 114         char    *brl_options;                   /* Options for braille driver */
 115 #endif
 116 };
 117
 118 #define MAX_CMDLINECONSOLES 8
 119
 120 static struct console_cmdline console_cmdline[MAX_CMDLINECONSOLES];
 121 static int selected_console = -1;
 122 static int preferred_console = -1;
 123 int console_set_on_cmdline;
 124 EXPORT_SYMBOL(console_set_on_cmdline);
 125
 126 /* Flag: console code may call schedule() */
 127 static int console_may_schedule;
 128
 129 /*
 130  * The printk log buffer consists of a chain of concatenated variable
 131  * length records. Every record starts with a record header, containing
 132  * the overall length of the record.
 133  *
 134  * The heads to the first and last entry in the buffer, as well as the
 135  * sequence numbers of these both entries are maintained when messages
 136  * are stored..
 137  *
 138  * If the heads indicate available messages, the length in the header
 139  * tells the start next message. A length == 0 for the next message
 140  * indicates a wrap-around to the beginning of the buffer.
 141  *
 142  * Every record carries the monotonic timestamp in microseconds, as well as
 143  * the standard userspace syslog level and syslog facility. The usual
 144  * kernel messages use LOG_KERN; userspace-injected messages always carry
 145  * a matching syslog facility, by default LOG_USER. The origin of every
 146  * message can be reliably determined that way.
 147  *
 148  * The human readable log message directly follows the message header. The
 149  * length of the message text is stored in the header, the stored message
 150  * is not terminated.
 151  *
 152  * Optionally, a message can carry a dictionary of properties (key/value pairs),
 153  * to provide userspace with a machine-readable message context.
 154  *
 155  * Examples for well-defined, commonly used property names are:
 156  *   DEVICE=b12:8               device identifier
 157  *                                b12:8         block dev_t
 158  *                                c127:3        char dev_t
 159  *                                n8            netdev ifindex
 160  *                                +sound:card0  subsystem:devname
 161  *   SUBSYSTEM=pci              driver-core subsystem name
 162  *
 163  * Valid characters in property names are [a-zA-Z0-9.-_]. The plain text value
 164  * follows directly after a '=' character. Every property is terminated by
 165  * a '\0' character. The last property is not terminated.
 166  *
 167  * Example of a message structure:
 168  *   0000  ff 8f 00 00 00 00 00 00      monotonic time in nsec
 169  *   0008  34 00                        record is 52 bytes long
 170  *   000a        0b 00                  text is 11 bytes long
 171  *   000c              1f 00            dictionary is 23 bytes long
 172  *   000e                    03 00      LOG_KERN (facility) LOG_ERR (level)
 173  *   0010  69 74 27 73 20 61 20 6c      "it's a l"
 174  *         69 6e 65                     "ine"
 175  *   001b           44 45 56 49 43      "DEVIC"
 176  *         45 3d 62 38 3a 32 00 44      "E=b8:2\0D"
 177  *         52 49 56 45 52 3d 62 75      "RIVER=bu"
 178  *         67                           "g"
 179  *   0032     00 00 00                  padding to next message header
 180  *
 181  * The 'struct log' buffer header must never be directly exported to
 182  * userspace, it is a kernel-private implementation detail that might
 183  * need to be changed in the future, when the requirements change.
 184  *
 185  * /dev/kmsg exports the structured data in the following line format:
 186  *   "level,sequnum,timestamp;<message text>\n"
 187  *
 188  * The optional key/value pairs are attached as continuation lines starting
 189  * with a space character and terminated by a newline. All possible
 190  * non-prinatable characters are escaped in the "\xff" notation.
 191  *
 192  * Users of the export format should ignore possible additional values
 193  * separated by ',', and find the message after the ';' character.
 194  */
 195
 196 struct log {
 197         u64 ts_nsec;            /* timestamp in nanoseconds */
 198         u16 len;                /* length of entire record */
 199         u16 text_len;           /* length of text buffer */
 200         u16 dict_len;           /* length of dictionary buffer */
 201         u16 level;              /* syslog level + facility */
 202 };
 203
 204 /*
 205  * The logbuf_lock protects kmsg buffer, indices, counters. It is also
 206  * used in interesting ways to provide interlocking in console_unlock();
 207  */
 208 static DEFINE_RAW_SPINLOCK(logbuf_lock);
 209
 210 /* the next printk record to read by syslog(READ) or /proc/kmsg */
 211 static u64 syslog_seq;
 212 static u32 syslog_idx;
 213
 214 /* index and sequence number of the first record stored in the buffer */
 215 static u64 log_first_seq;
 216 static u32 log_first_idx;
 217
 218 /* index and sequence number of the next record to store in the buffer */
 219 static u64 log_next_seq;
 220 #ifdef CONFIG_PRINTK
 221 static u32 log_next_idx;
 222
 223 /* the next printk record to read after the last 'clear' command */
 224 static u64 clear_seq;
 225 static u32 clear_idx;
 226
 227 #define LOG_LINE_MAX 1024
 228
 229 /* record buffer */
 230 #if !defined(CONFIG_64BIT) || defined(CONFIG_HAVE_EFFICIENT_UNALIGNED_ACCESS)
 231 #define LOG_ALIGN 4
 232 #else
 233 #define LOG_ALIGN 8
 234 #endif
 235 #define __LOG_BUF_LEN (1 << CONFIG_LOG_BUF_SHIFT)
 236 static char __log_buf[__LOG_BUF_LEN] __aligned(LOG_ALIGN);
 237 static char *log_buf = __log_buf;
 238 static u32 log_buf_len = __LOG_BUF_LEN;
 239
 240 /* cpu currently holding logbuf_lock */
 241 static volatile unsigned int logbuf_cpu = UINT_MAX;
 242
 243 /* human readable text of the record */
 244 static char *log_text(const struct log *msg)
 245 {
 246         return (char *)msg + sizeof(struct log);
 247 }
 248
 249 /* optional key/value pair dictionary attached to the record */
 250 static char *log_dict(const struct log *msg)
 251 {
 252         return (char *)msg + sizeof(struct log) + msg->text_len;
 253 }
 254
 255 /* get record by index; idx must point to valid msg */
 256 static struct log *log_from_idx(u32 idx)
 257 {
 258         struct log *msg = (struct log *)(log_buf + idx);
 259
 260         /*
 261          * A length == 0 record is the end of buffer marker. Wrap around and
 262          * read the message at the start of the buffer.
 263          */
 264         if (!msg->len)
 265                 return (struct log *)log_buf;
 266         return msg;
 267 }
 268
 269 /* get next record; idx must point to valid msg */
 270 static u32 log_next(u32 idx)
 271 {
 272         struct log *msg = (struct log *)(log_buf + idx);
 273
 274         /* length == 0 indicates the end of the buffer; wrap */
 275         /*
 276          * A length == 0 record is the end of buffer marker. Wrap around and
 277          * read the message at the start of the buffer as *this* one, and
 278          * return the one after that.
 279          */
 280         if (!msg->len) {
 281                 msg = (struct log *)log_buf;
 282                 return msg->len;
 283         }
 284         return idx + msg->len;
 285 }
 286
 287 /* insert record into the buffer, discard old ones, update heads */
 288 static void log_store(int facility, int level,
 289                       const char *dict, u16 dict_len,
 290                       const char *text, u16 text_len)
 291 {
 292         struct log *msg;
 293         u32 size, pad_len;
 294
 295         /* number of '\0' padding bytes to next message */
 296         size = sizeof(struct log) + text_len + dict_len;
 297         pad_len = (-size) & (LOG_ALIGN - 1);
 298         size += pad_len;
 299
 300         while (log_first_seq < log_next_seq) {
 301                 u32 free;
 302
 303                 if (log_next_idx > log_first_idx)
 304                         free = max(log_buf_len - log_next_idx, log_first_idx);
 305                 else
 306                         free = log_first_idx - log_next_idx;
 307
 308                 if (free > size + sizeof(struct log))
 309                         break;
 310
 311                 /* drop old messages until we have enough contiuous space */
 312                 log_first_idx = log_next(log_first_idx);
 313                 log_first_seq++;
 314         }
 315
 316         if (log_next_idx + size + sizeof(struct log) >= log_buf_len) {
 317                 /*
 318                  * This message + an additional empty header does not fit
 319                  * at the end of the buffer. Add an empty header with len == 0
 320                  * to signify a wrap around.
 321                  */
 322                 memset(log_buf + log_next_idx, 0, sizeof(struct log));
 323                 log_next_idx = 0;
 324         }
 325
 326         /* fill message */
 327         msg = (struct log *)(log_buf + log_next_idx);
 328         memcpy(log_text(msg), text, text_len);
 329         msg->text_len = text_len;
 330         memcpy(log_dict(msg), dict, dict_len);
 331         msg->dict_len = dict_len;
 332         msg->level = (facility << 3) | (level & 7);
 333         msg->ts_nsec = local_clock();
 334         memset(log_dict(msg) + dict_len, 0, pad_len);
 335         msg->len = sizeof(struct log) + text_len + dict_len + pad_len;
 336
 337         /* insert message */
 338         log_next_idx += msg->len;
 339         log_next_seq++;
 340 }
 341
 342 /* /dev/kmsg - userspace message inject/listen interface */
 343 struct devkmsg_user {
 344         u64 seq;
 345         u32 idx;
 346         struct mutex lock;
 347         char buf[8192];
 348 };
 349
 350 static ssize_t devkmsg_writev(struct kiocb *iocb, const struct iovec *iv,
 351                               unsigned long count, loff_t pos)
 352 {
 353         char *buf, *line;
 354         int i;
 355         int level = default_message_loglevel;
 356         int facility = 1;       /* LOG_USER */
 357         size_t len = iov_length(iv, count);
 358         ssize_t ret = len;
 359
 360         if (len > LOG_LINE_MAX)
 361                 return -EINVAL;
 362         buf = kmalloc(len+1, GFP_KERNEL);
 363         if (buf == NULL)
 364                 return -ENOMEM;
 365
 366         line = buf;
 367         for (i = 0; i < count; i++) {
 368                 if (copy_from_user(line, iv[i].iov_base, iv[i].iov_len))
 369                         goto out;
 370                 line += iv[i].iov_len;
 371         }
 372
 373         /*
 374          * Extract and skip the syslog prefix <[0-9]*>. Coming from userspace
 375          * the decimal value represents 32bit, the lower 3 bit are the log
 376          * level, the rest are the log facility.
 377          *
 378          * If no prefix or no userspace facility is specified, we
 379          * enforce LOG_USER, to be able to reliably distinguish
 380          * kernel-generated messages from userspace-injected ones.
 381          */
 382         line = buf;
 383         if (line[0] == '<') {
 384                 char *endp = NULL;
 385
 386                 i = simple_strtoul(line+1, &endp, 10);
 387                 if (endp && endp[0] == '>') {
 388                         level = i & 7;
 389                         if (i >> 3)
 390                                 facility = i >> 3;
 391                         endp++;
 392                         len -= endp - line;
 393                         line = endp;
 394                 }
 395         }
 396         line[len] = '\0';
 397
 398         printk_emit(facility, level, NULL, 0, "%s", line);
 399 out:
 400         kfree(buf);
 401         return ret;
 402 }
 403
 404 static ssize_t devkmsg_read(struct file *file, char __user *buf,
 405                             size_t count, loff_t *ppos)
 406 {
 407         struct devkmsg_user *user = file->private_data;
 408         struct log *msg;
 409         u64 ts_usec;
 410         size_t i;
 411         size_t len;
 412         ssize_t ret;
 413
 414         if (!user)
 415                 return -EBADF;
 416
 417         mutex_lock(&user->lock);
 418         raw_spin_lock(&logbuf_lock);
 419         while (user->seq == log_next_seq) {
 420                 if (file->f_flags & O_NONBLOCK) {
 421                         ret = -EAGAIN;
 422                         raw_spin_unlock(&logbuf_lock);
 423                         goto out;
 424                 }
 425
 426                 raw_spin_unlock(&logbuf_lock);
 427                 ret = wait_event_interruptible(log_wait,
 428                                                user->seq != log_next_seq);
 429                 if (ret)
 430                         goto out;
 431                 raw_spin_lock(&logbuf_lock);
 432         }
 433
 434         if (user->seq < log_first_seq) {
 435                 /* our last seen message is gone, return error and reset */
 436                 user->idx = log_first_idx;
 437                 user->seq = log_first_seq;
 438                 ret = -EPIPE;
 439                 raw_spin_unlock(&logbuf_lock);
 440                 goto out;
 441         }
 442
 443         msg = log_from_idx(user->idx);
 444         ts_usec = msg->ts_nsec;
 445         do_div(ts_usec, 1000);
 446         len = sprintf(user->buf, "%u,%llu,%llu;",
 447                       msg->level, user->seq, ts_usec);
 448
 449         /* escape non-printable characters */
 450         for (i = 0; i < msg->text_len; i++) {
 451                 unsigned char c = log_text(msg)[i];
 452
 453                 if (c < ' ' || c >= 128)
 454                         len += sprintf(user->buf + len, "\\x%02x", c);
 455                 else
 456                         user->buf[len++] = c;
 457         }
 458         user->buf[len++] = '\n';
 459
 460         if (msg->dict_len) {
 461                 bool line = true;
 462
 463                 for (i = 0; i < msg->dict_len; i++) {
 464                         unsigned char c = log_dict(msg)[i];
 465
 466                         if (line) {
 467                                 user->buf[len++] = ' ';
 468                                 line = false;
 469                         }
 470
 471                         if (c == '\0') {
 472                                 user->buf[len++] = '\n';
 473                                 line = true;
 474                                 continue;
 475                         }
 476
 477                         if (c < ' ' || c >= 128) {
 478                                 len += sprintf(user->buf + len, "\\x%02x", c);
 479                                 continue;
 480                         }
 481
 482                         user->buf[len++] = c;
 483                 }
 484                 user->buf[len++] = '\n';
 485         }
 486
 487         user->idx = log_next(user->idx);
 488         user->seq++;
 489         raw_spin_unlock(&logbuf_lock);
 490
 491         if (len > count) {
 492                 ret = -EINVAL;
 493                 goto out;
 494         }
 495
 496         if (copy_to_user(buf, user->buf, len)) {
 497                 ret = -EFAULT;
 498                 goto out;
 499         }
 500         ret = len;
 501 out:
 502         mutex_unlock(&user->lock);
 503         return ret;
 504 }
 505
 506 static loff_t devkmsg_llseek(struct file *file, loff_t offset, int whence)
 507 {
 508         struct devkmsg_user *user = file->private_data;
 509         loff_t ret = 0;
 510
 511         if (!user)
 512                 return -EBADF;
 513         if (offset)
 514                 return -ESPIPE;
 515
 516         raw_spin_lock(&logbuf_lock);
 517         switch (whence) {
 518         case SEEK_SET:
 519                 /* the first record */
 520                 user->idx = log_first_idx;
 521                 user->seq = log_first_seq;
 522                 break;
 523         case SEEK_DATA:
 524                 /*
 525                  * The first record after the last SYSLOG_ACTION_CLEAR,
 526                  * like issued by 'dmesg -c'. Reading /dev/kmsg itself
 527                  * changes no global state, and does not clear anything.
 528                  */
 529                 user->idx = clear_idx;
 530                 user->seq = clear_seq;
 531                 break;
 532         case SEEK_END:
 533                 /* after the last record */
 534                 user->idx = log_next_idx;
 535                 user->seq = log_next_seq;
 536                 break;
 537         default:
 538                 ret = -EINVAL;
 539         }
 540         raw_spin_unlock(&logbuf_lock);
 541         return ret;
 542 }
 543
 544 static unsigned int devkmsg_poll(struct file *file, poll_table *wait)
 545 {
 546         struct devkmsg_user *user = file->private_data;
 547         int ret = 0;
 548
 549         if (!user)
 550                 return POLLERR|POLLNVAL;
 551
 552         poll_wait(file, &log_wait, wait);
 553
 554         raw_spin_lock(&logbuf_lock);
 555         if (user->seq < log_next_seq) {
 556                 /* return error when data has vanished underneath us */
 557                 if (user->seq < log_first_seq)
 558                         ret = POLLIN|POLLRDNORM|POLLERR|POLLPRI;
 559                 ret = POLLIN|POLLRDNORM;
 560         }
 561         raw_spin_unlock(&logbuf_lock);
 562
 563         return ret;
 564 }
 565
 566 static int devkmsg_open(struct inode *inode, struct file *file)
 567 {
 568         struct devkmsg_user *user;
 569         int err;
 570
 571         /* write-only does not need any file context */
 572         if ((file->f_flags & O_ACCMODE) == O_WRONLY)
 573                 return 0;
 574
 575         err = security_syslog(SYSLOG_ACTION_READ_ALL);
 576         if (err)
 577                 return err;
 578
 579         user = kmalloc(sizeof(struct devkmsg_user), GFP_KERNEL);
 580         if (!user)
 581                 return -ENOMEM;
 582
 583         mutex_init(&user->lock);
 584
 585         raw_spin_lock(&logbuf_lock);
 586         user->idx = log_first_idx;
 587         user->seq = log_first_seq;
 588         raw_spin_unlock(&logbuf_lock);
 589
 590         file->private_data = user;
 591         return 0;
 592 }
 593
 594 static int devkmsg_release(struct inode *inode, struct file *file)
 595 {
 596         struct devkmsg_user *user = file->private_data;
 597
 598         if (!user)
 599                 return 0;
 600
 601         mutex_destroy(&user->lock);
 602         kfree(user);
 603         return 0;
 604 }
 605
 606 const struct file_operations kmsg_fops = {
 607         .open = devkmsg_open,
 608         .read = devkmsg_read,
 609         .aio_write = devkmsg_writev,
 610         .llseek = devkmsg_llseek,
 611         .poll = devkmsg_poll,
 612         .release = devkmsg_release,
 613 };
 614
 615 #ifdef CONFIG_KEXEC
 616 /*
 617  * This appends the listed symbols to /proc/vmcoreinfo
 618  *
 619  * /proc/vmcoreinfo is used by various utiilties, like crash and makedumpfile to
 620  * obtain access to symbols that are otherwise very difficult to locate.  These
 621  * symbols are specifically used so that utilities can access and extract the
 622  * dmesg log from a vmcore file after a crash.
 623  */
 624 void log_buf_kexec_setup(void)
 625 {
 626         VMCOREINFO_SYMBOL(log_buf);
 627         VMCOREINFO_SYMBOL(log_buf_len);
 628         VMCOREINFO_SYMBOL(log_first_idx);
 629         VMCOREINFO_SYMBOL(log_next_idx);
 630 }
 631 #endif
 632
 633 /* requested log_buf_len from kernel cmdline */
 634 static unsigned long __initdata new_log_buf_len;
 635
 636 /* save requested log_buf_len since it's too early to process it */
 637 static int __init log_buf_len_setup(char *str)
 638 {
 639         unsigned size = memparse(str, &str);
 640
 641         if (size)
 642                 size = roundup_pow_of_two(size);
 643         if (size > log_buf_len)
 644                 new_log_buf_len = size;
 645
 646         return 0;
 647 }
 648 early_param("log_buf_len", log_buf_len_setup);
 649
 650 void __init setup_log_buf(int early)
 651 {
 652         unsigned long flags;
 653         char *new_log_buf;
 654         int free;
 655
 656         if (!new_log_buf_len)
 657                 return;
 658
 659         if (early) {
 660                 unsigned long mem;
 661
 662                 mem = memblock_alloc(new_log_buf_len, PAGE_SIZE);
 663                 if (!mem)
 664                         return;
 665                 new_log_buf = __va(mem);
 666         } else {
 667                 new_log_buf = alloc_bootmem_nopanic(new_log_buf_len);
 668         }
 669
 670         if (unlikely(!new_log_buf)) {
 671                 pr_err("log_buf_len: %ld bytes not available\n",
 672                         new_log_buf_len);
 673                 return;
 674         }
 675
 676         raw_spin_lock_irqsave(&logbuf_lock, flags);
 677         log_buf_len = new_log_buf_len;
 678         log_buf = new_log_buf;
 679         new_log_buf_len = 0;
 680         free = __LOG_BUF_LEN - log_next_idx;
 681         memcpy(log_buf, __log_buf, __LOG_BUF_LEN);
 682         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
 683
 684         pr_info("log_buf_len: %d\n", log_buf_len);
 685         pr_info("early log buf free: %d(%d%%)\n",
 686                 free, (free * 100) / __LOG_BUF_LEN);
 687 }
 688
 689 #ifdef CONFIG_BOOT_PRINTK_DELAY
 690
 691 static int boot_delay; /* msecs delay after each printk during bootup */
 692 static unsigned long long loops_per_msec;       /* based on boot_delay */
 693
 694 static int __init boot_delay_setup(char *str)
 695 {
 696         unsigned long lpj;
 697
 698         lpj = preset_lpj ? preset_lpj : 1000000;        /* some guess */
 699         loops_per_msec = (unsigned long long)lpj / 1000 * HZ;
 700
 701         get_option(&str, &boot_delay);
 702         if (boot_delay > 10 * 1000)
 703                 boot_delay = 0;
 704
 705         pr_debug("boot_delay: %u, preset_lpj: %ld, lpj: %lu, "
 706                 "HZ: %d, loops_per_msec: %llu\n",
 707                 boot_delay, preset_lpj, lpj, HZ, loops_per_msec);
 708         return 1;
 709 }
 710 __setup("boot_delay=", boot_delay_setup);
 711
 712 static void boot_delay_msec(void)
 713 {
 714         unsigned long long k;
 715         unsigned long timeout;
 716
 717         if (boot_delay == 0 || system_state != SYSTEM_BOOTING)
 718                 return;
 719
 720         k = (unsigned long long)loops_per_msec * boot_delay;
 721
 722         timeout = jiffies + msecs_to_jiffies(boot_delay);
 723         while (k) {
 724                 k--;
 725                 cpu_relax();
 726                 /*
 727                  * use (volatile) jiffies to prevent
 728                  * compiler reduction; loop termination via jiffies
 729                  * is secondary and may or may not happen.
 730                  */
 731                 if (time_after(jiffies, timeout))
 732                         break;
 733                 touch_nmi_watchdog();
 734         }
 735 }
 736 #else
 737 static inline void boot_delay_msec(void)
 738 {
 739 }
 740 #endif
 741
 742 #ifdef CONFIG_SECURITY_DMESG_RESTRICT
 743 int dmesg_restrict = 1;
 744 #else
 745 int dmesg_restrict;
 746 #endif
 747
 748 static int syslog_action_restricted(int type)
 749 {
 750         if (dmesg_restrict)
 751                 return 1;
 752         /* Unless restricted, we allow "read all" and "get buffer size" for everybody */
 753         return type != SYSLOG_ACTION_READ_ALL && type != SYSLOG_ACTION_SIZE_BUFFER;
 754 }
 755
 756 static int check_syslog_permissions(int type, bool from_file)
 757 {
 758         /*
 759          * If this is from /proc/kmsg and we've already opened it, then we've
 760          * already done the capabilities checks at open time.
 761          */
 762         if (from_file && type != SYSLOG_ACTION_OPEN)
 763                 return 0;
 764
 765         if (syslog_action_restricted(type)) {
 766                 if (capable(CAP_SYSLOG))
 767                         return 0;
 768                 /* For historical reasons, accept CAP_SYS_ADMIN too, with a warning */
 769                 if (capable(CAP_SYS_ADMIN)) {
 770                         printk_once(KERN_WARNING "%s (%d): "
 771                                  "Attempt to access syslog with CAP_SYS_ADMIN "
 772                                  "but no CAP_SYSLOG (deprecated).\n",
 773                                  current->comm, task_pid_nr(current));
 774                         return 0;
 775                 }
 776                 return -EPERM;
 777         }
 778         return 0;
 779 }
 780
 781 #if defined(CONFIG_PRINTK_TIME)
 782 static bool printk_time = 1;
 783 #else
 784 static bool printk_time;
 785 #endif
 786 module_param_named(time, printk_time, bool, S_IRUGO | S_IWUSR);
 787
 788 static size_t print_prefix(const struct log *msg, bool syslog, char *buf)
 789 {
 790         size_t len = 0;
 791
 792         if (syslog) {
 793                 if (buf) {
 794                         len += sprintf(buf, "<%u>", msg->level);
 795                 } else {
 796                         len += 3;
 797                         if (msg->level > 9)
 798                                 len++;
 799                         if (msg->level > 99)
 800                                 len++;
 801                 }
 802         }
 803
 804         if (printk_time) {
 805                 if (buf) {
 806                         unsigned long long ts = msg->ts_nsec;
 807                         unsigned long rem_nsec = do_div(ts, 1000000000);
 808
 809                         len += sprintf(buf + len, "[%5lu.%06lu] ",
 810                                          (unsigned long) ts, rem_nsec / 1000);
 811                 } else {
 812                         len += 15;
 813                 }
 814         }
 815
 816         return len;
 817 }
 818
 819 static size_t msg_print_text(const struct log *msg, bool syslog,
 820                              char *buf, size_t size)
 821 {
 822         const char *text = log_text(msg);
 823         size_t text_size = msg->text_len;
 824         size_t len = 0;
 825
 826         do {
 827                 const char *next = memchr(text, '\n', text_size);
 828                 size_t text_len;
 829
 830                 if (next) {
 831                         text_len = next - text;
 832                         next++;
 833                         text_size -= next - text;
 834                 } else {
 835                         text_len = text_size;
 836                 }
 837
 838                 if (buf) {
 839                         if (print_prefix(msg, syslog, NULL) +
 840                             text_len + 1>= size - len)
 841                                 break;
 842
 843                         len += print_prefix(msg, syslog, buf + len);
 844                         memcpy(buf + len, text, text_len);
 845                         len += text_len;
 846                         buf[len++] = '\n';
 847                 } else {
 848                         /* SYSLOG_ACTION_* buffer size only calculation */
 849                         len += print_prefix(msg, syslog, NULL);
 850                         len += text_len + 1;
 851                 }
 852
 853                 text = next;
 854         } while (text);
 855
 856         return len;
 857 }
 858
 859 static int syslog_print(char __user *buf, int size)
 860 {
 861         char *text;
 862         struct log *msg;
 863         int len;
 864
 865         text = kmalloc(LOG_LINE_MAX, GFP_KERNEL);
 866         if (!text)
 867                 return -ENOMEM;
 868
 869         raw_spin_lock_irq(&logbuf_lock);
 870         if (syslog_seq < log_first_seq) {
 871                 /* messages are gone, move to first one */
 872                 syslog_seq = log_first_seq;
 873                 syslog_idx = log_first_idx;
 874         }
 875         msg = log_from_idx(syslog_idx);
 876         len = msg_print_text(msg, true, text, LOG_LINE_MAX);
 877         syslog_idx = log_next(syslog_idx);
 878         syslog_seq++;
 879         raw_spin_unlock_irq(&logbuf_lock);
 880
 881         if (len > 0 && copy_to_user(buf, text, len))
 882                 len = -EFAULT;
 883
 884         kfree(text);
 885         return len;
 886 }
 887
 888 static int syslog_print_all(char __user *buf, int size, bool clear)
 889 {
 890         char *text;
 891         int len = 0;
 892
 893         text = kmalloc(LOG_LINE_MAX, GFP_KERNEL);
 894         if (!text)
 895                 return -ENOMEM;
 896
 897         raw_spin_lock_irq(&logbuf_lock);
 898         if (buf) {
 899                 u64 next_seq;
 900                 u64 seq;
 901                 u32 idx;
 902
 903                 if (clear_seq < log_first_seq) {
 904                         /* messages are gone, move to first available one */
 905                         clear_seq = log_first_seq;
 906                         clear_idx = log_first_idx;
 907                 }
 908
 909                 /*
 910                  * Find first record that fits, including all following records,
 911                  * into the user-provided buffer for this dump.
 912                 */
 913                 seq = clear_seq;
 914                 idx = clear_idx;
 915                 while (seq < log_next_seq) {
 916                         struct log *msg = log_from_idx(idx);
 917
 918                         len += msg_print_text(msg, true, NULL, 0);
 919                         idx = log_next(idx);
 920                         seq++;
 921                 }
 922                 seq = clear_seq;
 923                 idx = clear_idx;
 924                 while (len > size && seq < log_next_seq) {
 925                         struct log *msg = log_from_idx(idx);
 926
 927                         len -= msg_print_text(msg, true, NULL, 0);
 928                         idx = log_next(idx);
 929                         seq++;
 930                 }
 931
 932                 /* last message in this dump */
 933                 next_seq = log_next_seq;
 934
 935                 len = 0;
 936                 while (len >= 0 && seq < next_seq) {
 937                         struct log *msg = log_from_idx(idx);
 938                         int textlen;
 939
 940                         textlen = msg_print_text(msg, true, text, LOG_LINE_MAX);
 941                         if (textlen < 0) {
 942                                 len = textlen;
 943                                 break;
 944                         }
 945                         idx = log_next(idx);
 946                         seq++;
 947
 948                         raw_spin_unlock_irq(&logbuf_lock);
 949                         if (copy_to_user(buf + len, text, textlen))
 950                                 len = -EFAULT;
 951                         else
 952                                 len += textlen;
 953                         raw_spin_lock_irq(&logbuf_lock);
 954
 955                         if (seq < log_first_seq) {
 956                                 /* messages are gone, move to next one */
 957                                 seq = log_first_seq;
 958                                 idx = log_first_idx;
 959                         }
 960                 }
 961         }
 962
 963         if (clear) {
 964                 clear_seq = log_next_seq;
 965                 clear_idx = log_next_idx;
 966         }
 967         raw_spin_unlock_irq(&logbuf_lock);
 968
 969         kfree(text);
 970         return len;
 971 }
 972
 973 int do_syslog(int type, char __user *buf, int len, bool from_file)
 974 {
 975         bool clear = false;
 976         static int saved_console_loglevel = -1;
 977         int error;
 978
 979         error = check_syslog_permissions(type, from_file);
 980         if (error)
 981                 goto out;
 982
 983         error = security_syslog(type);
 984         if (error)
 985                 return error;
 986
 987         switch (type) {
 988         case SYSLOG_ACTION_CLOSE:       /* Close log */
 989                 break;
 990         case SYSLOG_ACTION_OPEN:        /* Open log */
 991                 break;
 992         case SYSLOG_ACTION_READ:        /* Read from log */
 993                 error = -EINVAL;
 994                 if (!buf || len < 0)
 995                         goto out;
 996                 error = 0;
 997                 if (!len)
 998                         goto out;
 999                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1000                         error = -EFAULT;
1001                         goto out;
1002                 }
1003                 error = wait_event_interruptible(log_wait,
1004                                                  syslog_seq != log_next_seq);
1005                 if (error)
1006                         goto out;
1007                 error = syslog_print(buf, len);
1008                 break;
1009         /* Read/clear last kernel messages */
1010         case SYSLOG_ACTION_READ_CLEAR:
1011                 clear = true;
1012                 /* FALL THRU */
1013         /* Read last kernel messages */
1014         case SYSLOG_ACTION_READ_ALL:
1015                 error = -EINVAL;
1016                 if (!buf || len < 0)
1017                         goto out;
1018                 error = 0;
1019                 if (!len)
1020                         goto out;
1021                 if (!access_ok(VERIFY_WRITE, buf, len)) {
1022                         error = -EFAULT;
1023                         goto out;
1024                 }
1025                 error = syslog_print_all(buf, len, clear);
1026                 break;
1027         /* Clear ring buffer */
1028         case SYSLOG_ACTION_CLEAR:
1029                 syslog_print_all(NULL, 0, true);
1030         /* Disable logging to console */
1031         case SYSLOG_ACTION_CONSOLE_OFF:
1032                 if (saved_console_loglevel == -1)
1033                         saved_console_loglevel = console_loglevel;
1034                 console_loglevel = minimum_console_loglevel;
1035                 break;
1036         /* Enable logging to console */
1037         case SYSLOG_ACTION_CONSOLE_ON:
1038                 if (saved_console_loglevel != -1) {
1039                         console_loglevel = saved_console_loglevel;
1040                         saved_console_loglevel = -1;
1041                 }
1042                 break;
1043         /* Set level of messages printed to console */
1044         case SYSLOG_ACTION_CONSOLE_LEVEL:
1045                 error = -EINVAL;
1046                 if (len < 1 || len > 8)
1047                         goto out;
1048                 if (len < minimum_console_loglevel)
1049                         len = minimum_console_loglevel;
1050                 console_loglevel = len;
1051                 /* Implicitly re-enable logging to console */
1052                 saved_console_loglevel = -1;
1053                 error = 0;
1054                 break;
1055         /* Number of chars in the log buffer */
1056         case SYSLOG_ACTION_SIZE_UNREAD:
1057                 raw_spin_lock_irq(&logbuf_lock);
1058                 if (syslog_seq < log_first_seq) {
1059                         /* messages are gone, move to first one */
1060                         syslog_seq = log_first_seq;
1061                         syslog_idx = log_first_idx;
1062                 }
1063                 if (from_file) {
1064                         /*
1065                          * Short-cut for poll(/"proc/kmsg") which simply checks
1066                          * for pending data, not the size; return the count of
1067                          * records, not the length.
1068                          */
1069                         error = log_next_idx - syslog_idx;
1070                 } else {
1071                         u64 seq;
1072                         u32 idx;
1073
1074                         error = 0;
1075                         seq = syslog_seq;
1076                         idx = syslog_idx;
1077                         while (seq < log_next_seq) {
1078                                 struct log *msg = log_from_idx(idx);
1079
1080                                 error += msg_print_text(msg, true, NULL, 0);
1081                                 idx = log_next(idx);
1082                                 seq++;
1083                         }
1084                 }
1085                 raw_spin_unlock_irq(&logbuf_lock);
1086                 break;
1087         /* Size of the log buffer */
1088         case SYSLOG_ACTION_SIZE_BUFFER:
1089                 error = log_buf_len;
1090                 break;
1091         default:
1092                 error = -EINVAL;
1093                 break;
1094         }
1095 out:
1096         return error;
1097 }
1098
1099 SYSCALL_DEFINE3(syslog, int, type, char __user *, buf, int, len)
1100 {
1101         return do_syslog(type, buf, len, SYSLOG_FROM_CALL);
1102 }
1103
1104 #ifdef  CONFIG_KGDB_KDB
1105 /* kdb dmesg command needs access to the syslog buffer.  do_syslog()
1106  * uses locks so it cannot be used during debugging.  Just tell kdb
1107  * where the start and end of the physical and logical logs are.  This
1108  * is equivalent to do_syslog(3).
1109  */
1110 void kdb_syslog_data(char *syslog_data[4])
1111 {
1112         syslog_data[0] = log_buf;
1113         syslog_data[1] = log_buf + log_buf_len;
1114         syslog_data[2] = log_buf + log_first_idx;
1115         syslog_data[3] = log_buf + log_next_idx;
1116 }
1117 #endif  /* CONFIG_KGDB_KDB */
1118
1119 static bool __read_mostly ignore_loglevel;
1120
1121 static int __init ignore_loglevel_setup(char *str)
1122 {
1123         ignore_loglevel = 1;
1124         printk(KERN_INFO "debug: ignoring loglevel setting.\n");
1125
1126         return 0;
1127 }
1128
1129 early_param("ignore_loglevel", ignore_loglevel_setup);
1130 module_param(ignore_loglevel, bool, S_IRUGO | S_IWUSR);
1131 MODULE_PARM_DESC(ignore_loglevel, "ignore loglevel setting, to"
1132         "print all kernel messages to the console.");
1133
1134 /*
1135  * Call the console drivers, asking them to write out
1136  * log_buf[start] to log_buf[end - 1].
1137  * The console_lock must be held.
1138  */
1139 static void call_console_drivers(int level, const char *text, size_t len)
1140 {
1141         struct console *con;
1142
1143         trace_console(text, 0, len, len);
1144
1145         if (level >= console_loglevel && !ignore_loglevel)
1146                 return;
1147         if (!console_drivers)
1148                 return;
1149
1150         for_each_console(con) {
1151                 if (exclusive_console && con != exclusive_console)
1152                         continue;
1153                 if (!(con->flags & CON_ENABLED))
1154                         continue;
1155                 if (!con->write)
1156                         continue;
1157                 if (!cpu_online(smp_processor_id()) &&
1158                     !(con->flags & CON_ANYTIME))
1159                         continue;
1160                 con->write(con, text, len);
1161         }
1162 }
1163
1164 /*
1165  * Zap console related locks when oopsing. Only zap at most once
1166  * every 10 seconds, to leave time for slow consoles to print a
1167  * full oops.
1168  */
1169 static void zap_locks(void)
1170 {
1171         static unsigned long oops_timestamp;
1172
1173         if (time_after_eq(jiffies, oops_timestamp) &&
1174                         !time_after(jiffies, oops_timestamp + 30 * HZ))
1175                 return;
1176
1177         oops_timestamp = jiffies;
1178
1179         debug_locks_off();
1180         /* If a crash is occurring, make sure we can't deadlock */
1181         raw_spin_lock_init(&logbuf_lock);
1182         /* And make sure that we print immediately */
1183         sema_init(&console_sem, 1);
1184 }
1185
1186 /* Check if we have any console registered that can be called early in boot. */
1187 static int have_callable_console(void)
1188 {
1189         struct console *con;
1190
1191         for_each_console(con)
1192                 if (con->flags & CON_ANYTIME)
1193                         return 1;
1194
1195         return 0;
1196 }
1197
1198 /*
1199  * Can we actually use the console at this time on this cpu?
1200  *
1201  * Console drivers may assume that per-cpu resources have
1202  * been allocated. So unless they're explicitly marked as
1203  * being able to cope (CON_ANYTIME) don't call them until
1204  * this CPU is officially up.
1205  */
1206 static inline int can_use_console(unsigned int cpu)
1207 {
1208         return cpu_online(cpu) || have_callable_console();
1209 }
1210
1211 /*
1212  * Try to get console ownership to actually show the kernel
1213  * messages from a 'printk'. Return true (and with the
1214  * console_lock held, and 'console_locked' set) if it
1215  * is successful, false otherwise.
1216  *
1217  * This gets called with the 'logbuf_lock' spinlock held and
1218  * interrupts disabled. It should return with 'lockbuf_lock'
1219  * released but interrupts still disabled.
1220  */
1221 static int console_trylock_for_printk(unsigned int cpu)
1222         __releases(&logbuf_lock)
1223 {
1224         int retval = 0, wake = 0;
1225
1226         if (console_trylock()) {
1227                 retval = 1;
1228
1229                 /*
1230                  * If we can't use the console, we need to release
1231                  * the console semaphore by hand to avoid flushing
1232                  * the buffer. We need to hold the console semaphore
1233                  * in order to do this test safely.
1234                  */
1235                 if (!can_use_console(cpu)) {
1236                         console_locked = 0;
1237                         wake = 1;
1238                         retval = 0;
1239                 }
1240         }
1241         logbuf_cpu = UINT_MAX;
1242         if (wake)
1243                 up(&console_sem);
1244         raw_spin_unlock(&logbuf_lock);
1245         return retval;
1246 }
1247
1248 int printk_delay_msec __read_mostly;
1249
1250 static inline void printk_delay(void)
1251 {
1252         if (unlikely(printk_delay_msec)) {
1253                 int m = printk_delay_msec;
1254
1255                 while (m--) {
1256                         mdelay(1);
1257                         touch_nmi_watchdog();
1258                 }
1259         }
1260 }
1261
1262 asmlinkage int vprintk_emit(int facility, int level,
1263                             const char *dict, size_t dictlen,
1264                             const char *fmt, va_list args)
1265 {
1266         static int recursion_bug;
1267         static char buf[LOG_LINE_MAX];
1268         static size_t buflen;
1269         static int buflevel;
1270         static char textbuf[LOG_LINE_MAX];
1271         static struct task_struct *cont;
1272         char *text = textbuf;
1273         size_t textlen;
1274         unsigned long flags;
1275         int this_cpu;
1276         bool newline = false;
1277         bool prefix = false;
1278         int printed_len = 0;
1279
1280         boot_delay_msec();
1281         printk_delay();
1282
1283         /* This stops the holder of console_sem just where we want him */
1284         local_irq_save(flags);
1285         this_cpu = smp_processor_id();
1286
1287         /*
1288          * Ouch, printk recursed into itself!
1289          */
1290         if (unlikely(logbuf_cpu == this_cpu)) {
1291                 /*
1292                  * If a crash is occurring during printk() on this CPU,
1293                  * then try to get the crash message out but make sure
1294                  * we can't deadlock. Otherwise just return to avoid the
1295                  * recursion and return - but flag the recursion so that
1296                  * it can be printed at the next appropriate moment:
1297                  */
1298                 if (!oops_in_progress && !lockdep_recursing(current)) {
1299                         recursion_bug = 1;
1300                         goto out_restore_irqs;
1301                 }
1302                 zap_locks();
1303         }
1304
1305         lockdep_off();
1306         raw_spin_lock(&logbuf_lock);
1307         logbuf_cpu = this_cpu;
1308
1309         if (recursion_bug) {
1310                 static const char recursion_msg[] =
1311                         "BUG: recent printk recursion!";
1312
1313                 recursion_bug = 0;
1314                 printed_len += strlen(recursion_msg);
1315                 /* emit KERN_CRIT message */
1316                 log_store(0, 2, NULL, 0, recursion_msg, printed_len);
1317         }
1318
1319         /*
1320          * The printf needs to come first; we need the syslog
1321          * prefix which might be passed-in as a parameter.
1322          */
1323         textlen = vscnprintf(text, sizeof(textbuf), fmt, args);
1324
1325         /* mark and strip a trailing newline */
1326         if (textlen && text[textlen-1] == '\n') {
1327                 textlen--;
1328                 newline = true;
1329         }
1330
1331         /* strip syslog prefix and extract log level or flags */
1332         if (text[0] == '<' && text[1] && text[2] == '>') {
1333                 switch (text[1]) {
1334                 case '0' ... '7':
1335                         if (level == -1)
1336                                 level = text[1] - '0';
1337                 case 'd':       /* KERN_DEFAULT */
1338                         prefix = true;
1339                 case 'c':       /* KERN_CONT */
1340                         text += 3;
1341                         textlen -= 3;
1342                 }
1343         }
1344
1345         if (buflen && (prefix || dict || cont != current)) {
1346                 /* flush existing buffer */
1347                 log_store(facility, buflevel, NULL, 0, buf, buflen);
1348                 printed_len += buflen;
1349                 buflen = 0;
1350         }
1351
1352         if (buflen == 0) {
1353                 /* remember level for first message in the buffer */
1354                 if (level == -1)
1355                         buflevel = default_message_loglevel;
1356                 else
1357                         buflevel = level;
1358         }
1359
1360         if (buflen || !newline) {
1361                 /* append to existing buffer, or buffer until next message */
1362                 if (buflen + textlen > sizeof(buf))
1363                         textlen = sizeof(buf) - buflen;
1364                 memcpy(buf + buflen, text, textlen);
1365                 buflen += textlen;
1366         }
1367
1368         if (newline) {
1369                 /* end of line; flush buffer */
1370                 if (buflen) {
1371                         log_store(facility, buflevel,
1372                                   dict, dictlen, buf, buflen);
1373                         printed_len += buflen;
1374                         buflen = 0;
1375                 } else {
1376                         log_store(facility, buflevel,
1377                                   dict, dictlen, text, textlen);
1378                         printed_len += textlen;
1379                 }
1380                 cont = NULL;
1381         } else {
1382                 /* remember thread which filled the buffer */
1383                 cont = current;
1384         }
1385
1386         /*
1387          * Try to acquire and then immediately release the console semaphore.
1388          * The release will print out buffers and wake up /dev/kmsg and syslog()
1389          * users.
1390          *
1391          * The console_trylock_for_printk() function will release 'logbuf_lock'
1392          * regardless of whether it actually gets the console semaphore or not.
1393          */
1394         if (console_trylock_for_printk(this_cpu))
1395                 console_unlock();
1396
1397         lockdep_on();
1398 out_restore_irqs:
1399         local_irq_restore(flags);
1400
1401         return printed_len;
1402 }
1403 EXPORT_SYMBOL(vprintk_emit);
1404
1405 asmlinkage int vprintk(const char *fmt, va_list args)
1406 {
1407         return vprintk_emit(0, -1, NULL, 0, fmt, args);
1408 }
1409 EXPORT_SYMBOL(vprintk);
1410
1411 asmlinkage int printk_emit(int facility, int level,
1412                            const char *dict, size_t dictlen,
1413                            const char *fmt, ...)
1414 {
1415         va_list args;
1416         int r;
1417
1418         va_start(args, fmt);
1419         r = vprintk_emit(facility, level, dict, dictlen, fmt, args);
1420         va_end(args);
1421
1422         return r;
1423 }
1424 EXPORT_SYMBOL(printk_emit);
1425
1426 /**
1427  * printk - print a kernel message
1428  * @fmt: format string
1429  *
1430  * This is printk(). It can be called from any context. We want it to work.
1431  *
1432  * We try to grab the console_lock. If we succeed, it's easy - we log the
1433  * output and call the console drivers.  If we fail to get the semaphore, we
1434  * place the output into the log buffer and return. The current holder of
1435  * the console_sem will notice the new output in console_unlock(); and will
1436  * send it to the consoles before releasing the lock.
1437  *
1438  * One effect of this deferred printing is that code which calls printk() and
1439  * then changes console_loglevel may break. This is because console_loglevel
1440  * is inspected when the actual printing occurs.
1441  *
1442  * See also:
1443  * printf(3)
1444  *
1445  * See the vsnprintf() documentation for format string extensions over C99.
1446  */
1447 asmlinkage int printk(const char *fmt, ...)
1448 {
1449         va_list args;
1450         int r;
1451
1452 #ifdef CONFIG_KGDB_KDB
1453         if (unlikely(kdb_trap_printk)) {
1454                 va_start(args, fmt);
1455                 r = vkdb_printf(fmt, args);
1456                 va_end(args);
1457                 return r;
1458         }
1459 #endif
1460         va_start(args, fmt);
1461         r = vprintk_emit(0, -1, NULL, 0, fmt, args);
1462         va_end(args);
1463
1464         return r;
1465 }
1466 EXPORT_SYMBOL(printk);
1467
1468 #else
1469
1470 #define LOG_LINE_MAX 0
1471 static struct log *log_from_idx(u32 idx) { return NULL; }
1472 static u32 log_next(u32 idx) { return 0; }
1473 static char *log_text(const struct log *msg) { return NULL; }
1474 static void call_console_drivers(int level, const char *text, size_t len) {}
1475 static size_t msg_print_text(const struct log *msg, bool syslog,
1476                              char *buf, size_t size) { return 0; }
1477
1478 #endif /* CONFIG_PRINTK */
1479
1480 static int __add_preferred_console(char *name, int idx, char *options,
1481                                    char *brl_options)
1482 {
1483         struct console_cmdline *c;
1484         int i;
1485
1486         /*
1487          *      See if this tty is not yet registered, and
1488          *      if we have a slot free.
1489          */
1490         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1491                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1492                           console_cmdline[i].index == idx) {
1493                                 if (!brl_options)
1494                                         selected_console = i;
1495                                 return 0;
1496                 }
1497         if (i == MAX_CMDLINECONSOLES)
1498                 return -E2BIG;
1499         if (!brl_options)
1500                 selected_console = i;
1501         c = &console_cmdline[i];
1502         strlcpy(c->name, name, sizeof(c->name));
1503         c->options = options;
1504 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1505         c->brl_options = brl_options;
1506 #endif
1507         c->index = idx;
1508         return 0;
1509 }
1510 /*
1511  * Set up a list of consoles.  Called from init/main.c
1512  */
1513 static int __init console_setup(char *str)
1514 {
1515         char buf[sizeof(console_cmdline[0].name) + 4]; /* 4 for index */
1516         char *s, *options, *brl_options = NULL;
1517         int idx;
1518
1519 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
1520         if (!memcmp(str, "brl,", 4)) {
1521                 brl_options = "";
1522                 str += 4;
1523         } else if (!memcmp(str, "brl=", 4)) {
1524                 brl_options = str + 4;
1525                 str = strchr(brl_options, ',');
1526                 if (!str) {
1527                         printk(KERN_ERR "need port name after brl=\n");
1528                         return 1;
1529                 }
1530                 *(str++) = 0;
1531         }
1532 #endif
1533
1534         /*
1535          * Decode str into name, index, options.
1536          */
1537         if (str[0] >= '0' && str[0] <= '9') {
1538                 strcpy(buf, "ttyS");
1539                 strncpy(buf + 4, str, sizeof(buf) - 5);
1540         } else {
1541                 strncpy(buf, str, sizeof(buf) - 1);
1542         }
1543         buf[sizeof(buf) - 1] = 0;
1544         if ((options = strchr(str, ',')) != NULL)
1545                 *(options++) = 0;
1546 #ifdef __sparc__
1547         if (!strcmp(str, "ttya"))
1548                 strcpy(buf, "ttyS0");
1549         if (!strcmp(str, "ttyb"))
1550                 strcpy(buf, "ttyS1");
1551 #endif
1552         for (s = buf; *s; s++)
1553                 if ((*s >= '0' && *s <= '9') || *s == ',')
1554                         break;
1555         idx = simple_strtoul(s, NULL, 10);
1556         *s = 0;
1557
1558         __add_preferred_console(buf, idx, options, brl_options);
1559         console_set_on_cmdline = 1;
1560         return 1;
1561 }
1562 __setup("console=", console_setup);
1563
1564 /**
1565  * add_preferred_console - add a device to the list of preferred consoles.
1566  * @name: device name
1567  * @idx: device index
1568  * @options: options for this console
1569  *
1570  * The last preferred console added will be used for kernel messages
1571  * and stdin/out/err for init.  Normally this is used by console_setup
1572  * above to handle user-supplied console arguments; however it can also
1573  * be used by arch-specific code either to override the user or more
1574  * commonly to provide a default console (ie from PROM variables) when
1575  * the user has not supplied one.
1576  */
1577 int add_preferred_console(char *name, int idx, char *options)
1578 {
1579         return __add_preferred_console(name, idx, options, NULL);
1580 }
1581
1582 int update_console_cmdline(char *name, int idx, char *name_new, int idx_new, char *options)
1583 {
1584         struct console_cmdline *c;
1585         int i;
1586
1587         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0]; i++)
1588                 if (strcmp(console_cmdline[i].name, name) == 0 &&
1589                           console_cmdline[i].index == idx) {
1590                                 c = &console_cmdline[i];
1591                                 strlcpy(c->name, name_new, sizeof(c->name));
1592                                 c->name[sizeof(c->name) - 1] = 0;
1593                                 c->options = options;
1594                                 c->index = idx_new;
1595                                 return i;
1596                 }
1597         /* not found */
1598         return -1;
1599 }
1600
1601 bool console_suspend_enabled = 1;
1602 EXPORT_SYMBOL(console_suspend_enabled);
1603
1604 static int __init console_suspend_disable(char *str)
1605 {
1606         console_suspend_enabled = 0;
1607         return 1;
1608 }
1609 __setup("no_console_suspend", console_suspend_disable);
1610 module_param_named(console_suspend, console_suspend_enabled,
1611                 bool, S_IRUGO | S_IWUSR);
1612 MODULE_PARM_DESC(console_suspend, "suspend console during suspend"
1613         " and hibernate operations");
1614
1615 /**
1616  * suspend_console - suspend the console subsystem
1617  *
1618  * This disables printk() while we go into suspend states
1619  */
1620 void suspend_console(void)
1621 {
1622         if (!console_suspend_enabled)
1623                 return;
1624         printk("Suspending console(s) (use no_console_suspend to debug)\n");
1625         console_lock();
1626         console_suspended = 1;
1627         up(&console_sem);
1628 }
1629
1630 void resume_console(void)
1631 {
1632         if (!console_suspend_enabled)
1633                 return;
1634         down(&console_sem);
1635         console_suspended = 0;
1636         console_unlock();
1637 }
1638
1639 /**
1640  * console_cpu_notify - print deferred console messages after CPU hotplug
1641  * @self: notifier struct
1642  * @action: CPU hotplug event
1643  * @hcpu: unused
1644  *
1645  * If printk() is called from a CPU that is not online yet, the messages
1646  * will be spooled but will not show up on the console.  This function is
1647  * called when a new CPU comes online (or fails to come up), and ensures
1648  * that any such output gets printed.
1649  */
1650 static int __cpuinit console_cpu_notify(struct notifier_block *self,
1651         unsigned long action, void *hcpu)
1652 {
1653         switch (action) {
1654         case CPU_ONLINE:
1655         case CPU_DEAD:
1656         case CPU_DYING:
1657         case CPU_DOWN_FAILED:
1658         case CPU_UP_CANCELED:
1659                 console_lock();
1660                 console_unlock();
1661         }
1662         return NOTIFY_OK;
1663 }
1664
1665 /**
1666  * console_lock - lock the console system for exclusive use.
1667  *
1668  * Acquires a lock which guarantees that the caller has
1669  * exclusive access to the console system and the console_drivers list.
1670  *
1671  * Can sleep, returns nothing.
1672  */
1673 void console_lock(void)
1674 {
1675         BUG_ON(in_interrupt());
1676         down(&console_sem);
1677         if (console_suspended)
1678                 return;
1679         console_locked = 1;
1680         console_may_schedule = 1;
1681 }
1682 EXPORT_SYMBOL(console_lock);
1683
1684 /**
1685  * console_trylock - try to lock the console system for exclusive use.
1686  *
1687  * Tried to acquire a lock which guarantees that the caller has
1688  * exclusive access to the console system and the console_drivers list.
1689  *
1690  * returns 1 on success, and 0 on failure to acquire the lock.
1691  */
1692 int console_trylock(void)
1693 {
1694         if (down_trylock(&console_sem))
1695                 return 0;
1696         if (console_suspended) {
1697                 up(&console_sem);
1698                 return 0;
1699         }
1700         console_locked = 1;
1701         console_may_schedule = 0;
1702         return 1;
1703 }
1704 EXPORT_SYMBOL(console_trylock);
1705
1706 int is_console_locked(void)
1707 {
1708         return console_locked;
1709 }
1710
1711 /*
1712  * Delayed printk version, for scheduler-internal messages:
1713  */
1714 #define PRINTK_BUF_SIZE         512
1715
1716 #define PRINTK_PENDING_WAKEUP   0x01
1717 #define PRINTK_PENDING_SCHED    0x02
1718
1719 static DEFINE_PER_CPU(int, printk_pending);
1720 static DEFINE_PER_CPU(char [PRINTK_BUF_SIZE], printk_sched_buf);
1721
1722 void printk_tick(void)
1723 {
1724         if (__this_cpu_read(printk_pending)) {
1725                 int pending = __this_cpu_xchg(printk_pending, 0);
1726                 if (pending & PRINTK_PENDING_SCHED) {
1727                         char *buf = __get_cpu_var(printk_sched_buf);
1728                         printk(KERN_WARNING "[sched_delayed] %s", buf);
1729                 }
1730                 if (pending & PRINTK_PENDING_WAKEUP)
1731                         wake_up_interruptible(&log_wait);
1732         }
1733 }
1734
1735 int printk_needs_cpu(int cpu)
1736 {
1737         if (cpu_is_offline(cpu))
1738                 printk_tick();
1739         return __this_cpu_read(printk_pending);
1740 }
1741
1742 void wake_up_klogd(void)
1743 {
1744         if (waitqueue_active(&log_wait))
1745                 this_cpu_or(printk_pending, PRINTK_PENDING_WAKEUP);
1746 }
1747
1748 /* the next printk record to write to the console */
1749 static u64 console_seq;
1750 static u32 console_idx;
1751
1752 /**
1753  * console_unlock - unlock the console system
1754  *
1755  * Releases the console_lock which the caller holds on the console system
1756  * and the console driver list.
1757  *
1758  * While the console_lock was held, console output may have been buffered
1759  * by printk().  If this is the case, console_unlock(); emits
1760  * the output prior to releasing the lock.
1761  *
1762  * If there is output waiting, we wake /dev/kmsg and syslog() users.
1763  *
1764  * console_unlock(); may be called from any context.
1765  */
1766 void console_unlock(void)
1767 {
1768         static u64 seen_seq;
1769         unsigned long flags;
1770         bool wake_klogd = false;
1771         bool retry;
1772
1773         if (console_suspended) {
1774                 up(&console_sem);
1775                 return;
1776         }
1777
1778         console_may_schedule = 0;
1779
1780 again:
1781         for (;;) {
1782                 struct log *msg;
1783                 static char text[LOG_LINE_MAX];
1784                 size_t len;
1785                 int level;
1786
1787                 raw_spin_lock_irqsave(&logbuf_lock, flags);
1788                 if (seen_seq != log_next_seq) {
1789                         wake_klogd = true;
1790                         seen_seq = log_next_seq;
1791                 }
1792
1793                 if (console_seq < log_first_seq) {
1794                         /* messages are gone, move to first one */
1795                         console_seq = log_first_seq;
1796                         console_idx = log_first_idx;
1797                 }
1798
1799                 if (console_seq == log_next_seq)
1800                         break;
1801
1802                 msg = log_from_idx(console_idx);
1803                 level = msg->level & 7;
1804
1805                 len = msg_print_text(msg, false, text, sizeof(text));
1806
1807                 console_idx = log_next(console_idx);
1808                 console_seq++;
1809                 raw_spin_unlock(&logbuf_lock);
1810
1811                 stop_critical_timings();        /* don't trace print latency */
1812                 call_console_drivers(level, text, len);
1813                 start_critical_timings();
1814                 local_irq_restore(flags);
1815         }
1816         console_locked = 0;
1817
1818         /* Release the exclusive_console once it is used */
1819         if (unlikely(exclusive_console))
1820                 exclusive_console = NULL;
1821
1822         raw_spin_unlock(&logbuf_lock);
1823
1824         up(&console_sem);
1825
1826         /*
1827          * Someone could have filled up the buffer again, so re-check if there's
1828          * something to flush. In case we cannot trylock the console_sem again,
1829          * there's a new owner and the console_unlock() from them will do the
1830          * flush, no worries.
1831          */
1832         raw_spin_lock(&logbuf_lock);
1833         retry = console_seq != log_next_seq;
1834         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
1835
1836         if (retry && console_trylock())
1837                 goto again;
1838
1839         if (wake_klogd)
1840                 wake_up_klogd();
1841 }
1842 EXPORT_SYMBOL(console_unlock);
1843
1844 /**
1845  * console_conditional_schedule - yield the CPU if required
1846  *
1847  * If the console code is currently allowed to sleep, and
1848  * if this CPU should yield the CPU to another task, do
1849  * so here.
1850  *
1851  * Must be called within console_lock();.
1852  */
1853 void __sched console_conditional_schedule(void)
1854 {
1855         if (console_may_schedule)
1856                 cond_resched();
1857 }
1858 EXPORT_SYMBOL(console_conditional_schedule);
1859
1860 void console_unblank(void)
1861 {
1862         struct console *c;
1863
1864         /*
1865          * console_unblank can no longer be called in interrupt context unless
1866          * oops_in_progress is set to 1..
1867          */
1868         if (oops_in_progress) {
1869                 if (down_trylock(&console_sem) != 0)
1870                         return;
1871         } else
1872                 console_lock();
1873
1874         console_locked = 1;
1875         console_may_schedule = 0;
1876         for_each_console(c)
1877                 if ((c->flags & CON_ENABLED) && c->unblank)
1878                         c->unblank();
1879         console_unlock();
1880 }
1881
1882 /*
1883  * Return the console tty driver structure and its associated index
1884  */
1885 struct tty_driver *console_device(int *index)
1886 {
1887         struct console *c;
1888         struct tty_driver *driver = NULL;
1889
1890         console_lock();
1891         for_each_console(c) {
1892                 if (!c->device)
1893                         continue;
1894                 driver = c->device(c, index);
1895                 if (driver)
1896                         break;
1897         }
1898         console_unlock();
1899         return driver;
1900 }
1901
1902 /*
1903  * Prevent further output on the passed console device so that (for example)
1904  * serial drivers can disable console output before suspending a port, and can
1905  * re-enable output afterwards.
1906  */
1907 void console_stop(struct console *console)
1908 {
1909         console_lock();
1910         console->flags &= ~CON_ENABLED;
1911         console_unlock();
1912 }
1913 EXPORT_SYMBOL(console_stop);
1914
1915 void console_start(struct console *console)
1916 {
1917         console_lock();
1918         console->flags |= CON_ENABLED;
1919         console_unlock();
1920 }
1921 EXPORT_SYMBOL(console_start);
1922
1923 static int __read_mostly keep_bootcon;
1924
1925 static int __init keep_bootcon_setup(char *str)
1926 {
1927         keep_bootcon = 1;
1928         printk(KERN_INFO "debug: skip boot console de-registration.\n");
1929
1930         return 0;
1931 }
1932
1933 early_param("keep_bootcon", keep_bootcon_setup);
1934
1935 /*
1936  * The console driver calls this routine during kernel initialization
1937  * to register the console printing procedure with printk() and to
1938  * print any messages that were printed by the kernel before the
1939  * console driver was initialized.
1940  *
1941  * This can happen pretty early during the boot process (because of
1942  * early_printk) - sometimes before setup_arch() completes - be careful
1943  * of what kernel features are used - they may not be initialised yet.
1944  *
1945  * There are two types of consoles - bootconsoles (early_printk) and
1946  * "real" consoles (everything which is not a bootconsole) which are
1947  * handled differently.
1948  *  - Any number of bootconsoles can be registered at any time.
1949  *  - As soon as a "real" console is registered, all bootconsoles
1950  *    will be unregistered automatically.
1951  *  - Once a "real" console is registered, any attempt to register a
1952  *    bootconsoles will be rejected
1953  */
1954 void register_console(struct console *newcon)
1955 {
1956         int i;
1957         unsigned long flags;
1958         struct console *bcon = NULL;
1959
1960         /*
1961          * before we register a new CON_BOOT console, make sure we don't
1962          * already have a valid console
1963          */
1964         if (console_drivers && newcon->flags & CON_BOOT) {
1965                 /* find the last or real console */
1966                 for_each_console(bcon) {
1967                         if (!(bcon->flags & CON_BOOT)) {
1968                                 printk(KERN_INFO "Too late to register bootconsole %s%d\n",
1969                                         newcon->name, newcon->index);
1970                                 return;
1971                         }
1972                 }
1973         }
1974
1975         if (console_drivers && console_drivers->flags & CON_BOOT)
1976                 bcon = console_drivers;
1977
1978         if (preferred_console < 0 || bcon || !console_drivers)
1979                 preferred_console = selected_console;
1980
1981         if (newcon->early_setup)
1982                 newcon->early_setup();
1983
1984         /*
1985          *      See if we want to use this console driver. If we
1986          *      didn't select a console we take the first one
1987          *      that registers here.
1988          */
1989         if (preferred_console < 0) {
1990                 if (newcon->index < 0)
1991                         newcon->index = 0;
1992                 if (newcon->setup == NULL ||
1993                     newcon->setup(newcon, NULL) == 0) {
1994                         newcon->flags |= CON_ENABLED;
1995                         if (newcon->device) {
1996                                 newcon->flags |= CON_CONSDEV;
1997                                 preferred_console = 0;
1998                         }
1999                 }
2000         }
2001
2002         /*
2003          *      See if this console matches one we selected on
2004          *      the command line.
2005          */
2006         for (i = 0; i < MAX_CMDLINECONSOLES && console_cmdline[i].name[0];
2007                         i++) {
2008                 if (strcmp(console_cmdline[i].name, newcon->name) != 0)
2009                         continue;
2010                 if (newcon->index >= 0 &&
2011                     newcon->index != console_cmdline[i].index)
2012                         continue;
2013                 if (newcon->index < 0)
2014                         newcon->index = console_cmdline[i].index;
2015 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2016                 if (console_cmdline[i].brl_options) {
2017                         newcon->flags |= CON_BRL;
2018                         braille_register_console(newcon,
2019                                         console_cmdline[i].index,
2020                                         console_cmdline[i].options,
2021                                         console_cmdline[i].brl_options);
2022                         return;
2023                 }
2024 #endif
2025                 if (newcon->setup &&
2026                     newcon->setup(newcon, console_cmdline[i].options) != 0)
2027                         break;
2028                 newcon->flags |= CON_ENABLED;
2029                 newcon->index = console_cmdline[i].index;
2030                 if (i == selected_console) {
2031                         newcon->flags |= CON_CONSDEV;
2032                         preferred_console = selected_console;
2033                 }
2034                 break;
2035         }
2036
2037         if (!(newcon->flags & CON_ENABLED))
2038                 return;
2039
2040         /*
2041          * If we have a bootconsole, and are switching to a real console,
2042          * don't print everything out again, since when the boot console, and
2043          * the real console are the same physical device, it's annoying to
2044          * see the beginning boot messages twice
2045          */
2046         if (bcon && ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV))
2047                 newcon->flags &= ~CON_PRINTBUFFER;
2048
2049         /*
2050          *      Put this console in the list - keep the
2051          *      preferred driver at the head of the list.
2052          */
2053         console_lock();
2054         if ((newcon->flags & CON_CONSDEV) || console_drivers == NULL) {
2055                 newcon->next = console_drivers;
2056                 console_drivers = newcon;
2057                 if (newcon->next)
2058                         newcon->next->flags &= ~CON_CONSDEV;
2059         } else {
2060                 newcon->next = console_drivers->next;
2061                 console_drivers->next = newcon;
2062         }
2063         if (newcon->flags & CON_PRINTBUFFER) {
2064                 /*
2065                  * console_unlock(); will print out the buffered messages
2066                  * for us.
2067                  */
2068                 raw_spin_lock_irqsave(&logbuf_lock, flags);
2069                 console_seq = syslog_seq;
2070                 console_idx = syslog_idx;
2071                 raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2072                 /*
2073                  * We're about to replay the log buffer.  Only do this to the
2074                  * just-registered console to avoid excessive message spam to
2075                  * the already-registered consoles.
2076                  */
2077                 exclusive_console = newcon;
2078         }
2079         console_unlock();
2080         console_sysfs_notify();
2081
2082         /*
2083          * By unregistering the bootconsoles after we enable the real console
2084          * we get the "console xxx enabled" message on all the consoles -
2085          * boot consoles, real consoles, etc - this is to ensure that end
2086          * users know there might be something in the kernel's log buffer that
2087          * went to the bootconsole (that they do not see on the real console)
2088          */
2089         if (bcon &&
2090             ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV) &&
2091             !keep_bootcon) {
2092                 /* we need to iterate through twice, to make sure we print
2093                  * everything out, before we unregister the console(s)
2094                  */
2095                 printk(KERN_INFO "console [%s%d] enabled, bootconsole disabled\n",
2096                         newcon->name, newcon->index);
2097                 for_each_console(bcon)
2098                         if (bcon->flags & CON_BOOT)
2099                                 unregister_console(bcon);
2100         } else {
2101                 printk(KERN_INFO "%sconsole [%s%d] enabled\n",
2102                         (newcon->flags & CON_BOOT) ? "boot" : "" ,
2103                         newcon->name, newcon->index);
2104         }
2105 }
2106 EXPORT_SYMBOL(register_console);
2107
2108 int unregister_console(struct console *console)
2109 {
2110         struct console *a, *b;
2111         int res = 1;
2112
2113 #ifdef CONFIG_A11Y_BRAILLE_CONSOLE
2114         if (console->flags & CON_BRL)
2115                 return braille_unregister_console(console);
2116 #endif
2117
2118         console_lock();
2119         if (console_drivers == console) {
2120                 console_drivers=console->next;
2121                 res = 0;
2122         } else if (console_drivers) {
2123                 for (a=console_drivers->next, b=console_drivers ;
2124                      a; b=a, a=b->next) {
2125                         if (a == console) {
2126                                 b->next = a->next;
2127                                 res = 0;
2128                                 break;
2129                         }
2130                 }
2131         }
2132
2133         /*
2134          * If this isn't the last console and it has CON_CONSDEV set, we
2135          * need to set it on the next preferred console.
2136          */
2137         if (console_drivers != NULL && console->flags & CON_CONSDEV)
2138                 console_drivers->flags |= CON_CONSDEV;
2139
2140         console_unlock();
2141         console_sysfs_notify();
2142         return res;
2143 }
2144 EXPORT_SYMBOL(unregister_console);
2145
2146 static int __init printk_late_init(void)
2147 {
2148         struct console *con;
2149
2150         for_each_console(con) {
2151                 if (!keep_bootcon && con->flags & CON_BOOT) {
2152                         printk(KERN_INFO "turn off boot console %s%d\n",
2153                                 con->name, con->index);
2154                         unregister_console(con);
2155                 }
2156         }
2157         hotcpu_notifier(console_cpu_notify, 0);
2158         return 0;
2159 }
2160 late_initcall(printk_late_init);
2161
2162 #if defined CONFIG_PRINTK
2163
2164 int printk_sched(const char *fmt, ...)
2165 {
2166         unsigned long flags;
2167         va_list args;
2168         char *buf;
2169         int r;
2170
2171         local_irq_save(flags);
2172         buf = __get_cpu_var(printk_sched_buf);
2173
2174         va_start(args, fmt);
2175         r = vsnprintf(buf, PRINTK_BUF_SIZE, fmt, args);
2176         va_end(args);
2177
2178         __this_cpu_or(printk_pending, PRINTK_PENDING_SCHED);
2179         local_irq_restore(flags);
2180
2181         return r;
2182 }
2183
2184 /*
2185  * printk rate limiting, lifted from the networking subsystem.
2186  *
2187  * This enforces a rate limit: not more than 10 kernel messages
2188  * every 5s to make a denial-of-service attack impossible.
2189  */
2190 DEFINE_RATELIMIT_STATE(printk_ratelimit_state, 5 * HZ, 10);
2191
2192 int __printk_ratelimit(const char *func)
2193 {
2194         return ___ratelimit(&printk_ratelimit_state, func);
2195 }
2196 EXPORT_SYMBOL(__printk_ratelimit);
2197
2198 /**
2199  * printk_timed_ratelimit - caller-controlled printk ratelimiting
2200  * @caller_jiffies: pointer to caller's state
2201  * @interval_msecs: minimum interval between prints
2202  *
2203  * printk_timed_ratelimit() returns true if more than @interval_msecs
2204  * milliseconds have elapsed since the last time printk_timed_ratelimit()
2205  * returned true.
2206  */
2207 bool printk_timed_ratelimit(unsigned long *caller_jiffies,
2208                         unsigned int interval_msecs)
2209 {
2210         if (*caller_jiffies == 0
2211                         || !time_in_range(jiffies, *caller_jiffies,
2212                                         *caller_jiffies
2213                                         + msecs_to_jiffies(interval_msecs))) {
2214                 *caller_jiffies = jiffies;
2215                 return true;
2216         }
2217         return false;
2218 }
2219 EXPORT_SYMBOL(printk_timed_ratelimit);
2220
2221 static DEFINE_SPINLOCK(dump_list_lock);
2222 static LIST_HEAD(dump_list);
2223
2224 /**
2225  * kmsg_dump_register - register a kernel log dumper.
2226  * @dumper: pointer to the kmsg_dumper structure
2227  *
2228  * Adds a kernel log dumper to the system. The dump callback in the
2229  * structure will be called when the kernel oopses or panics and must be
2230  * set. Returns zero on success and %-EINVAL or %-EBUSY otherwise.
2231  */
2232 int kmsg_dump_register(struct kmsg_dumper *dumper)
2233 {
2234         unsigned long flags;
2235         int err = -EBUSY;
2236
2237         /* The dump callback needs to be set */
2238         if (!dumper->dump)
2239                 return -EINVAL;
2240
2241         spin_lock_irqsave(&dump_list_lock, flags);
2242         /* Don't allow registering multiple times */
2243         if (!dumper->registered) {
2244                 dumper->registered = 1;
2245                 list_add_tail_rcu(&dumper->list, &dump_list);
2246                 err = 0;
2247         }
2248         spin_unlock_irqrestore(&dump_list_lock, flags);
2249
2250         return err;
2251 }
2252 EXPORT_SYMBOL_GPL(kmsg_dump_register);
2253
2254 /**
2255  * kmsg_dump_unregister - unregister a kmsg dumper.
2256  * @dumper: pointer to the kmsg_dumper structure
2257  *
2258  * Removes a dump device from the system. Returns zero on success and
2259  * %-EINVAL otherwise.
2260  */
2261 int kmsg_dump_unregister(struct kmsg_dumper *dumper)
2262 {
2263         unsigned long flags;
2264         int err = -EINVAL;
2265
2266         spin_lock_irqsave(&dump_list_lock, flags);
2267         if (dumper->registered) {
2268                 dumper->registered = 0;
2269                 list_del_rcu(&dumper->list);
2270                 err = 0;
2271         }
2272         spin_unlock_irqrestore(&dump_list_lock, flags);
2273         synchronize_rcu();
2274
2275         return err;
2276 }
2277 EXPORT_SYMBOL_GPL(kmsg_dump_unregister);
2278
2279 static bool always_kmsg_dump;
2280 module_param_named(always_kmsg_dump, always_kmsg_dump, bool, S_IRUGO | S_IWUSR);
2281
2282 /**
2283  * kmsg_dump - dump kernel log to kernel message dumpers.
2284  * @reason: the reason (oops, panic etc) for dumping
2285  *
2286  * Iterate through each of the dump devices and call the oops/panic
2287  * callbacks with the log buffer.
2288  */
2289 void kmsg_dump(enum kmsg_dump_reason reason)
2290 {
2291         u64 idx;
2292         struct kmsg_dumper *dumper;
2293         const char *s1, *s2;
2294         unsigned long l1, l2;
2295         unsigned long flags;
2296
2297         if ((reason > KMSG_DUMP_OOPS) && !always_kmsg_dump)
2298                 return;
2299
2300         /* Theoretically, the log could move on after we do this, but
2301            there's not a lot we can do about that. The new messages
2302            will overwrite the start of what we dump. */
2303
2304         raw_spin_lock_irqsave(&logbuf_lock, flags);
2305         if (syslog_seq < log_first_seq)
2306                 idx = syslog_idx;
2307         else
2308                 idx = log_first_idx;
2309
2310         if (idx > log_next_idx) {
2311                 s1 = log_buf;
2312                 l1 = log_next_idx;
2313
2314                 s2 = log_buf + idx;
2315                 l2 = log_buf_len - idx;
2316         } else {
2317                 s1 = "";
2318                 l1 = 0;
2319
2320                 s2 = log_buf + idx;
2321                 l2 = log_next_idx - idx;
2322         }
2323         raw_spin_unlock_irqrestore(&logbuf_lock, flags);
2324
2325         rcu_read_lock();
2326         list_for_each_entry_rcu(dumper, &dump_list, list)
2327                 dumper->dump(dumper, reason, s1, l1, s2, l2);
2328         rcu_read_unlock();
2329 }
2330 #endif