drivers/xen/xenbus/xenbus_xs.c

   1 /******************************************************************************
   2  * xenbus_xs.c
   3  *
   4  * This is the kernel equivalent of the "xs" library.  We don't need everything
   5  * and we use xenbus_comms for communication.
   6  *
   7  * Copyright (C) 2005 Rusty Russell, IBM Corporation
   8  *
   9  * This program is free software; you can redistribute it and/or
  10  * modify it under the terms of the GNU General Public License version 2
  11  * as published by the Free Software Foundation; or, when distributed
  12  * separately from the Linux kernel or incorporated into other
  13  * software packages, subject to the following license:
  14  *
  15  * Permission is hereby granted, free of charge, to any person obtaining a copy
  16  * of this source file (the "Software"), to deal in the Software without
  17  * restriction, including without limitation the rights to use, copy, modify,
  18  * merge, publish, distribute, sublicense, and/or sell copies of the Software,
  19  * and to permit persons to whom the Software is furnished to do so, subject to
  20  * the following conditions:
  21  *
  22  * The above copyright notice and this permission notice shall be included in
  23  * all copies or substantial portions of the Software.
  24  *
  25  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  26  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  27  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  28  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  29  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  30  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS
  31  * IN THE SOFTWARE.
  32  */
  33
  34 #include <linux/unistd.h>
  35 #include <linux/errno.h>
  36 #include <linux/types.h>
  37 #include <linux/uio.h>
  38 #include <linux/kernel.h>
  39 #include <linux/string.h>
  40 #include <linux/err.h>
  41 #include <linux/slab.h>
  42 #include <linux/fcntl.h>
  43 #include <linux/kthread.h>
  44 #include <linux/rwsem.h>
  45 #include <linux/module.h>
  46 #include <linux/mutex.h>
  47 #include <asm/xen/hypervisor.h>
  48 #include <xen/xenbus.h>
  49 #include <xen/xen.h>
  50 #include "xenbus_comms.h"
  51 #include <asm/xen/hypervisor.h>
  52
  53 struct xs_stored_msg {
  54         struct list_head list;
  55
  56         struct xsd_sockmsg hdr;
  57
  58         union {
  59                 /* Queued replies. */
  60                 struct {
  61                         char *body;
  62                 } reply;
  63
  64                 /* Queued watch events. */
  65                 struct {
  66                         struct xenbus_watch *handle;
  67                         char **vec;
  68                         unsigned int vec_size;
  69                 } watch;
  70         } u;
  71 };
  72
  73 struct xs_handle {
  74         /* A list of replies. Currently only one will ever be outstanding. */
  75         struct list_head reply_list;
  76         spinlock_t reply_lock;
  77         wait_queue_head_t reply_waitq;
  78
  79         /*
  80          * Mutex ordering: transaction_mutex -> watch_mutex -> request_mutex.
  81          * response_mutex is never taken simultaneously with the other three.
  82          *
  83          * transaction_mutex must be held before incrementing
  84          * transaction_count. The mutex is held when a suspend is in
  85          * progress to prevent new transactions starting.
  86          *
  87          * When decrementing transaction_count to zero the wait queue
  88          * should be woken up, the suspend code waits for count to
  89          * reach zero.
  90          */
  91
  92         /* One request at a time. */
  93         struct mutex request_mutex;
  94
  95         /* Protect xenbus reader thread against save/restore. */
  96         struct mutex response_mutex;
  97
  98         /* Protect transactions against save/restore. */
  99         struct mutex transaction_mutex;
 100         atomic_t transaction_count;
 101         wait_queue_head_t transaction_wq;
 102
 103         /* Protect watch (de)register against save/restore. */
 104         struct rw_semaphore watch_mutex;
 105 };
 106
 107 static struct xs_handle xs_state;
 108
 109 /* List of registered watches, and a lock to protect it. */
 110 static LIST_HEAD(watches);
 111 static DEFINE_SPINLOCK(watches_lock);
 112
 113 /* List of pending watch callback events, and a lock to protect it. */
 114 static LIST_HEAD(watch_events);
 115 static DEFINE_SPINLOCK(watch_events_lock);
 116
 117 /*
 118  * Details of the xenwatch callback kernel thread. The thread waits on the
 119  * watch_events_waitq for work to do (queued on watch_events list). When it
 120  * wakes up it acquires the xenwatch_mutex before reading the list and
 121  * carrying out work.
 122  */
 123 static pid_t xenwatch_pid;
 124 static DEFINE_MUTEX(xenwatch_mutex);
 125 static DECLARE_WAIT_QUEUE_HEAD(watch_events_waitq);
 126
 127 static int get_error(const char *errorstring)
 128 {
 129         unsigned int i;
 130
 131         for (i = 0; strcmp(errorstring, xsd_errors[i].errstring) != 0; i++) {
 132                 if (i == ARRAY_SIZE(xsd_errors) - 1) {
 133                         printk(KERN_WARNING
 134                                "XENBUS xen store gave: unknown error %s",
 135                                errorstring);
 136                         return EINVAL;
 137                 }
 138         }
 139         return xsd_errors[i].errnum;
 140 }
 141
 142 static void *read_reply(enum xsd_sockmsg_type *type, unsigned int *len)
 143 {
 144         struct xs_stored_msg *msg;
 145         char *body;
 146
 147         spin_lock(&xs_state.reply_lock);
 148
 149         while (list_empty(&xs_state.reply_list)) {
 150                 spin_unlock(&xs_state.reply_lock);
 151                 /* XXX FIXME: Avoid synchronous wait for response here. */
 152                 wait_event(xs_state.reply_waitq,
 153                            !list_empty(&xs_state.reply_list));
 154                 spin_lock(&xs_state.reply_lock);
 155         }
 156
 157         msg = list_entry(xs_state.reply_list.next,
 158                          struct xs_stored_msg, list);
 159         list_del(&msg->list);
 160
 161         spin_unlock(&xs_state.reply_lock);
 162
 163         *type = msg->hdr.type;
 164         if (len)
 165                 *len = msg->hdr.len;
 166         body = msg->u.reply.body;
 167
 168         kfree(msg);
 169
 170         return body;
 171 }
 172
 173 static void transaction_start(void)
 174 {
 175         mutex_lock(&xs_state.transaction_mutex);
 176         atomic_inc(&xs_state.transaction_count);
 177         mutex_unlock(&xs_state.transaction_mutex);
 178 }
 179
 180 static void transaction_end(void)
 181 {
 182         if (atomic_dec_and_test(&xs_state.transaction_count))
 183                 wake_up(&xs_state.transaction_wq);
 184 }
 185
 186 static void transaction_suspend(void)
 187 {
 188         mutex_lock(&xs_state.transaction_mutex);
 189         wait_event(xs_state.transaction_wq,
 190                    atomic_read(&xs_state.transaction_count) == 0);
 191 }
 192
 193 static void transaction_resume(void)
 194 {
 195         mutex_unlock(&xs_state.transaction_mutex);
 196 }
 197
 198 void *xenbus_dev_request_and_reply(struct xsd_sockmsg *msg)
 199 {
 200         void *ret;
 201         struct xsd_sockmsg req_msg = *msg;
 202         int err;
 203
 204         if (req_msg.type == XS_TRANSACTION_START)
 205                 transaction_start();
 206
 207         mutex_lock(&xs_state.request_mutex);
 208
 209         err = xb_write(msg, sizeof(*msg) + msg->len);
 210         if (err) {
 211                 msg->type = XS_ERROR;
 212                 ret = ERR_PTR(err);
 213         } else
 214                 ret = read_reply(&msg->type, &msg->len);
 215
 216         mutex_unlock(&xs_state.request_mutex);
 217
 218         if ((msg->type == XS_TRANSACTION_END) ||
 219             ((req_msg.type == XS_TRANSACTION_START) &&
 220              (msg->type == XS_ERROR)))
 221                 transaction_end();
 222
 223         return ret;
 224 }
 225 EXPORT_SYMBOL(xenbus_dev_request_and_reply);
 226
 227 /* Send message to xs, get kmalloc'ed reply.  ERR_PTR() on error. */
 228 static void *xs_talkv(struct xenbus_transaction t,
 229                       enum xsd_sockmsg_type type,
 230                       const struct kvec *iovec,
 231                       unsigned int num_vecs,
 232                       unsigned int *len)
 233 {
 234         struct xsd_sockmsg msg;
 235         void *ret = NULL;
 236         unsigned int i;
 237         int err;
 238
 239         msg.tx_id = t.id;
 240         msg.req_id = 0;
 241         msg.type = type;
 242         msg.len = 0;
 243         for (i = 0; i < num_vecs; i++)
 244                 msg.len += iovec[i].iov_len;
 245
 246         mutex_lock(&xs_state.request_mutex);
 247
 248         err = xb_write(&msg, sizeof(msg));
 249         if (err) {
 250                 mutex_unlock(&xs_state.request_mutex);
 251                 return ERR_PTR(err);
 252         }
 253
 254         for (i = 0; i < num_vecs; i++) {
 255                 err = xb_write(iovec[i].iov_base, iovec[i].iov_len);
 256                 if (err) {
 257                         mutex_unlock(&xs_state.request_mutex);
 258                         return ERR_PTR(err);
 259                 }
 260         }
 261
 262         ret = read_reply(&msg.type, len);
 263
 264         mutex_unlock(&xs_state.request_mutex);
 265
 266         if (IS_ERR(ret))
 267                 return ret;
 268
 269         if (msg.type == XS_ERROR) {
 270                 err = get_error(ret);
 271                 kfree(ret);
 272                 return ERR_PTR(-err);
 273         }
 274
 275         if (msg.type != type) {
 276                 if (printk_ratelimit())
 277                         printk(KERN_WARNING
 278                                "XENBUS unexpected type [%d], expected [%d]\n",
 279                                msg.type, type);
 280                 kfree(ret);
 281                 return ERR_PTR(-EINVAL);
 282         }
 283         return ret;
 284 }
 285
 286 /* Simplified version of xs_talkv: single message. */
 287 static void *xs_single(struct xenbus_transaction t,
 288                        enum xsd_sockmsg_type type,
 289                        const char *string,
 290                        unsigned int *len)
 291 {
 292         struct kvec iovec;
 293
 294         iovec.iov_base = (void *)string;
 295         iovec.iov_len = strlen(string) + 1;
 296         return xs_talkv(t, type, &iovec, 1, len);
 297 }
 298
 299 /* Many commands only need an ack, don't care what it says. */
 300 static int xs_error(char *reply)
 301 {
 302         if (IS_ERR(reply))
 303                 return PTR_ERR(reply);
 304         kfree(reply);
 305         return 0;
 306 }
 307
 308 static unsigned int count_strings(const char *strings, unsigned int len)
 309 {
 310         unsigned int num;
 311         const char *p;
 312
 313         for (p = strings, num = 0; p < strings + len; p += strlen(p) + 1)
 314                 num++;
 315
 316         return num;
 317 }
 318
 319 /* Return the path to dir with /name appended. Buffer must be kfree()'ed. */
 320 static char *join(const char *dir, const char *name)
 321 {
 322         char *buffer;
 323
 324         if (strlen(name) == 0)
 325                 buffer = kasprintf(GFP_NOIO | __GFP_HIGH, "%s", dir);
 326         else
 327                 buffer = kasprintf(GFP_NOIO | __GFP_HIGH, "%s/%s", dir, name);
 328         return (!buffer) ? ERR_PTR(-ENOMEM) : buffer;
 329 }
 330
 331 static char **split(char *strings, unsigned int len, unsigned int *num)
 332 {
 333         char *p, **ret;
 334
 335         /* Count the strings. */
 336         *num = count_strings(strings, len);
 337
 338         /* Transfer to one big alloc for easy freeing. */
 339         ret = kmalloc(*num * sizeof(char *) + len, GFP_NOIO | __GFP_HIGH);
 340         if (!ret) {
 341                 kfree(strings);
 342                 return ERR_PTR(-ENOMEM);
 343         }
 344         memcpy(&ret[*num], strings, len);
 345         kfree(strings);
 346
 347         strings = (char *)&ret[*num];
 348         for (p = strings, *num = 0; p < strings + len; p += strlen(p) + 1)
 349                 ret[(*num)++] = p;
 350
 351         return ret;
 352 }
 353
 354 char **xenbus_directory(struct xenbus_transaction t,
 355                         const char *dir, const char *node, unsigned int *num)
 356 {
 357         char *strings, *path;
 358         unsigned int len;
 359
 360         path = join(dir, node);
 361         if (IS_ERR(path))
 362                 return (char **)path;
 363
 364         strings = xs_single(t, XS_DIRECTORY, path, &len);
 365         kfree(path);
 366         if (IS_ERR(strings))
 367                 return (char **)strings;
 368
 369         return split(strings, len, num);
 370 }
 371 EXPORT_SYMBOL_GPL(xenbus_directory);
 372
 373 /* Check if a path exists. Return 1 if it does. */
 374 int xenbus_exists(struct xenbus_transaction t,
 375                   const char *dir, const char *node)
 376 {
 377         char **d;
 378         int dir_n;
 379
 380         d = xenbus_directory(t, dir, node, &dir_n);
 381         if (IS_ERR(d))
 382                 return 0;
 383         kfree(d);
 384         return 1;
 385 }
 386 EXPORT_SYMBOL_GPL(xenbus_exists);
 387
 388 /* Get the value of a single file.
 389  * Returns a kmalloced value: call free() on it after use.
 390  * len indicates length in bytes.
 391  */
 392 void *xenbus_read(struct xenbus_transaction t,
 393                   const char *dir, const char *node, unsigned int *len)
 394 {
 395         char *path;
 396         void *ret;
 397
 398         path = join(dir, node);
 399         if (IS_ERR(path))
 400                 return (void *)path;
 401
 402         ret = xs_single(t, XS_READ, path, len);
 403         kfree(path);
 404         return ret;
 405 }
 406 EXPORT_SYMBOL_GPL(xenbus_read);
 407
 408 /* Write the value of a single file.
 409  * Returns -err on failure.
 410  */
 411 int xenbus_write(struct xenbus_transaction t,
 412                  const char *dir, const char *node, const char *string)
 413 {
 414         const char *path;
 415         struct kvec iovec[2];
 416         int ret;
 417
 418         path = join(dir, node);
 419         if (IS_ERR(path))
 420                 return PTR_ERR(path);
 421
 422         iovec[0].iov_base = (void *)path;
 423         iovec[0].iov_len = strlen(path) + 1;
 424         iovec[1].iov_base = (void *)string;
 425         iovec[1].iov_len = strlen(string);
 426
 427         ret = xs_error(xs_talkv(t, XS_WRITE, iovec, ARRAY_SIZE(iovec), NULL));
 428         kfree(path);
 429         return ret;
 430 }
 431 EXPORT_SYMBOL_GPL(xenbus_write);
 432
 433 /* Create a new directory. */
 434 int xenbus_mkdir(struct xenbus_transaction t,
 435                  const char *dir, const char *node)
 436 {
 437         char *path;
 438         int ret;
 439
 440         path = join(dir, node);
 441         if (IS_ERR(path))
 442                 return PTR_ERR(path);
 443
 444         ret = xs_error(xs_single(t, XS_MKDIR, path, NULL));
 445         kfree(path);
 446         return ret;
 447 }
 448 EXPORT_SYMBOL_GPL(xenbus_mkdir);
 449
 450 /* Destroy a file or directory (directories must be empty). */
 451 int xenbus_rm(struct xenbus_transaction t, const char *dir, const char *node)
 452 {
 453         char *path;
 454         int ret;
 455
 456         path = join(dir, node);
 457         if (IS_ERR(path))
 458                 return PTR_ERR(path);
 459
 460         ret = xs_error(xs_single(t, XS_RM, path, NULL));
 461         kfree(path);
 462         return ret;
 463 }
 464 EXPORT_SYMBOL_GPL(xenbus_rm);
 465
 466 /* Start a transaction: changes by others will not be seen during this
 467  * transaction, and changes will not be visible to others until end.
 468  */
 469 int xenbus_transaction_start(struct xenbus_transaction *t)
 470 {
 471         char *id_str;
 472
 473         transaction_start();
 474
 475         id_str = xs_single(XBT_NIL, XS_TRANSACTION_START, "", NULL);
 476         if (IS_ERR(id_str)) {
 477                 transaction_end();
 478                 return PTR_ERR(id_str);
 479         }
 480
 481         t->id = simple_strtoul(id_str, NULL, 0);
 482         kfree(id_str);
 483         return 0;
 484 }
 485 EXPORT_SYMBOL_GPL(xenbus_transaction_start);
 486
 487 /* End a transaction.
 488  * If abandon is true, transaction is discarded instead of committed.
 489  */
 490 int xenbus_transaction_end(struct xenbus_transaction t, int abort)
 491 {
 492         char abortstr[2];
 493         int err;
 494
 495         if (abort)
 496                 strcpy(abortstr, "F");
 497         else
 498                 strcpy(abortstr, "T");
 499
 500         err = xs_error(xs_single(t, XS_TRANSACTION_END, abortstr, NULL));
 501
 502         transaction_end();
 503
 504         return err;
 505 }
 506 EXPORT_SYMBOL_GPL(xenbus_transaction_end);
 507
 508 /* Single read and scanf: returns -errno or num scanned. */
 509 int xenbus_scanf(struct xenbus_transaction t,
 510                  const char *dir, const char *node, const char *fmt, ...)
 511 {
 512         va_list ap;
 513         int ret;
 514         char *val;
 515
 516         val = xenbus_read(t, dir, node, NULL);
 517         if (IS_ERR(val))
 518                 return PTR_ERR(val);
 519
 520         va_start(ap, fmt);
 521         ret = vsscanf(val, fmt, ap);
 522         va_end(ap);
 523         kfree(val);
 524         /* Distinctive errno. */
 525         if (ret == 0)
 526                 return -ERANGE;
 527         return ret;
 528 }
 529 EXPORT_SYMBOL_GPL(xenbus_scanf);
 530
 531 /* Single printf and write: returns -errno or 0. */
 532 int xenbus_printf(struct xenbus_transaction t,
 533                   const char *dir, const char *node, const char *fmt, ...)
 534 {
 535         va_list ap;
 536         int ret;
 537         char *buf;
 538
 539         va_start(ap, fmt);
 540         buf = kvasprintf(GFP_NOIO | __GFP_HIGH, fmt, ap);
 541         va_end(ap);
 542
 543         if (!buf)
 544                 return -ENOMEM;
 545
 546         ret = xenbus_write(t, dir, node, buf);
 547
 548         kfree(buf);
 549
 550         return ret;
 551 }
 552 EXPORT_SYMBOL_GPL(xenbus_printf);
 553
 554 /* Takes tuples of names, scanf-style args, and void **, NULL terminated. */
 555 int xenbus_gather(struct xenbus_transaction t, const char *dir, ...)
 556 {
 557         va_list ap;
 558         const char *name;
 559         int ret = 0;
 560
 561         va_start(ap, dir);
 562         while (ret == 0 && (name = va_arg(ap, char *)) != NULL) {
 563                 const char *fmt = va_arg(ap, char *);
 564                 void *result = va_arg(ap, void *);
 565                 char *p;
 566
 567                 p = xenbus_read(t, dir, name, NULL);
 568                 if (IS_ERR(p)) {
 569                         ret = PTR_ERR(p);
 570                         break;
 571                 }
 572                 if (fmt) {
 573                         if (sscanf(p, fmt, result) == 0)
 574                                 ret = -EINVAL;
 575                         kfree(p);
 576                 } else
 577                         *(char **)result = p;
 578         }
 579         va_end(ap);
 580         return ret;
 581 }
 582 EXPORT_SYMBOL_GPL(xenbus_gather);
 583
 584 static int xs_watch(const char *path, const char *token)
 585 {
 586         struct kvec iov[2];
 587
 588         iov[0].iov_base = (void *)path;
 589         iov[0].iov_len = strlen(path) + 1;
 590         iov[1].iov_base = (void *)token;
 591         iov[1].iov_len = strlen(token) + 1;
 592
 593         return xs_error(xs_talkv(XBT_NIL, XS_WATCH, iov,
 594                                  ARRAY_SIZE(iov), NULL));
 595 }
 596
 597 static int xs_unwatch(const char *path, const char *token)
 598 {
 599         struct kvec iov[2];
 600
 601         iov[0].iov_base = (char *)path;
 602         iov[0].iov_len = strlen(path) + 1;
 603         iov[1].iov_base = (char *)token;
 604         iov[1].iov_len = strlen(token) + 1;
 605
 606         return xs_error(xs_talkv(XBT_NIL, XS_UNWATCH, iov,
 607                                  ARRAY_SIZE(iov), NULL));
 608 }
 609
 610 static struct xenbus_watch *find_watch(const char *token)
 611 {
 612         struct xenbus_watch *i, *cmp;
 613
 614         cmp = (void *)simple_strtoul(token, NULL, 16);
 615
 616         list_for_each_entry(i, &watches, list)
 617                 if (i == cmp)
 618                         return i;
 619
 620         return NULL;
 621 }
 622 /*
 623  * Certain older XenBus toolstack cannot handle reading values that are
 624  * not populated. Some Xen 3.4 installation are incapable of doing this
 625  * so if we are running on anything older than 4 do not attempt to read
 626  * control/platform-feature-xs_reset_watches.
 627  */
 628 static bool xen_strict_xenbus_quirk(void)
 629 {
 630 #ifdef CONFIG_X86
 631         uint32_t eax, ebx, ecx, edx, base;
 632
 633         base = xen_cpuid_base();
 634         cpuid(base + 1, &eax, &ebx, &ecx, &edx);
 635
 636         if ((eax >> 16) < 4)
 637                 return true;
 638 #endif
 639         return false;
 640
 641 }
 642 static void xs_reset_watches(void)
 643 {
 644         int err, supported = 0;
 645
 646         if (!xen_hvm_domain() || xen_initial_domain())
 647                 return;
 648
 649         if (xen_strict_xenbus_quirk())
 650                 return;
 651
 652         err = xenbus_scanf(XBT_NIL, "control",
 653                         "platform-feature-xs_reset_watches", "%d", &supported);
 654         if (err != 1 || !supported)
 655                 return;
 656
 657         err = xs_error(xs_single(XBT_NIL, XS_RESET_WATCHES, "", NULL));
 658         if (err && err != -EEXIST)
 659                 printk(KERN_WARNING "xs_reset_watches failed: %d\n", err);
 660 }
 661
 662 /* Register callback to watch this node. */
 663 int register_xenbus_watch(struct xenbus_watch *watch)
 664 {
 665         /* Pointer in ascii is the token. */
 666         char token[sizeof(watch) * 2 + 1];
 667         int err;
 668
 669         sprintf(token, "%lX", (long)watch);
 670
 671         down_read(&xs_state.watch_mutex);
 672
 673         spin_lock(&watches_lock);
 674         BUG_ON(find_watch(token));
 675         list_add(&watch->list, &watches);
 676         spin_unlock(&watches_lock);
 677
 678         err = xs_watch(watch->node, token);
 679
 680         if (err) {
 681                 spin_lock(&watches_lock);
 682                 list_del(&watch->list);
 683                 spin_unlock(&watches_lock);
 684         }
 685
 686         up_read(&xs_state.watch_mutex);
 687
 688         return err;
 689 }
 690 EXPORT_SYMBOL_GPL(register_xenbus_watch);
 691
 692 void unregister_xenbus_watch(struct xenbus_watch *watch)
 693 {
 694         struct xs_stored_msg *msg, *tmp;
 695         char token[sizeof(watch) * 2 + 1];
 696         int err;
 697
 698         sprintf(token, "%lX", (long)watch);
 699
 700         down_read(&xs_state.watch_mutex);
 701
 702         spin_lock(&watches_lock);
 703         BUG_ON(!find_watch(token));
 704         list_del(&watch->list);
 705         spin_unlock(&watches_lock);
 706
 707         err = xs_unwatch(watch->node, token);
 708         if (err)
 709                 printk(KERN_WARNING
 710                        "XENBUS Failed to release watch %s: %i\n",
 711                        watch->node, err);
 712
 713         up_read(&xs_state.watch_mutex);
 714
 715         /* Make sure there are no callbacks running currently (unless
 716            its us) */
 717         if (current->pid != xenwatch_pid)
 718                 mutex_lock(&xenwatch_mutex);
 719
 720         /* Cancel pending watch events. */
 721         spin_lock(&watch_events_lock);
 722         list_for_each_entry_safe(msg, tmp, &watch_events, list) {
 723                 if (msg->u.watch.handle != watch)
 724                         continue;
 725                 list_del(&msg->list);
 726                 kfree(msg->u.watch.vec);
 727                 kfree(msg);
 728         }
 729         spin_unlock(&watch_events_lock);
 730
 731         if (current->pid != xenwatch_pid)
 732                 mutex_unlock(&xenwatch_mutex);
 733 }
 734 EXPORT_SYMBOL_GPL(unregister_xenbus_watch);
 735
 736 void xs_suspend(void)
 737 {
 738         transaction_suspend();
 739         down_write(&xs_state.watch_mutex);
 740         mutex_lock(&xs_state.request_mutex);
 741         mutex_lock(&xs_state.response_mutex);
 742 }
 743
 744 void xs_resume(void)
 745 {
 746         struct xenbus_watch *watch;
 747         char token[sizeof(watch) * 2 + 1];
 748
 749         xb_init_comms();
 750
 751         mutex_unlock(&xs_state.response_mutex);
 752         mutex_unlock(&xs_state.request_mutex);
 753         transaction_resume();
 754
 755         /* No need for watches_lock: the watch_mutex is sufficient. */
 756         list_for_each_entry(watch, &watches, list) {
 757                 sprintf(token, "%lX", (long)watch);
 758                 xs_watch(watch->node, token);
 759         }
 760
 761         up_write(&xs_state.watch_mutex);
 762 }
 763
 764 void xs_suspend_cancel(void)
 765 {
 766         mutex_unlock(&xs_state.response_mutex);
 767         mutex_unlock(&xs_state.request_mutex);
 768         up_write(&xs_state.watch_mutex);
 769         mutex_unlock(&xs_state.transaction_mutex);
 770 }
 771
 772 static int xenwatch_thread(void *unused)
 773 {
 774         struct list_head *ent;
 775         struct xs_stored_msg *msg;
 776
 777         for (;;) {
 778                 wait_event_interruptible(watch_events_waitq,
 779                                          !list_empty(&watch_events));
 780
 781                 if (kthread_should_stop())
 782                         break;
 783
 784                 mutex_lock(&xenwatch_mutex);
 785
 786                 spin_lock(&watch_events_lock);
 787                 ent = watch_events.next;
 788                 if (ent != &watch_events)
 789                         list_del(ent);
 790                 spin_unlock(&watch_events_lock);
 791
 792                 if (ent != &watch_events) {
 793                         msg = list_entry(ent, struct xs_stored_msg, list);
 794                         msg->u.watch.handle->callback(
 795                                 msg->u.watch.handle,
 796                                 (const char **)msg->u.watch.vec,
 797                                 msg->u.watch.vec_size);
 798                         kfree(msg->u.watch.vec);
 799                         kfree(msg);
 800                 }
 801
 802                 mutex_unlock(&xenwatch_mutex);
 803         }
 804
 805         return 0;
 806 }
 807
 808 static int process_msg(void)
 809 {
 810         struct xs_stored_msg *msg;
 811         char *body;
 812         int err;
 813
 814         /*
 815          * We must disallow save/restore while reading a xenstore message.
 816          * A partial read across s/r leaves us out of sync with xenstored.
 817          */
 818         for (;;) {
 819                 err = xb_wait_for_data_to_read();
 820                 if (err)
 821                         return err;
 822                 mutex_lock(&xs_state.response_mutex);
 823                 if (xb_data_to_read())
 824                         break;
 825                 /* We raced with save/restore: pending data 'disappeared'. */
 826                 mutex_unlock(&xs_state.response_mutex);
 827         }
 828
 829
 830         msg = kmalloc(sizeof(*msg), GFP_NOIO | __GFP_HIGH);
 831         if (msg == NULL) {
 832                 err = -ENOMEM;
 833                 goto out;
 834         }
 835
 836         err = xb_read(&msg->hdr, sizeof(msg->hdr));
 837         if (err) {
 838                 kfree(msg);
 839                 goto out;
 840         }
 841
 842         if (msg->hdr.len > XENSTORE_PAYLOAD_MAX) {
 843                 kfree(msg);
 844                 err = -EINVAL;
 845                 goto out;
 846         }
 847
 848         body = kmalloc(msg->hdr.len + 1, GFP_NOIO | __GFP_HIGH);
 849         if (body == NULL) {
 850                 kfree(msg);
 851                 err = -ENOMEM;
 852                 goto out;
 853         }
 854
 855         err = xb_read(body, msg->hdr.len);
 856         if (err) {
 857                 kfree(body);
 858                 kfree(msg);
 859                 goto out;
 860         }
 861         body[msg->hdr.len] = '\0';
 862
 863         if (msg->hdr.type == XS_WATCH_EVENT) {
 864                 msg->u.watch.vec = split(body, msg->hdr.len,
 865                                          &msg->u.watch.vec_size);
 866                 if (IS_ERR(msg->u.watch.vec)) {
 867                         err = PTR_ERR(msg->u.watch.vec);
 868                         kfree(msg);
 869                         goto out;
 870                 }
 871
 872                 spin_lock(&watches_lock);
 873                 msg->u.watch.handle = find_watch(
 874                         msg->u.watch.vec[XS_WATCH_TOKEN]);
 875                 if (msg->u.watch.handle != NULL) {
 876                         spin_lock(&watch_events_lock);
 877                         list_add_tail(&msg->list, &watch_events);
 878                         wake_up(&watch_events_waitq);
 879                         spin_unlock(&watch_events_lock);
 880                 } else {
 881                         kfree(msg->u.watch.vec);
 882                         kfree(msg);
 883                 }
 884                 spin_unlock(&watches_lock);
 885         } else {
 886                 msg->u.reply.body = body;
 887                 spin_lock(&xs_state.reply_lock);
 888                 list_add_tail(&msg->list, &xs_state.reply_list);
 889                 spin_unlock(&xs_state.reply_lock);
 890                 wake_up(&xs_state.reply_waitq);
 891         }
 892
 893  out:
 894         mutex_unlock(&xs_state.response_mutex);
 895         return err;
 896 }
 897
 898 static int xenbus_thread(void *unused)
 899 {
 900         int err;
 901
 902         for (;;) {
 903                 err = process_msg();
 904                 if (err)
 905                         printk(KERN_WARNING "XENBUS error %d while reading "
 906                                "message\n", err);
 907                 if (kthread_should_stop())
 908                         break;
 909         }
 910
 911         return 0;
 912 }
 913
 914 int xs_init(void)
 915 {
 916         int err;
 917         struct task_struct *task;
 918
 919         INIT_LIST_HEAD(&xs_state.reply_list);
 920         spin_lock_init(&xs_state.reply_lock);
 921         init_waitqueue_head(&xs_state.reply_waitq);
 922
 923         mutex_init(&xs_state.request_mutex);
 924         mutex_init(&xs_state.response_mutex);
 925         mutex_init(&xs_state.transaction_mutex);
 926         init_rwsem(&xs_state.watch_mutex);
 927         atomic_set(&xs_state.transaction_count, 0);
 928         init_waitqueue_head(&xs_state.transaction_wq);
 929
 930         /* Initialize the shared memory rings to talk to xenstored */
 931         err = xb_init_comms();
 932         if (err)
 933                 return err;
 934
 935         task = kthread_run(xenwatch_thread, NULL, "xenwatch");
 936         if (IS_ERR(task))
 937                 return PTR_ERR(task);
 938         xenwatch_pid = task->pid;
 939
 940         task = kthread_run(xenbus_thread, NULL, "xenbus");
 941         if (IS_ERR(task))
 942                 return PTR_ERR(task);
 943
 944         /* shutdown watches for kexec boot */
 945         xs_reset_watches();
 946
 947         return 0;
 948 }