net/tipc/node.c

   1 /*
   2  * net/tipc/node.c: TIPC node management routines
   3  *
   4  * Copyright (c) 2000-2006, 2012-2015, Ericsson AB
   5  * Copyright (c) 2005-2006, 2010-2014, Wind River Systems
   6  * All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions are met:
  10  *
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  * 3. Neither the names of the copyright holders nor the names of its
  17  *    contributors may be used to endorse or promote products derived from
  18  *    this software without specific prior written permission.
  19  *
  20  * Alternatively, this software may be distributed under the terms of the
  21  * GNU General Public License ("GPL") version 2 as published by the Free
  22  * Software Foundation.
  23  *
  24  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
  25  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  26  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  27  * ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
  28  * LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  29  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  30  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  31  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  32  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  33  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  34  * POSSIBILITY OF SUCH DAMAGE.
  35  */
  36
  37 #include "core.h"
  38 #include "link.h"
  39 #include "node.h"
  40 #include "name_distr.h"
  41 #include "socket.h"
  42 #include "bcast.h"
  43 #include "discover.h"
  44 #include "netlink.h"
  45
  46 #define INVALID_NODE_SIG        0x10000
  47
  48 /* Flags used to take different actions according to flag type
  49  * TIPC_NOTIFY_NODE_DOWN: notify node is down
  50  * TIPC_NOTIFY_NODE_UP: notify node is up
  51  * TIPC_DISTRIBUTE_NAME: publish or withdraw link state name type
  52  */
  53 enum {
  54         TIPC_NOTIFY_NODE_DOWN           = (1 << 3),
  55         TIPC_NOTIFY_NODE_UP             = (1 << 4),
  56         TIPC_NOTIFY_LINK_UP             = (1 << 6),
  57         TIPC_NOTIFY_LINK_DOWN           = (1 << 7)
  58 };
  59
  60 struct tipc_link_entry {
  61         struct tipc_link *link;
  62         spinlock_t lock; /* per link */
  63         u32 mtu;
  64         struct sk_buff_head inputq;
  65         struct tipc_media_addr maddr;
  66 };
  67
  68 struct tipc_bclink_entry {
  69         struct tipc_link *link;
  70         struct sk_buff_head inputq1;
  71         struct sk_buff_head arrvq;
  72         struct sk_buff_head inputq2;
  73         struct sk_buff_head namedq;
  74 };
  75
  76 /**
  77  * struct tipc_node - TIPC node structure
  78  * @addr: network address of node
  79  * @ref: reference counter to node object
  80  * @lock: rwlock governing access to structure
  81  * @net: the applicable net namespace
  82  * @hash: links to adjacent nodes in unsorted hash chain
  83  * @inputq: pointer to input queue containing messages for msg event
  84  * @namedq: pointer to name table input queue with name table messages
  85  * @active_links: bearer ids of active links, used as index into links[] array
  86  * @links: array containing references to all links to node
  87  * @action_flags: bit mask of different types of node actions
  88  * @state: connectivity state vs peer node
  89  * @sync_point: sequence number where synch/failover is finished
  90  * @list: links to adjacent nodes in sorted list of cluster's nodes
  91  * @working_links: number of working links to node (both active and standby)
  92  * @link_cnt: number of links to node
  93  * @capabilities: bitmap, indicating peer node's functional capabilities
  94  * @signature: node instance identifier
  95  * @link_id: local and remote bearer ids of changing link, if any
  96  * @publ_list: list of publications
  97  * @rcu: rcu struct for tipc_node
  98  */
  99 struct tipc_node {
 100         u32 addr;
 101         struct kref kref;
 102         rwlock_t lock;
 103         struct net *net;
 104         struct hlist_node hash;
 105         int active_links[2];
 106         struct tipc_link_entry links[MAX_BEARERS];
 107         struct tipc_bclink_entry bc_entry;
 108         int action_flags;
 109         struct list_head list;
 110         int state;
 111         u16 sync_point;
 112         int link_cnt;
 113         u16 working_links;
 114         u16 capabilities;
 115         u32 signature;
 116         u32 link_id;
 117         struct list_head publ_list;
 118         struct list_head conn_sks;
 119         unsigned long keepalive_intv;
 120         struct timer_list timer;
 121         struct rcu_head rcu;
 122 };
 123
 124 /* Node FSM states and events:
 125  */
 126 enum {
 127         SELF_DOWN_PEER_DOWN    = 0xdd,
 128         SELF_UP_PEER_UP        = 0xaa,
 129         SELF_DOWN_PEER_LEAVING = 0xd1,
 130         SELF_UP_PEER_COMING    = 0xac,
 131         SELF_COMING_PEER_UP    = 0xca,
 132         SELF_LEAVING_PEER_DOWN = 0x1d,
 133         NODE_FAILINGOVER       = 0xf0,
 134         NODE_SYNCHING          = 0xcc
 135 };
 136
 137 enum {
 138         SELF_ESTABL_CONTACT_EVT = 0xece,
 139         SELF_LOST_CONTACT_EVT   = 0x1ce,
 140         PEER_ESTABL_CONTACT_EVT = 0x9ece,
 141         PEER_LOST_CONTACT_EVT   = 0x91ce,
 142         NODE_FAILOVER_BEGIN_EVT = 0xfbe,
 143         NODE_FAILOVER_END_EVT   = 0xfee,
 144         NODE_SYNCH_BEGIN_EVT    = 0xcbe,
 145         NODE_SYNCH_END_EVT      = 0xcee
 146 };
 147
 148 static void __tipc_node_link_down(struct tipc_node *n, int *bearer_id,
 149                                   struct sk_buff_head *xmitq,
 150                                   struct tipc_media_addr **maddr);
 151 static void tipc_node_link_down(struct tipc_node *n, int bearer_id,
 152                                 bool delete);
 153 static void node_lost_contact(struct tipc_node *n, struct sk_buff_head *inputq);
 154 static void tipc_node_delete(struct tipc_node *node);
 155 static void tipc_node_timeout(unsigned long data);
 156 static void tipc_node_fsm_evt(struct tipc_node *n, int evt);
 157 static struct tipc_node *tipc_node_find(struct net *net, u32 addr);
 158 static void tipc_node_put(struct tipc_node *node);
 159 static bool tipc_node_is_up(struct tipc_node *n);
 160
 161 struct tipc_sock_conn {
 162         u32 port;
 163         u32 peer_port;
 164         u32 peer_node;
 165         struct list_head list;
 166 };
 167
 168 static struct tipc_link *node_active_link(struct tipc_node *n, int sel)
 169 {
 170         int bearer_id = n->active_links[sel & 1];
 171
 172         if (unlikely(bearer_id == INVALID_BEARER_ID))
 173                 return NULL;
 174
 175         return n->links[bearer_id].link;
 176 }
 177
 178 int tipc_node_get_mtu(struct net *net, u32 addr, u32 sel)
 179 {
 180         struct tipc_node *n;
 181         int bearer_id;
 182         unsigned int mtu = MAX_MSG_SIZE;
 183
 184         n = tipc_node_find(net, addr);
 185         if (unlikely(!n))
 186                 return mtu;
 187
 188         bearer_id = n->active_links[sel & 1];
 189         if (likely(bearer_id != INVALID_BEARER_ID))
 190                 mtu = n->links[bearer_id].mtu;
 191         tipc_node_put(n);
 192         return mtu;
 193 }
 194 /*
 195  * A trivial power-of-two bitmask technique is used for speed, since this
 196  * operation is done for every incoming TIPC packet. The number of hash table
 197  * entries has been chosen so that no hash chain exceeds 8 nodes and will
 198  * usually be much smaller (typically only a single node).
 199  */
 200 static unsigned int tipc_hashfn(u32 addr)
 201 {
 202         return addr & (NODE_HTABLE_SIZE - 1);
 203 }
 204
 205 static void tipc_node_kref_release(struct kref *kref)
 206 {
 207         struct tipc_node *n = container_of(kref, struct tipc_node, kref);
 208
 209         kfree(n->bc_entry.link);
 210         kfree_rcu(n, rcu);
 211 }
 212
 213 static void tipc_node_put(struct tipc_node *node)
 214 {
 215         kref_put(&node->kref, tipc_node_kref_release);
 216 }
 217
 218 static void tipc_node_get(struct tipc_node *node)
 219 {
 220         kref_get(&node->kref);
 221 }
 222
 223 /*
 224  * tipc_node_find - locate specified node object, if it exists
 225  */
 226 static struct tipc_node *tipc_node_find(struct net *net, u32 addr)
 227 {
 228         struct tipc_net *tn = tipc_net(net);
 229         struct tipc_node *node;
 230         unsigned int thash = tipc_hashfn(addr);
 231
 232         if (unlikely(!in_own_cluster_exact(net, addr)))
 233                 return NULL;
 234
 235         rcu_read_lock();
 236         hlist_for_each_entry_rcu(node, &tn->node_htable[thash], hash) {
 237                 if (node->addr != addr)
 238                         continue;
 239                 if (!kref_get_unless_zero(&node->kref))
 240                         node = NULL;
 241                 break;
 242         }
 243         rcu_read_unlock();
 244         return node;
 245 }
 246
 247 static void tipc_node_read_lock(struct tipc_node *n)
 248 {
 249         read_lock_bh(&n->lock);
 250 }
 251
 252 static void tipc_node_read_unlock(struct tipc_node *n)
 253 {
 254         read_unlock_bh(&n->lock);
 255 }
 256
 257 static void tipc_node_write_lock(struct tipc_node *n)
 258 {
 259         write_lock_bh(&n->lock);
 260 }
 261
 262 static void tipc_node_write_unlock(struct tipc_node *n)
 263 {
 264         struct net *net = n->net;
 265         u32 addr = 0;
 266         u32 flags = n->action_flags;
 267         u32 link_id = 0;
 268         struct list_head *publ_list;
 269
 270         if (likely(!flags)) {
 271                 write_unlock_bh(&n->lock);
 272                 return;
 273         }
 274
 275         addr = n->addr;
 276         link_id = n->link_id;
 277         publ_list = &n->publ_list;
 278
 279         n->action_flags &= ~(TIPC_NOTIFY_NODE_DOWN | TIPC_NOTIFY_NODE_UP |
 280                              TIPC_NOTIFY_LINK_DOWN | TIPC_NOTIFY_LINK_UP);
 281
 282         write_unlock_bh(&n->lock);
 283
 284         if (flags & TIPC_NOTIFY_NODE_DOWN)
 285                 tipc_publ_notify(net, publ_list, addr);
 286
 287         if (flags & TIPC_NOTIFY_NODE_UP)
 288                 tipc_named_node_up(net, addr);
 289
 290         if (flags & TIPC_NOTIFY_LINK_UP)
 291                 tipc_nametbl_publish(net, TIPC_LINK_STATE, addr, addr,
 292                                      TIPC_NODE_SCOPE, link_id, addr);
 293
 294         if (flags & TIPC_NOTIFY_LINK_DOWN)
 295                 tipc_nametbl_withdraw(net, TIPC_LINK_STATE, addr,
 296                                       link_id, addr);
 297 }
 298
 299 struct tipc_node *tipc_node_create(struct net *net, u32 addr, u16 capabilities)
 300 {
 301         struct tipc_net *tn = net_generic(net, tipc_net_id);
 302         struct tipc_node *n, *temp_node;
 303         int i;
 304
 305         spin_lock_bh(&tn->node_list_lock);
 306         n = tipc_node_find(net, addr);
 307         if (n)
 308                 goto exit;
 309         n = kzalloc(sizeof(*n), GFP_ATOMIC);
 310         if (!n) {
 311                 pr_warn("Node creation failed, no memory\n");
 312                 goto exit;
 313         }
 314         n->addr = addr;
 315         n->net = net;
 316         n->capabilities = capabilities;
 317         kref_init(&n->kref);
 318         rwlock_init(&n->lock);
 319         INIT_HLIST_NODE(&n->hash);
 320         INIT_LIST_HEAD(&n->list);
 321         INIT_LIST_HEAD(&n->publ_list);
 322         INIT_LIST_HEAD(&n->conn_sks);
 323         skb_queue_head_init(&n->bc_entry.namedq);
 324         skb_queue_head_init(&n->bc_entry.inputq1);
 325         __skb_queue_head_init(&n->bc_entry.arrvq);
 326         skb_queue_head_init(&n->bc_entry.inputq2);
 327         for (i = 0; i < MAX_BEARERS; i++)
 328                 spin_lock_init(&n->links[i].lock);
 329         n->state = SELF_DOWN_PEER_LEAVING;
 330         n->signature = INVALID_NODE_SIG;
 331         n->active_links[0] = INVALID_BEARER_ID;
 332         n->active_links[1] = INVALID_BEARER_ID;
 333         if (!tipc_link_bc_create(net, tipc_own_addr(net), n->addr,
 334                                  U16_MAX,
 335                                  tipc_link_window(tipc_bc_sndlink(net)),
 336                                  n->capabilities,
 337                                  &n->bc_entry.inputq1,
 338                                  &n->bc_entry.namedq,
 339                                  tipc_bc_sndlink(net),
 340                                  &n->bc_entry.link)) {
 341                 pr_warn("Broadcast rcv link creation failed, no memory\n");
 342                 kfree(n);
 343                 n = NULL;
 344                 goto exit;
 345         }
 346         tipc_node_get(n);
 347         setup_timer(&n->timer, tipc_node_timeout, (unsigned long)n);
 348         n->keepalive_intv = U32_MAX;
 349         hlist_add_head_rcu(&n->hash, &tn->node_htable[tipc_hashfn(addr)]);
 350         list_for_each_entry_rcu(temp_node, &tn->node_list, list) {
 351                 if (n->addr < temp_node->addr)
 352                         break;
 353         }
 354         list_add_tail_rcu(&n->list, &temp_node->list);
 355 exit:
 356         spin_unlock_bh(&tn->node_list_lock);
 357         return n;
 358 }
 359
 360 static void tipc_node_calculate_timer(struct tipc_node *n, struct tipc_link *l)
 361 {
 362         unsigned long tol = tipc_link_tolerance(l);
 363         unsigned long intv = ((tol / 4) > 500) ? 500 : tol / 4;
 364         unsigned long keepalive_intv = msecs_to_jiffies(intv);
 365
 366         /* Link with lowest tolerance determines timer interval */
 367         if (keepalive_intv < n->keepalive_intv)
 368                 n->keepalive_intv = keepalive_intv;
 369
 370         /* Ensure link's abort limit corresponds to current interval */
 371         tipc_link_set_abort_limit(l, tol / jiffies_to_msecs(n->keepalive_intv));
 372 }
 373
 374 static void tipc_node_delete(struct tipc_node *node)
 375 {
 376         list_del_rcu(&node->list);
 377         hlist_del_rcu(&node->hash);
 378         tipc_node_put(node);
 379
 380         del_timer_sync(&node->timer);
 381         tipc_node_put(node);
 382 }
 383
 384 void tipc_node_stop(struct net *net)
 385 {
 386         struct tipc_net *tn = tipc_net(net);
 387         struct tipc_node *node, *t_node;
 388
 389         spin_lock_bh(&tn->node_list_lock);
 390         list_for_each_entry_safe(node, t_node, &tn->node_list, list)
 391                 tipc_node_delete(node);
 392         spin_unlock_bh(&tn->node_list_lock);
 393 }
 394
 395 void tipc_node_subscribe(struct net *net, struct list_head *subscr, u32 addr)
 396 {
 397         struct tipc_node *n;
 398
 399         if (in_own_node(net, addr))
 400                 return;
 401
 402         n = tipc_node_find(net, addr);
 403         if (!n) {
 404                 pr_warn("Node subscribe rejected, unknown node 0x%x\n", addr);
 405                 return;
 406         }
 407         tipc_node_write_lock(n);
 408         list_add_tail(subscr, &n->publ_list);
 409         tipc_node_write_unlock(n);
 410         tipc_node_put(n);
 411 }
 412
 413 void tipc_node_unsubscribe(struct net *net, struct list_head *subscr, u32 addr)
 414 {
 415         struct tipc_node *n;
 416
 417         if (in_own_node(net, addr))
 418                 return;
 419
 420         n = tipc_node_find(net, addr);
 421         if (!n) {
 422                 pr_warn("Node unsubscribe rejected, unknown node 0x%x\n", addr);
 423                 return;
 424         }
 425         tipc_node_write_lock(n);
 426         list_del_init(subscr);
 427         tipc_node_write_unlock(n);
 428         tipc_node_put(n);
 429 }
 430
 431 int tipc_node_add_conn(struct net *net, u32 dnode, u32 port, u32 peer_port)
 432 {
 433         struct tipc_node *node;
 434         struct tipc_sock_conn *conn;
 435         int err = 0;
 436
 437         if (in_own_node(net, dnode))
 438                 return 0;
 439
 440         node = tipc_node_find(net, dnode);
 441         if (!node) {
 442                 pr_warn("Connecting sock to node 0x%x failed\n", dnode);
 443                 return -EHOSTUNREACH;
 444         }
 445         conn = kmalloc(sizeof(*conn), GFP_ATOMIC);
 446         if (!conn) {
 447                 err = -EHOSTUNREACH;
 448                 goto exit;
 449         }
 450         conn->peer_node = dnode;
 451         conn->port = port;
 452         conn->peer_port = peer_port;
 453
 454         tipc_node_write_lock(node);
 455         list_add_tail(&conn->list, &node->conn_sks);
 456         tipc_node_write_unlock(node);
 457 exit:
 458         tipc_node_put(node);
 459         return err;
 460 }
 461
 462 void tipc_node_remove_conn(struct net *net, u32 dnode, u32 port)
 463 {
 464         struct tipc_node *node;
 465         struct tipc_sock_conn *conn, *safe;
 466
 467         if (in_own_node(net, dnode))
 468                 return;
 469
 470         node = tipc_node_find(net, dnode);
 471         if (!node)
 472                 return;
 473
 474         tipc_node_write_lock(node);
 475         list_for_each_entry_safe(conn, safe, &node->conn_sks, list) {
 476                 if (port != conn->port)
 477                         continue;
 478                 list_del(&conn->list);
 479                 kfree(conn);
 480         }
 481         tipc_node_write_unlock(node);
 482         tipc_node_put(node);
 483 }
 484
 485 /* tipc_node_timeout - handle expiration of node timer
 486  */
 487 static void tipc_node_timeout(unsigned long data)
 488 {
 489         struct tipc_node *n = (struct tipc_node *)data;
 490         struct tipc_link_entry *le;
 491         struct sk_buff_head xmitq;
 492         int bearer_id;
 493         int rc = 0;
 494
 495         __skb_queue_head_init(&xmitq);
 496
 497         for (bearer_id = 0; bearer_id < MAX_BEARERS; bearer_id++) {
 498                 tipc_node_read_lock(n);
 499                 le = &n->links[bearer_id];
 500                 spin_lock_bh(&le->lock);
 501                 if (le->link) {
 502                         /* Link tolerance may change asynchronously: */
 503                         tipc_node_calculate_timer(n, le->link);
 504                         rc = tipc_link_timeout(le->link, &xmitq);
 505                 }
 506                 spin_unlock_bh(&le->lock);
 507                 tipc_node_read_unlock(n);
 508                 tipc_bearer_xmit(n->net, bearer_id, &xmitq, &le->maddr);
 509                 if (rc & TIPC_LINK_DOWN_EVT)
 510                         tipc_node_link_down(n, bearer_id, false);
 511         }
 512         mod_timer(&n->timer, jiffies + n->keepalive_intv);
 513 }
 514
 515 /**
 516  * __tipc_node_link_up - handle addition of link
 517  * Node lock must be held by caller
 518  * Link becomes active (alone or shared) or standby, depending on its priority.
 519  */
 520 static void __tipc_node_link_up(struct tipc_node *n, int bearer_id,
 521                                 struct sk_buff_head *xmitq)
 522 {
 523         int *slot0 = &n->active_links[0];
 524         int *slot1 = &n->active_links[1];
 525         struct tipc_link *ol = node_active_link(n, 0);
 526         struct tipc_link *nl = n->links[bearer_id].link;
 527
 528         if (!nl)
 529                 return;
 530
 531         tipc_link_fsm_evt(nl, LINK_ESTABLISH_EVT);
 532         if (!tipc_link_is_up(nl))
 533                 return;
 534
 535         n->working_links++;
 536         n->action_flags |= TIPC_NOTIFY_LINK_UP;
 537         n->link_id = tipc_link_id(nl);
 538
 539         /* Leave room for tunnel header when returning 'mtu' to users: */
 540         n->links[bearer_id].mtu = tipc_link_mtu(nl) - INT_H_SIZE;
 541
 542         tipc_bearer_add_dest(n->net, bearer_id, n->addr);
 543         tipc_bcast_inc_bearer_dst_cnt(n->net, bearer_id);
 544
 545         pr_debug("Established link <%s> on network plane %c\n",
 546                  tipc_link_name(nl), tipc_link_plane(nl));
 547
 548         /* Ensure that a STATE message goes first */
 549         tipc_link_build_state_msg(nl, xmitq);
 550
 551         /* First link? => give it both slots */
 552         if (!ol) {
 553                 *slot0 = bearer_id;
 554                 *slot1 = bearer_id;
 555                 tipc_node_fsm_evt(n, SELF_ESTABL_CONTACT_EVT);
 556                 n->action_flags |= TIPC_NOTIFY_NODE_UP;
 557                 tipc_bcast_add_peer(n->net, nl, xmitq);
 558                 return;
 559         }
 560
 561         /* Second link => redistribute slots */
 562         if (tipc_link_prio(nl) > tipc_link_prio(ol)) {
 563                 pr_debug("Old link <%s> becomes standby\n", tipc_link_name(ol));
 564                 *slot0 = bearer_id;
 565                 *slot1 = bearer_id;
 566                 tipc_link_set_active(nl, true);
 567                 tipc_link_set_active(ol, false);
 568         } else if (tipc_link_prio(nl) == tipc_link_prio(ol)) {
 569                 tipc_link_set_active(nl, true);
 570                 *slot1 = bearer_id;
 571         } else {
 572                 pr_debug("New link <%s> is standby\n", tipc_link_name(nl));
 573         }
 574
 575         /* Prepare synchronization with first link */
 576         tipc_link_tnl_prepare(ol, nl, SYNCH_MSG, xmitq);
 577 }
 578
 579 /**
 580  * tipc_node_link_up - handle addition of link
 581  *
 582  * Link becomes active (alone or shared) or standby, depending on its priority.
 583  */
 584 static void tipc_node_link_up(struct tipc_node *n, int bearer_id,
 585                               struct sk_buff_head *xmitq)
 586 {
 587         struct tipc_media_addr *maddr;
 588
 589         tipc_node_write_lock(n);
 590         __tipc_node_link_up(n, bearer_id, xmitq);
 591         maddr = &n->links[bearer_id].maddr;
 592         tipc_bearer_xmit(n->net, bearer_id, xmitq, maddr);
 593         tipc_node_write_unlock(n);
 594 }
 595
 596 /**
 597  * __tipc_node_link_down - handle loss of link
 598  */
 599 static void __tipc_node_link_down(struct tipc_node *n, int *bearer_id,
 600                                   struct sk_buff_head *xmitq,
 601                                   struct tipc_media_addr **maddr)
 602 {
 603         struct tipc_link_entry *le = &n->links[*bearer_id];
 604         int *slot0 = &n->active_links[0];
 605         int *slot1 = &n->active_links[1];
 606         int i, highest = 0, prio;
 607         struct tipc_link *l, *_l, *tnl;
 608
 609         l = n->links[*bearer_id].link;
 610         if (!l || tipc_link_is_reset(l))
 611                 return;
 612
 613         n->working_links--;
 614         n->action_flags |= TIPC_NOTIFY_LINK_DOWN;
 615         n->link_id = tipc_link_id(l);
 616
 617         tipc_bearer_remove_dest(n->net, *bearer_id, n->addr);
 618
 619         pr_debug("Lost link <%s> on network plane %c\n",
 620                  tipc_link_name(l), tipc_link_plane(l));
 621
 622         /* Select new active link if any available */
 623         *slot0 = INVALID_BEARER_ID;
 624         *slot1 = INVALID_BEARER_ID;
 625         for (i = 0; i < MAX_BEARERS; i++) {
 626                 _l = n->links[i].link;
 627                 if (!_l || !tipc_link_is_up(_l))
 628                         continue;
 629                 if (_l == l)
 630                         continue;
 631                 prio = tipc_link_prio(_l);
 632                 if (prio < highest)
 633                         continue;
 634                 if (prio > highest) {
 635                         highest = prio;
 636                         *slot0 = i;
 637                         *slot1 = i;
 638                         continue;
 639                 }
 640                 *slot1 = i;
 641         }
 642
 643         if (!tipc_node_is_up(n)) {
 644                 if (tipc_link_peer_is_down(l))
 645                         tipc_node_fsm_evt(n, PEER_LOST_CONTACT_EVT);
 646                 tipc_node_fsm_evt(n, SELF_LOST_CONTACT_EVT);
 647                 tipc_link_fsm_evt(l, LINK_RESET_EVT);
 648                 tipc_link_reset(l);
 649                 tipc_link_build_reset_msg(l, xmitq);
 650                 *maddr = &n->links[*bearer_id].maddr;
 651                 node_lost_contact(n, &le->inputq);
 652                 tipc_bcast_dec_bearer_dst_cnt(n->net, *bearer_id);
 653                 return;
 654         }
 655         tipc_bcast_dec_bearer_dst_cnt(n->net, *bearer_id);
 656
 657         /* There is still a working link => initiate failover */
 658         *bearer_id = n->active_links[0];
 659         tnl = n->links[*bearer_id].link;
 660         tipc_link_fsm_evt(tnl, LINK_SYNCH_END_EVT);
 661         tipc_node_fsm_evt(n, NODE_SYNCH_END_EVT);
 662         n->sync_point = tipc_link_rcv_nxt(tnl) + (U16_MAX / 2 - 1);
 663         tipc_link_tnl_prepare(l, tnl, FAILOVER_MSG, xmitq);
 664         tipc_link_reset(l);
 665         tipc_link_fsm_evt(l, LINK_RESET_EVT);
 666         tipc_link_fsm_evt(l, LINK_FAILOVER_BEGIN_EVT);
 667         tipc_node_fsm_evt(n, NODE_FAILOVER_BEGIN_EVT);
 668         *maddr = &n->links[*bearer_id].maddr;
 669 }
 670
 671 static void tipc_node_link_down(struct tipc_node *n, int bearer_id, bool delete)
 672 {
 673         struct tipc_link_entry *le = &n->links[bearer_id];
 674         struct tipc_link *l = le->link;
 675         struct tipc_media_addr *maddr;
 676         struct sk_buff_head xmitq;
 677
 678         if (!l)
 679                 return;
 680
 681         __skb_queue_head_init(&xmitq);
 682
 683         tipc_node_write_lock(n);
 684         if (!tipc_link_is_establishing(l)) {
 685                 __tipc_node_link_down(n, &bearer_id, &xmitq, &maddr);
 686                 if (delete) {
 687                         kfree(l);
 688                         le->link = NULL;
 689                         n->link_cnt--;
 690                 }
 691         } else {
 692                 /* Defuse pending tipc_node_link_up() */
 693                 tipc_link_fsm_evt(l, LINK_RESET_EVT);
 694         }
 695         tipc_node_write_unlock(n);
 696         tipc_bearer_xmit(n->net, bearer_id, &xmitq, maddr);
 697         tipc_sk_rcv(n->net, &le->inputq);
 698 }
 699
 700 static bool tipc_node_is_up(struct tipc_node *n)
 701 {
 702         return n->active_links[0] != INVALID_BEARER_ID;
 703 }
 704
 705 void tipc_node_check_dest(struct net *net, u32 onode,
 706                           struct tipc_bearer *b,
 707                           u16 capabilities, u32 signature,
 708                           struct tipc_media_addr *maddr,
 709                           bool *respond, bool *dupl_addr)
 710 {
 711         struct tipc_node *n;
 712         struct tipc_link *l;
 713         struct tipc_link_entry *le;
 714         bool addr_match = false;
 715         bool sign_match = false;
 716         bool link_up = false;
 717         bool accept_addr = false;
 718         bool reset = true;
 719         char *if_name;
 720
 721         *dupl_addr = false;
 722         *respond = false;
 723
 724         n = tipc_node_create(net, onode, capabilities);
 725         if (!n)
 726                 return;
 727
 728         tipc_node_write_lock(n);
 729
 730         le = &n->links[b->identity];
 731
 732         /* Prepare to validate requesting node's signature and media address */
 733         l = le->link;
 734         link_up = l && tipc_link_is_up(l);
 735         addr_match = l && !memcmp(&le->maddr, maddr, sizeof(*maddr));
 736         sign_match = (signature == n->signature);
 737
 738         /* These three flags give us eight permutations: */
 739
 740         if (sign_match && addr_match && link_up) {
 741                 /* All is fine. Do nothing. */
 742                 reset = false;
 743         } else if (sign_match && addr_match && !link_up) {
 744                 /* Respond. The link will come up in due time */
 745                 *respond = true;
 746         } else if (sign_match && !addr_match && link_up) {
 747                 /* Peer has changed i/f address without rebooting.
 748                  * If so, the link will reset soon, and the next
 749                  * discovery will be accepted. So we can ignore it.
 750                  * It may also be an cloned or malicious peer having
 751                  * chosen the same node address and signature as an
 752                  * existing one.
 753                  * Ignore requests until the link goes down, if ever.
 754                  */
 755                 *dupl_addr = true;
 756         } else if (sign_match && !addr_match && !link_up) {
 757                 /* Peer link has changed i/f address without rebooting.
 758                  * It may also be a cloned or malicious peer; we can't
 759                  * distinguish between the two.
 760                  * The signature is correct, so we must accept.
 761                  */
 762                 accept_addr = true;
 763                 *respond = true;
 764         } else if (!sign_match && addr_match && link_up) {
 765                 /* Peer node rebooted. Two possibilities:
 766                  *  - Delayed re-discovery; this link endpoint has already
 767                  *    reset and re-established contact with the peer, before
 768                  *    receiving a discovery message from that node.
 769                  *    (The peer happened to receive one from this node first).
 770                  *  - The peer came back so fast that our side has not
 771                  *    discovered it yet. Probing from this side will soon
 772                  *    reset the link, since there can be no working link
 773                  *    endpoint at the peer end, and the link will re-establish.
 774                  *  Accept the signature, since it comes from a known peer.
 775                  */
 776                 n->signature = signature;
 777         } else if (!sign_match && addr_match && !link_up) {
 778                 /*  The peer node has rebooted.
 779                  *  Accept signature, since it is a known peer.
 780                  */
 781                 n->signature = signature;
 782                 *respond = true;
 783         } else if (!sign_match && !addr_match && link_up) {
 784                 /* Peer rebooted with new address, or a new/duplicate peer.
 785                  * Ignore until the link goes down, if ever.
 786                  */
 787                 *dupl_addr = true;
 788         } else if (!sign_match && !addr_match && !link_up) {
 789                 /* Peer rebooted with new address, or it is a new peer.
 790                  * Accept signature and address.
 791                  */
 792                 n->signature = signature;
 793                 accept_addr = true;
 794                 *respond = true;
 795         }
 796
 797         if (!accept_addr)
 798                 goto exit;
 799
 800         /* Now create new link if not already existing */
 801         if (!l) {
 802                 if (n->link_cnt == 2) {
 803                         pr_warn("Cannot establish 3rd link to %x\n", n->addr);
 804                         goto exit;
 805                 }
 806                 if_name = strchr(b->name, ':') + 1;
 807                 if (!tipc_link_create(net, if_name, b->identity, b->tolerance,
 808                                       b->net_plane, b->mtu, b->priority,
 809                                       b->window, mod(tipc_net(net)->random),
 810                                       tipc_own_addr(net), onode,
 811                                       n->capabilities,
 812                                       tipc_bc_sndlink(n->net), n->bc_entry.link,
 813                                       &le->inputq,
 814                                       &n->bc_entry.namedq, &l)) {
 815                         *respond = false;
 816                         goto exit;
 817                 }
 818                 tipc_link_reset(l);
 819                 tipc_link_fsm_evt(l, LINK_RESET_EVT);
 820                 if (n->state == NODE_FAILINGOVER)
 821                         tipc_link_fsm_evt(l, LINK_FAILOVER_BEGIN_EVT);
 822                 le->link = l;
 823                 n->link_cnt++;
 824                 tipc_node_calculate_timer(n, l);
 825                 if (n->link_cnt == 1)
 826                         if (!mod_timer(&n->timer, jiffies + n->keepalive_intv))
 827                                 tipc_node_get(n);
 828         }
 829         memcpy(&le->maddr, maddr, sizeof(*maddr));
 830 exit:
 831         tipc_node_write_unlock(n);
 832         if (reset && l && !tipc_link_is_reset(l))
 833                 tipc_node_link_down(n, b->identity, false);
 834         tipc_node_put(n);
 835 }
 836
 837 void tipc_node_delete_links(struct net *net, int bearer_id)
 838 {
 839         struct tipc_net *tn = net_generic(net, tipc_net_id);
 840         struct tipc_node *n;
 841
 842         rcu_read_lock();
 843         list_for_each_entry_rcu(n, &tn->node_list, list) {
 844                 tipc_node_link_down(n, bearer_id, true);
 845         }
 846         rcu_read_unlock();
 847 }
 848
 849 static void tipc_node_reset_links(struct tipc_node *n)
 850 {
 851         char addr_string[16];
 852         int i;
 853
 854         pr_warn("Resetting all links to %s\n",
 855                 tipc_addr_string_fill(addr_string, n->addr));
 856
 857         for (i = 0; i < MAX_BEARERS; i++) {
 858                 tipc_node_link_down(n, i, false);
 859         }
 860 }
 861
 862 /* tipc_node_fsm_evt - node finite state machine
 863  * Determines when contact is allowed with peer node
 864  */
 865 static void tipc_node_fsm_evt(struct tipc_node *n, int evt)
 866 {
 867         int state = n->state;
 868
 869         switch (state) {
 870         case SELF_DOWN_PEER_DOWN:
 871                 switch (evt) {
 872                 case SELF_ESTABL_CONTACT_EVT:
 873                         state = SELF_UP_PEER_COMING;
 874                         break;
 875                 case PEER_ESTABL_CONTACT_EVT:
 876                         state = SELF_COMING_PEER_UP;
 877                         break;
 878                 case SELF_LOST_CONTACT_EVT:
 879                 case PEER_LOST_CONTACT_EVT:
 880                         break;
 881                 case NODE_SYNCH_END_EVT:
 882                 case NODE_SYNCH_BEGIN_EVT:
 883                 case NODE_FAILOVER_BEGIN_EVT:
 884                 case NODE_FAILOVER_END_EVT:
 885                 default:
 886                         goto illegal_evt;
 887                 }
 888                 break;
 889         case SELF_UP_PEER_UP:
 890                 switch (evt) {
 891                 case SELF_LOST_CONTACT_EVT:
 892                         state = SELF_DOWN_PEER_LEAVING;
 893                         break;
 894                 case PEER_LOST_CONTACT_EVT:
 895                         state = SELF_LEAVING_PEER_DOWN;
 896                         break;
 897                 case NODE_SYNCH_BEGIN_EVT:
 898                         state = NODE_SYNCHING;
 899                         break;
 900                 case NODE_FAILOVER_BEGIN_EVT:
 901                         state = NODE_FAILINGOVER;
 902                         break;
 903                 case SELF_ESTABL_CONTACT_EVT:
 904                 case PEER_ESTABL_CONTACT_EVT:
 905                 case NODE_SYNCH_END_EVT:
 906                 case NODE_FAILOVER_END_EVT:
 907                         break;
 908                 default:
 909                         goto illegal_evt;
 910                 }
 911                 break;
 912         case SELF_DOWN_PEER_LEAVING:
 913                 switch (evt) {
 914                 case PEER_LOST_CONTACT_EVT:
 915                         state = SELF_DOWN_PEER_DOWN;
 916                         break;
 917                 case SELF_ESTABL_CONTACT_EVT:
 918                 case PEER_ESTABL_CONTACT_EVT:
 919                 case SELF_LOST_CONTACT_EVT:
 920                         break;
 921                 case NODE_SYNCH_END_EVT:
 922                 case NODE_SYNCH_BEGIN_EVT:
 923                 case NODE_FAILOVER_BEGIN_EVT:
 924                 case NODE_FAILOVER_END_EVT:
 925                 default:
 926                         goto illegal_evt;
 927                 }
 928                 break;
 929         case SELF_UP_PEER_COMING:
 930                 switch (evt) {
 931                 case PEER_ESTABL_CONTACT_EVT:
 932                         state = SELF_UP_PEER_UP;
 933                         break;
 934                 case SELF_LOST_CONTACT_EVT:
 935                         state = SELF_DOWN_PEER_LEAVING;
 936                         break;
 937                 case SELF_ESTABL_CONTACT_EVT:
 938                 case PEER_LOST_CONTACT_EVT:
 939                 case NODE_SYNCH_END_EVT:
 940                 case NODE_FAILOVER_BEGIN_EVT:
 941                         break;
 942                 case NODE_SYNCH_BEGIN_EVT:
 943                 case NODE_FAILOVER_END_EVT:
 944                 default:
 945                         goto illegal_evt;
 946                 }
 947                 break;
 948         case SELF_COMING_PEER_UP:
 949                 switch (evt) {
 950                 case SELF_ESTABL_CONTACT_EVT:
 951                         state = SELF_UP_PEER_UP;
 952                         break;
 953                 case PEER_LOST_CONTACT_EVT:
 954                         state = SELF_LEAVING_PEER_DOWN;
 955                         break;
 956                 case SELF_LOST_CONTACT_EVT:
 957                 case PEER_ESTABL_CONTACT_EVT:
 958                         break;
 959                 case NODE_SYNCH_END_EVT:
 960                 case NODE_SYNCH_BEGIN_EVT:
 961                 case NODE_FAILOVER_BEGIN_EVT:
 962                 case NODE_FAILOVER_END_EVT:
 963                 default:
 964                         goto illegal_evt;
 965                 }
 966                 break;
 967         case SELF_LEAVING_PEER_DOWN:
 968                 switch (evt) {
 969                 case SELF_LOST_CONTACT_EVT:
 970                         state = SELF_DOWN_PEER_DOWN;
 971                         break;
 972                 case SELF_ESTABL_CONTACT_EVT:
 973                 case PEER_ESTABL_CONTACT_EVT:
 974                 case PEER_LOST_CONTACT_EVT:
 975                         break;
 976                 case NODE_SYNCH_END_EVT:
 977                 case NODE_SYNCH_BEGIN_EVT:
 978                 case NODE_FAILOVER_BEGIN_EVT:
 979                 case NODE_FAILOVER_END_EVT:
 980                 default:
 981                         goto illegal_evt;
 982                 }
 983                 break;
 984         case NODE_FAILINGOVER:
 985                 switch (evt) {
 986                 case SELF_LOST_CONTACT_EVT:
 987                         state = SELF_DOWN_PEER_LEAVING;
 988                         break;
 989                 case PEER_LOST_CONTACT_EVT:
 990                         state = SELF_LEAVING_PEER_DOWN;
 991                         break;
 992                 case NODE_FAILOVER_END_EVT:
 993                         state = SELF_UP_PEER_UP;
 994                         break;
 995                 case NODE_FAILOVER_BEGIN_EVT:
 996                 case SELF_ESTABL_CONTACT_EVT:
 997                 case PEER_ESTABL_CONTACT_EVT:
 998                         break;
 999                 case NODE_SYNCH_BEGIN_EVT:
1000                 case NODE_SYNCH_END_EVT:
1001                 default:
1002                         goto illegal_evt;
1003                 }
1004                 break;
1005         case NODE_SYNCHING:
1006                 switch (evt) {
1007                 case SELF_LOST_CONTACT_EVT:
1008                         state = SELF_DOWN_PEER_LEAVING;
1009                         break;
1010                 case PEER_LOST_CONTACT_EVT:
1011                         state = SELF_LEAVING_PEER_DOWN;
1012                         break;
1013                 case NODE_SYNCH_END_EVT:
1014                         state = SELF_UP_PEER_UP;
1015                         break;
1016                 case NODE_FAILOVER_BEGIN_EVT:
1017                         state = NODE_FAILINGOVER;
1018                         break;
1019                 case NODE_SYNCH_BEGIN_EVT:
1020                 case SELF_ESTABL_CONTACT_EVT:
1021                 case PEER_ESTABL_CONTACT_EVT:
1022                         break;
1023                 case NODE_FAILOVER_END_EVT:
1024                 default:
1025                         goto illegal_evt;
1026                 }
1027                 break;
1028         default:
1029                 pr_err("Unknown node fsm state %x\n", state);
1030                 break;
1031         }
1032         n->state = state;
1033         return;
1034
1035 illegal_evt:
1036         pr_err("Illegal node fsm evt %x in state %x\n", evt, state);
1037 }
1038
1039 static void node_lost_contact(struct tipc_node *n,
1040                               struct sk_buff_head *inputq)
1041 {
1042         char addr_string[16];
1043         struct tipc_sock_conn *conn, *safe;
1044         struct tipc_link *l;
1045         struct list_head *conns = &n->conn_sks;
1046         struct sk_buff *skb;
1047         uint i;
1048
1049         pr_debug("Lost contact with %s\n",
1050                  tipc_addr_string_fill(addr_string, n->addr));
1051
1052         /* Clean up broadcast state */
1053         tipc_bcast_remove_peer(n->net, n->bc_entry.link);
1054
1055         /* Abort any ongoing link failover */
1056         for (i = 0; i < MAX_BEARERS; i++) {
1057                 l = n->links[i].link;
1058                 if (l)
1059                         tipc_link_fsm_evt(l, LINK_FAILOVER_END_EVT);
1060         }
1061
1062         /* Notify publications from this node */
1063         n->action_flags |= TIPC_NOTIFY_NODE_DOWN;
1064
1065         /* Notify sockets connected to node */
1066         list_for_each_entry_safe(conn, safe, conns, list) {
1067                 skb = tipc_msg_create(TIPC_CRITICAL_IMPORTANCE, TIPC_CONN_MSG,
1068                                       SHORT_H_SIZE, 0, tipc_own_addr(n->net),
1069                                       conn->peer_node, conn->port,
1070                                       conn->peer_port, TIPC_ERR_NO_NODE);
1071                 if (likely(skb))
1072                         skb_queue_tail(inputq, skb);
1073                 list_del(&conn->list);
1074                 kfree(conn);
1075         }
1076 }
1077
1078 /**
1079  * tipc_node_get_linkname - get the name of a link
1080  *
1081  * @bearer_id: id of the bearer
1082  * @node: peer node address
1083  * @linkname: link name output buffer
1084  *
1085  * Returns 0 on success
1086  */
1087 int tipc_node_get_linkname(struct net *net, u32 bearer_id, u32 addr,
1088                            char *linkname, size_t len)
1089 {
1090         struct tipc_link *link;
1091         int err = -EINVAL;
1092         struct tipc_node *node = tipc_node_find(net, addr);
1093
1094         if (!node)
1095                 return err;
1096
1097         if (bearer_id >= MAX_BEARERS)
1098                 goto exit;
1099
1100         tipc_node_read_lock(node);
1101         link = node->links[bearer_id].link;
1102         if (link) {
1103                 strncpy(linkname, tipc_link_name(link), len);
1104                 err = 0;
1105         }
1106 exit:
1107         tipc_node_read_unlock(node);
1108         tipc_node_put(node);
1109         return err;
1110 }
1111
1112 /* Caller should hold node lock for the passed node */
1113 static int __tipc_nl_add_node(struct tipc_nl_msg *msg, struct tipc_node *node)
1114 {
1115         void *hdr;
1116         struct nlattr *attrs;
1117
1118         hdr = genlmsg_put(msg->skb, msg->portid, msg->seq, &tipc_genl_family,
1119                           NLM_F_MULTI, TIPC_NL_NODE_GET);
1120         if (!hdr)
1121                 return -EMSGSIZE;
1122
1123         attrs = nla_nest_start(msg->skb, TIPC_NLA_NODE);
1124         if (!attrs)
1125                 goto msg_full;
1126
1127         if (nla_put_u32(msg->skb, TIPC_NLA_NODE_ADDR, node->addr))
1128                 goto attr_msg_full;
1129         if (tipc_node_is_up(node))
1130                 if (nla_put_flag(msg->skb, TIPC_NLA_NODE_UP))
1131                         goto attr_msg_full;
1132
1133         nla_nest_end(msg->skb, attrs);
1134         genlmsg_end(msg->skb, hdr);
1135
1136         return 0;
1137
1138 attr_msg_full:
1139         nla_nest_cancel(msg->skb, attrs);
1140 msg_full:
1141         genlmsg_cancel(msg->skb, hdr);
1142
1143         return -EMSGSIZE;
1144 }
1145
1146 /**
1147  * tipc_node_xmit() is the general link level function for message sending
1148  * @net: the applicable net namespace
1149  * @list: chain of buffers containing message
1150  * @dnode: address of destination node
1151  * @selector: a number used for deterministic link selection
1152  * Consumes the buffer chain, except when returning -ELINKCONG
1153  * Returns 0 if success, otherwise: -ELINKCONG,-EHOSTUNREACH,-EMSGSIZE,-ENOBUF
1154  */
1155 int tipc_node_xmit(struct net *net, struct sk_buff_head *list,
1156                    u32 dnode, int selector)
1157 {
1158         struct tipc_link_entry *le = NULL;
1159         struct tipc_node *n;
1160         struct sk_buff_head xmitq;
1161         int bearer_id;
1162         int rc;
1163
1164         if (in_own_node(net, dnode)) {
1165                 tipc_sk_rcv(net, list);
1166                 return 0;
1167         }
1168
1169         n = tipc_node_find(net, dnode);
1170         if (unlikely(!n)) {
1171                 skb_queue_purge(list);
1172                 return -EHOSTUNREACH;
1173         }
1174
1175         tipc_node_read_lock(n);
1176         bearer_id = n->active_links[selector & 1];
1177         if (unlikely(bearer_id == INVALID_BEARER_ID)) {
1178                 tipc_node_read_unlock(n);
1179                 tipc_node_put(n);
1180                 skb_queue_purge(list);
1181                 return -EHOSTUNREACH;
1182         }
1183
1184         __skb_queue_head_init(&xmitq);
1185         le = &n->links[bearer_id];
1186         spin_lock_bh(&le->lock);
1187         rc = tipc_link_xmit(le->link, list, &xmitq);
1188         spin_unlock_bh(&le->lock);
1189         tipc_node_read_unlock(n);
1190
1191         if (likely(rc == 0))
1192                 tipc_bearer_xmit(net, bearer_id, &xmitq, &le->maddr);
1193         else if (rc == -ENOBUFS)
1194                 tipc_node_link_down(n, bearer_id, false);
1195
1196         tipc_node_put(n);
1197
1198         return rc;
1199 }
1200
1201 /* tipc_node_xmit_skb(): send single buffer to destination
1202  * Buffers sent via this functon are generally TIPC_SYSTEM_IMPORTANCE
1203  * messages, which will not be rejected
1204  * The only exception is datagram messages rerouted after secondary
1205  * lookup, which are rare and safe to dispose of anyway.
1206  * TODO: Return real return value, and let callers use
1207  * tipc_wait_for_sendpkt() where applicable
1208  */
1209 int tipc_node_xmit_skb(struct net *net, struct sk_buff *skb, u32 dnode,
1210                        u32 selector)
1211 {
1212         struct sk_buff_head head;
1213         int rc;
1214
1215         skb_queue_head_init(&head);
1216         __skb_queue_tail(&head, skb);
1217         rc = tipc_node_xmit(net, &head, dnode, selector);
1218         if (rc == -ELINKCONG)
1219                 kfree_skb(skb);
1220         return 0;
1221 }
1222
1223 void tipc_node_broadcast(struct net *net, struct sk_buff *skb)
1224 {
1225         struct sk_buff *txskb;
1226         struct tipc_node *n;
1227         u32 dst;
1228
1229         rcu_read_lock();
1230         list_for_each_entry_rcu(n, tipc_nodes(net), list) {
1231                 dst = n->addr;
1232                 if (in_own_node(net, dst))
1233                         continue;
1234                 if (!tipc_node_is_up(n))
1235                         continue;
1236                 txskb = pskb_copy(skb, GFP_ATOMIC);
1237                 if (!txskb)
1238                         break;
1239                 msg_set_destnode(buf_msg(txskb), dst);
1240                 tipc_node_xmit_skb(net, txskb, dst, 0);
1241         }
1242         rcu_read_unlock();
1243
1244         kfree_skb(skb);
1245 }
1246
1247 /**
1248  * tipc_node_bc_rcv - process TIPC broadcast packet arriving from off-node
1249  * @net: the applicable net namespace
1250  * @skb: TIPC packet
1251  * @bearer_id: id of bearer message arrived on
1252  *
1253  * Invoked with no locks held.
1254  */
1255 static void tipc_node_bc_rcv(struct net *net, struct sk_buff *skb, int bearer_id)
1256 {
1257         int rc;
1258         struct sk_buff_head xmitq;
1259         struct tipc_bclink_entry *be;
1260         struct tipc_link_entry *le;
1261         struct tipc_msg *hdr = buf_msg(skb);
1262         int usr = msg_user(hdr);
1263         u32 dnode = msg_destnode(hdr);
1264         struct tipc_node *n;
1265
1266         __skb_queue_head_init(&xmitq);
1267
1268         /* If NACK for other node, let rcv link for that node peek into it */
1269         if ((usr == BCAST_PROTOCOL) && (dnode != tipc_own_addr(net)))
1270                 n = tipc_node_find(net, dnode);
1271         else
1272                 n = tipc_node_find(net, msg_prevnode(hdr));
1273         if (!n) {
1274                 kfree_skb(skb);
1275                 return;
1276         }
1277         be = &n->bc_entry;
1278         le = &n->links[bearer_id];
1279
1280         rc = tipc_bcast_rcv(net, be->link, skb);
1281
1282         /* Broadcast link reset may happen at reassembly failure */
1283         if (rc & TIPC_LINK_DOWN_EVT)
1284                 tipc_node_reset_links(n);
1285
1286         /* Broadcast ACKs are sent on a unicast link */
1287         if (rc & TIPC_LINK_SND_BC_ACK) {
1288                 tipc_node_read_lock(n);
1289                 tipc_link_build_state_msg(le->link, &xmitq);
1290                 tipc_node_read_unlock(n);
1291         }
1292
1293         if (!skb_queue_empty(&xmitq))
1294                 tipc_bearer_xmit(net, bearer_id, &xmitq, &le->maddr);
1295
1296         /* Deliver. 'arrvq' is under inputq2's lock protection */
1297         if (!skb_queue_empty(&be->inputq1)) {
1298                 spin_lock_bh(&be->inputq2.lock);
1299                 spin_lock_bh(&be->inputq1.lock);
1300                 skb_queue_splice_tail_init(&be->inputq1, &be->arrvq);
1301                 spin_unlock_bh(&be->inputq1.lock);
1302                 spin_unlock_bh(&be->inputq2.lock);
1303                 tipc_sk_mcast_rcv(net, &be->arrvq, &be->inputq2);
1304         }
1305         tipc_node_put(n);
1306 }
1307
1308 /**
1309  * tipc_node_check_state - check and if necessary update node state
1310  * @skb: TIPC packet
1311  * @bearer_id: identity of bearer delivering the packet
1312  * Returns true if state is ok, otherwise consumes buffer and returns false
1313  */
1314 static bool tipc_node_check_state(struct tipc_node *n, struct sk_buff *skb,
1315                                   int bearer_id, struct sk_buff_head *xmitq)
1316 {
1317         struct tipc_msg *hdr = buf_msg(skb);
1318         int usr = msg_user(hdr);
1319         int mtyp = msg_type(hdr);
1320         u16 oseqno = msg_seqno(hdr);
1321         u16 iseqno = msg_seqno(msg_get_wrapped(hdr));
1322         u16 exp_pkts = msg_msgcnt(hdr);
1323         u16 rcv_nxt, syncpt, dlv_nxt, inputq_len;
1324         int state = n->state;
1325         struct tipc_link *l, *tnl, *pl = NULL;
1326         struct tipc_media_addr *maddr;
1327         int pb_id;
1328
1329         l = n->links[bearer_id].link;
1330         if (!l)
1331                 return false;
1332         rcv_nxt = tipc_link_rcv_nxt(l);
1333
1334
1335         if (likely((state == SELF_UP_PEER_UP) && (usr != TUNNEL_PROTOCOL)))
1336                 return true;
1337
1338         /* Find parallel link, if any */
1339         for (pb_id = 0; pb_id < MAX_BEARERS; pb_id++) {
1340                 if ((pb_id != bearer_id) && n->links[pb_id].link) {
1341                         pl = n->links[pb_id].link;
1342                         break;
1343                 }
1344         }
1345
1346         /* Check and update node accesibility if applicable */
1347         if (state == SELF_UP_PEER_COMING) {
1348                 if (!tipc_link_is_up(l))
1349                         return true;
1350                 if (!msg_peer_link_is_up(hdr))
1351                         return true;
1352                 tipc_node_fsm_evt(n, PEER_ESTABL_CONTACT_EVT);
1353         }
1354
1355         if (state == SELF_DOWN_PEER_LEAVING) {
1356                 if (msg_peer_node_is_up(hdr))
1357                         return false;
1358                 tipc_node_fsm_evt(n, PEER_LOST_CONTACT_EVT);
1359                 return true;
1360         }
1361
1362         if (state == SELF_LEAVING_PEER_DOWN)
1363                 return false;
1364
1365         /* Ignore duplicate packets */
1366         if ((usr != LINK_PROTOCOL) && less(oseqno, rcv_nxt))
1367                 return true;
1368
1369         /* Initiate or update failover mode if applicable */
1370         if ((usr == TUNNEL_PROTOCOL) && (mtyp == FAILOVER_MSG)) {
1371                 syncpt = oseqno + exp_pkts - 1;
1372                 if (pl && tipc_link_is_up(pl)) {
1373                         __tipc_node_link_down(n, &pb_id, xmitq, &maddr);
1374                         tipc_skb_queue_splice_tail_init(tipc_link_inputq(pl),
1375                                                         tipc_link_inputq(l));
1376                 }
1377                 /* If pkts arrive out of order, use lowest calculated syncpt */
1378                 if (less(syncpt, n->sync_point))
1379                         n->sync_point = syncpt;
1380         }
1381
1382         /* Open parallel link when tunnel link reaches synch point */
1383         if ((n->state == NODE_FAILINGOVER) && tipc_link_is_up(l)) {
1384                 if (!more(rcv_nxt, n->sync_point))
1385                         return true;
1386                 tipc_node_fsm_evt(n, NODE_FAILOVER_END_EVT);
1387                 if (pl)
1388                         tipc_link_fsm_evt(pl, LINK_FAILOVER_END_EVT);
1389                 return true;
1390         }
1391
1392         /* No synching needed if only one link */
1393         if (!pl || !tipc_link_is_up(pl))
1394                 return true;
1395
1396         /* Initiate synch mode if applicable */
1397         if ((usr == TUNNEL_PROTOCOL) && (mtyp == SYNCH_MSG) && (oseqno == 1)) {
1398                 syncpt = iseqno + exp_pkts - 1;
1399                 if (!tipc_link_is_up(l)) {
1400                         tipc_link_fsm_evt(l, LINK_ESTABLISH_EVT);
1401                         __tipc_node_link_up(n, bearer_id, xmitq);
1402                 }
1403                 if (n->state == SELF_UP_PEER_UP) {
1404                         n->sync_point = syncpt;
1405                         tipc_link_fsm_evt(l, LINK_SYNCH_BEGIN_EVT);
1406                         tipc_node_fsm_evt(n, NODE_SYNCH_BEGIN_EVT);
1407                 }
1408         }
1409
1410         /* Open tunnel link when parallel link reaches synch point */
1411         if (n->state == NODE_SYNCHING) {
1412                 if (tipc_link_is_synching(l)) {
1413                         tnl = l;
1414                 } else {
1415                         tnl = pl;
1416                         pl = l;
1417                 }
1418                 inputq_len = skb_queue_len(tipc_link_inputq(pl));
1419                 dlv_nxt = tipc_link_rcv_nxt(pl) - inputq_len;
1420                 if (more(dlv_nxt, n->sync_point)) {
1421                         tipc_link_fsm_evt(tnl, LINK_SYNCH_END_EVT);
1422                         tipc_node_fsm_evt(n, NODE_SYNCH_END_EVT);
1423                         return true;
1424                 }
1425                 if (l == pl)
1426                         return true;
1427                 if ((usr == TUNNEL_PROTOCOL) && (mtyp == SYNCH_MSG))
1428                         return true;
1429                 if (usr == LINK_PROTOCOL)
1430                         return true;
1431                 return false;
1432         }
1433         return true;
1434 }
1435
1436 /**
1437  * tipc_rcv - process TIPC packets/messages arriving from off-node
1438  * @net: the applicable net namespace
1439  * @skb: TIPC packet
1440  * @bearer: pointer to bearer message arrived on
1441  *
1442  * Invoked with no locks held. Bearer pointer must point to a valid bearer
1443  * structure (i.e. cannot be NULL), but bearer can be inactive.
1444  */
1445 void tipc_rcv(struct net *net, struct sk_buff *skb, struct tipc_bearer *b)
1446 {
1447         struct sk_buff_head xmitq;
1448         struct tipc_node *n;
1449         struct tipc_msg *hdr = buf_msg(skb);
1450         int usr = msg_user(hdr);
1451         int bearer_id = b->identity;
1452         struct tipc_link_entry *le;
1453         u16 bc_ack = msg_bcast_ack(hdr);
1454         int rc = 0;
1455
1456         __skb_queue_head_init(&xmitq);
1457
1458         /* Ensure message is well-formed */
1459         if (unlikely(!tipc_msg_validate(skb)))
1460                 goto discard;
1461
1462         /* Handle arrival of discovery or broadcast packet */
1463         if (unlikely(msg_non_seq(hdr))) {
1464                 if (unlikely(usr == LINK_CONFIG))
1465                         return tipc_disc_rcv(net, skb, b);
1466                 else
1467                         return tipc_node_bc_rcv(net, skb, bearer_id);
1468         }
1469
1470         /* Locate neighboring node that sent packet */
1471         n = tipc_node_find(net, msg_prevnode(hdr));
1472         if (unlikely(!n))
1473                 goto discard;
1474         le = &n->links[bearer_id];
1475
1476         /* Ensure broadcast reception is in synch with peer's send state */
1477         if (unlikely(usr == LINK_PROTOCOL))
1478                 tipc_bcast_sync_rcv(net, n->bc_entry.link, hdr);
1479         else if (unlikely(tipc_link_acked(n->bc_entry.link) != bc_ack))
1480                 tipc_bcast_ack_rcv(net, n->bc_entry.link, bc_ack);
1481
1482         /* Receive packet directly if conditions permit */
1483         tipc_node_read_lock(n);
1484         if (likely((n->state == SELF_UP_PEER_UP) && (usr != TUNNEL_PROTOCOL))) {
1485                 spin_lock_bh(&le->lock);
1486                 if (le->link) {
1487                         rc = tipc_link_rcv(le->link, skb, &xmitq);
1488                         skb = NULL;
1489                 }
1490                 spin_unlock_bh(&le->lock);
1491         }
1492         tipc_node_read_unlock(n);
1493
1494         /* Check/update node state before receiving */
1495         if (unlikely(skb)) {
1496                 tipc_node_write_lock(n);
1497                 if (tipc_node_check_state(n, skb, bearer_id, &xmitq)) {
1498                         if (le->link) {
1499                                 rc = tipc_link_rcv(le->link, skb, &xmitq);
1500                                 skb = NULL;
1501                         }
1502                 }
1503                 tipc_node_write_unlock(n);
1504         }
1505
1506         if (unlikely(rc & TIPC_LINK_UP_EVT))
1507                 tipc_node_link_up(n, bearer_id, &xmitq);
1508
1509         if (unlikely(rc & TIPC_LINK_DOWN_EVT))
1510                 tipc_node_link_down(n, bearer_id, false);
1511
1512         if (unlikely(!skb_queue_empty(&n->bc_entry.namedq)))
1513                 tipc_named_rcv(net, &n->bc_entry.namedq);
1514
1515         if (!skb_queue_empty(&le->inputq))
1516                 tipc_sk_rcv(net, &le->inputq);
1517
1518         if (!skb_queue_empty(&xmitq))
1519                 tipc_bearer_xmit(net, bearer_id, &xmitq, &le->maddr);
1520
1521         tipc_node_put(n);
1522 discard:
1523         kfree_skb(skb);
1524 }
1525
1526 int tipc_nl_node_dump(struct sk_buff *skb, struct netlink_callback *cb)
1527 {
1528         int err;
1529         struct net *net = sock_net(skb->sk);
1530         struct tipc_net *tn = net_generic(net, tipc_net_id);
1531         int done = cb->args[0];
1532         int last_addr = cb->args[1];
1533         struct tipc_node *node;
1534         struct tipc_nl_msg msg;
1535
1536         if (done)
1537                 return 0;
1538
1539         msg.skb = skb;
1540         msg.portid = NETLINK_CB(cb->skb).portid;
1541         msg.seq = cb->nlh->nlmsg_seq;
1542
1543         rcu_read_lock();
1544         if (last_addr) {
1545                 node = tipc_node_find(net, last_addr);
1546                 if (!node) {
1547                         rcu_read_unlock();
1548                         /* We never set seq or call nl_dump_check_consistent()
1549                          * this means that setting prev_seq here will cause the
1550                          * consistence check to fail in the netlink callback
1551                          * handler. Resulting in the NLMSG_DONE message having
1552                          * the NLM_F_DUMP_INTR flag set if the node state
1553                          * changed while we released the lock.
1554                          */
1555                         cb->prev_seq = 1;
1556                         return -EPIPE;
1557                 }
1558                 tipc_node_put(node);
1559         }
1560
1561         list_for_each_entry_rcu(node, &tn->node_list, list) {
1562                 if (last_addr) {
1563                         if (node->addr == last_addr)
1564                                 last_addr = 0;
1565                         else
1566                                 continue;
1567                 }
1568
1569                 tipc_node_read_lock(node);
1570                 err = __tipc_nl_add_node(&msg, node);
1571                 if (err) {
1572                         last_addr = node->addr;
1573                         tipc_node_read_unlock(node);
1574                         goto out;
1575                 }
1576
1577                 tipc_node_read_unlock(node);
1578         }
1579         done = 1;
1580 out:
1581         cb->args[0] = done;
1582         cb->args[1] = last_addr;
1583         rcu_read_unlock();
1584
1585         return skb->len;
1586 }
1587
1588 /* tipc_node_find_by_name - locate owner node of link by link's name
1589  * @net: the applicable net namespace
1590  * @name: pointer to link name string
1591  * @bearer_id: pointer to index in 'node->links' array where the link was found.
1592  *
1593  * Returns pointer to node owning the link, or 0 if no matching link is found.
1594  */
1595 static struct tipc_node *tipc_node_find_by_name(struct net *net,
1596                                                 const char *link_name,
1597                                                 unsigned int *bearer_id)
1598 {
1599         struct tipc_net *tn = net_generic(net, tipc_net_id);
1600         struct tipc_link *l;
1601         struct tipc_node *n;
1602         struct tipc_node *found_node = NULL;
1603         int i;
1604
1605         *bearer_id = 0;
1606         rcu_read_lock();
1607         list_for_each_entry_rcu(n, &tn->node_list, list) {
1608                 tipc_node_read_lock(n);
1609                 for (i = 0; i < MAX_BEARERS; i++) {
1610                         l = n->links[i].link;
1611                         if (l && !strcmp(tipc_link_name(l), link_name)) {
1612                                 *bearer_id = i;
1613                                 found_node = n;
1614                                 break;
1615                         }
1616                 }
1617                 tipc_node_read_unlock(n);
1618                 if (found_node)
1619                         break;
1620         }
1621         rcu_read_unlock();
1622
1623         return found_node;
1624 }
1625
1626 int tipc_nl_node_set_link(struct sk_buff *skb, struct genl_info *info)
1627 {
1628         int err;
1629         int res = 0;
1630         int bearer_id;
1631         char *name;
1632         struct tipc_link *link;
1633         struct tipc_node *node;
1634         struct sk_buff_head xmitq;
1635         struct nlattr *attrs[TIPC_NLA_LINK_MAX + 1];
1636         struct net *net = sock_net(skb->sk);
1637
1638         __skb_queue_head_init(&xmitq);
1639
1640         if (!info->attrs[TIPC_NLA_LINK])
1641                 return -EINVAL;
1642
1643         err = nla_parse_nested(attrs, TIPC_NLA_LINK_MAX,
1644                                info->attrs[TIPC_NLA_LINK],
1645                                tipc_nl_link_policy);
1646         if (err)
1647                 return err;
1648
1649         if (!attrs[TIPC_NLA_LINK_NAME])
1650                 return -EINVAL;
1651
1652         name = nla_data(attrs[TIPC_NLA_LINK_NAME]);
1653
1654         if (strcmp(name, tipc_bclink_name) == 0)
1655                 return tipc_nl_bc_link_set(net, attrs);
1656
1657         node = tipc_node_find_by_name(net, name, &bearer_id);
1658         if (!node)
1659                 return -EINVAL;
1660
1661         tipc_node_read_lock(node);
1662
1663         link = node->links[bearer_id].link;
1664         if (!link) {
1665                 res = -EINVAL;
1666                 goto out;
1667         }
1668
1669         if (attrs[TIPC_NLA_LINK_PROP]) {
1670                 struct nlattr *props[TIPC_NLA_PROP_MAX + 1];
1671
1672                 err = tipc_nl_parse_link_prop(attrs[TIPC_NLA_LINK_PROP],
1673                                               props);
1674                 if (err) {
1675                         res = err;
1676                         goto out;
1677                 }
1678
1679                 if (props[TIPC_NLA_PROP_TOL]) {
1680                         u32 tol;
1681
1682                         tol = nla_get_u32(props[TIPC_NLA_PROP_TOL]);
1683                         tipc_link_set_tolerance(link, tol, &xmitq);
1684                 }
1685                 if (props[TIPC_NLA_PROP_PRIO]) {
1686                         u32 prio;
1687
1688                         prio = nla_get_u32(props[TIPC_NLA_PROP_PRIO]);
1689                         tipc_link_set_prio(link, prio, &xmitq);
1690                 }
1691                 if (props[TIPC_NLA_PROP_WIN]) {
1692                         u32 win;
1693
1694                         win = nla_get_u32(props[TIPC_NLA_PROP_WIN]);
1695                         tipc_link_set_queue_limits(link, win);
1696                 }
1697         }
1698
1699 out:
1700         tipc_node_read_unlock(node);
1701         tipc_bearer_xmit(net, bearer_id, &xmitq, &node->links[bearer_id].maddr);
1702         return res;
1703 }
1704
1705 int tipc_nl_node_get_link(struct sk_buff *skb, struct genl_info *info)
1706 {
1707         struct net *net = genl_info_net(info);
1708         struct tipc_nl_msg msg;
1709         char *name;
1710         int err;
1711
1712         msg.portid = info->snd_portid;
1713         msg.seq = info->snd_seq;
1714
1715         if (!info->attrs[TIPC_NLA_LINK_NAME])
1716                 return -EINVAL;
1717         name = nla_data(info->attrs[TIPC_NLA_LINK_NAME]);
1718
1719         msg.skb = nlmsg_new(NLMSG_GOODSIZE, GFP_KERNEL);
1720         if (!msg.skb)
1721                 return -ENOMEM;
1722
1723         if (strcmp(name, tipc_bclink_name) == 0) {
1724                 err = tipc_nl_add_bc_link(net, &msg);
1725                 if (err) {
1726                         nlmsg_free(msg.skb);
1727                         return err;
1728                 }
1729         } else {
1730                 int bearer_id;
1731                 struct tipc_node *node;
1732                 struct tipc_link *link;
1733
1734                 node = tipc_node_find_by_name(net, name, &bearer_id);
1735                 if (!node)
1736                         return -EINVAL;
1737
1738                 tipc_node_read_lock(node);
1739                 link = node->links[bearer_id].link;
1740                 if (!link) {
1741                         tipc_node_read_unlock(node);
1742                         nlmsg_free(msg.skb);
1743                         return -EINVAL;
1744                 }
1745
1746                 err = __tipc_nl_add_link(net, &msg, link, 0);
1747                 tipc_node_read_unlock(node);
1748                 if (err) {
1749                         nlmsg_free(msg.skb);
1750                         return err;
1751                 }
1752         }
1753
1754         return genlmsg_reply(msg.skb, info);
1755 }
1756
1757 int tipc_nl_node_reset_link_stats(struct sk_buff *skb, struct genl_info *info)
1758 {
1759         int err;
1760         char *link_name;
1761         unsigned int bearer_id;
1762         struct tipc_link *link;
1763         struct tipc_node *node;
1764         struct nlattr *attrs[TIPC_NLA_LINK_MAX + 1];
1765         struct net *net = sock_net(skb->sk);
1766         struct tipc_link_entry *le;
1767
1768         if (!info->attrs[TIPC_NLA_LINK])
1769                 return -EINVAL;
1770
1771         err = nla_parse_nested(attrs, TIPC_NLA_LINK_MAX,
1772                                info->attrs[TIPC_NLA_LINK],
1773                                tipc_nl_link_policy);
1774         if (err)
1775                 return err;
1776
1777         if (!attrs[TIPC_NLA_LINK_NAME])
1778                 return -EINVAL;
1779
1780         link_name = nla_data(attrs[TIPC_NLA_LINK_NAME]);
1781
1782         if (strcmp(link_name, tipc_bclink_name) == 0) {
1783                 err = tipc_bclink_reset_stats(net);
1784                 if (err)
1785                         return err;
1786                 return 0;
1787         }
1788
1789         node = tipc_node_find_by_name(net, link_name, &bearer_id);
1790         if (!node)
1791                 return -EINVAL;
1792
1793         le = &node->links[bearer_id];
1794         tipc_node_read_lock(node);
1795         spin_lock_bh(&le->lock);
1796         link = node->links[bearer_id].link;
1797         if (!link) {
1798                 spin_unlock_bh(&le->lock);
1799                 tipc_node_read_unlock(node);
1800                 return -EINVAL;
1801         }
1802         tipc_link_reset_stats(link);
1803         spin_unlock_bh(&le->lock);
1804         tipc_node_read_unlock(node);
1805         return 0;
1806 }
1807
1808 /* Caller should hold node lock  */
1809 static int __tipc_nl_add_node_links(struct net *net, struct tipc_nl_msg *msg,
1810                                     struct tipc_node *node, u32 *prev_link)
1811 {
1812         u32 i;
1813         int err;
1814
1815         for (i = *prev_link; i < MAX_BEARERS; i++) {
1816                 *prev_link = i;
1817
1818                 if (!node->links[i].link)
1819                         continue;
1820
1821                 err = __tipc_nl_add_link(net, msg,
1822                                          node->links[i].link, NLM_F_MULTI);
1823                 if (err)
1824                         return err;
1825         }
1826         *prev_link = 0;
1827
1828         return 0;
1829 }
1830
1831 int tipc_nl_node_dump_link(struct sk_buff *skb, struct netlink_callback *cb)
1832 {
1833         struct net *net = sock_net(skb->sk);
1834         struct tipc_net *tn = net_generic(net, tipc_net_id);
1835         struct tipc_node *node;
1836         struct tipc_nl_msg msg;
1837         u32 prev_node = cb->args[0];
1838         u32 prev_link = cb->args[1];
1839         int done = cb->args[2];
1840         int err;
1841
1842         if (done)
1843                 return 0;
1844
1845         msg.skb = skb;
1846         msg.portid = NETLINK_CB(cb->skb).portid;
1847         msg.seq = cb->nlh->nlmsg_seq;
1848
1849         rcu_read_lock();
1850         if (prev_node) {
1851                 node = tipc_node_find(net, prev_node);
1852                 if (!node) {
1853                         /* We never set seq or call nl_dump_check_consistent()
1854                          * this means that setting prev_seq here will cause the
1855                          * consistence check to fail in the netlink callback
1856                          * handler. Resulting in the last NLMSG_DONE message
1857                          * having the NLM_F_DUMP_INTR flag set.
1858                          */
1859                         cb->prev_seq = 1;
1860                         goto out;
1861                 }
1862                 tipc_node_put(node);
1863
1864                 list_for_each_entry_continue_rcu(node, &tn->node_list,
1865                                                  list) {
1866                         tipc_node_read_lock(node);
1867                         err = __tipc_nl_add_node_links(net, &msg, node,
1868                                                        &prev_link);
1869                         tipc_node_read_unlock(node);
1870                         if (err)
1871                                 goto out;
1872
1873                         prev_node = node->addr;
1874                 }
1875         } else {
1876                 err = tipc_nl_add_bc_link(net, &msg);
1877                 if (err)
1878                         goto out;
1879
1880                 list_for_each_entry_rcu(node, &tn->node_list, list) {
1881                         tipc_node_read_lock(node);
1882                         err = __tipc_nl_add_node_links(net, &msg, node,
1883                                                        &prev_link);
1884                         tipc_node_read_unlock(node);
1885                         if (err)
1886                                 goto out;
1887
1888                         prev_node = node->addr;
1889                 }
1890         }
1891         done = 1;
1892 out:
1893         rcu_read_unlock();
1894
1895         cb->args[0] = prev_node;
1896         cb->args[1] = prev_link;
1897         cb->args[2] = done;
1898
1899         return skb->len;
1900 }