sbin/hammer2/cmd_service.c

   1 /*
   2  * Copyright (c) 2011-2012 The DragonFly Project.  All rights reserved.
   3  *
   4  * This code is derived from software contributed to The DragonFly Project
   5  * by Matthew Dillon <dillon@dragonflybsd.org>
   6  * by Venkatesh Srinivas <vsrinivas@dragonflybsd.org>
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  *
  12  * 1. Redistributions of source code must retain the above copyright
  13  *    notice, this list of conditions and the following disclaimer.
  14  * 2. Redistributions in binary form must reproduce the above copyright
  15  *    notice, this list of conditions and the following disclaimer in
  16  *    the documentation and/or other materials provided with the
  17  *    distribution.
  18  * 3. Neither the name of The DragonFly Project nor the names of its
  19  *    contributors may be used to endorse or promote products derived
  20  *    from this software without specific, prior written permission.
  21  *
  22  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  23  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  24  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  25  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
  26  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
  27  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
  28  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
  30  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
  31  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
  32  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  33  * SUCH DAMAGE.
  34  */
  35
  36 #include "hammer2.h"
  37
  38 static void *master_accept(void *data);
  39 static void master_auth_signal(hammer2_router_t *router);
  40 static void master_auth_rxmsg(hammer2_msg_t *msg);
  41 static void master_link_signal(hammer2_router_t *router);
  42 static void master_link_rxmsg(hammer2_msg_t *msg);
  43 static void master_reconnect(const char *mntpt);
  44
  45 /*
  46  * Start-up the master listener daemon for the machine.
  47  *
  48  * The master listener serves as a rendezvous point in the cluster, accepting
  49  * connections, performing registrations and authentications, maintaining
  50  * the spanning tree, and keeping track of message state so disconnects can
  51  * be handled properly.
  52  *
  53  * Once authenticated only low-level messaging protocols (which includes
  54  * tracking persistent messages) are handled by this daemon.  This daemon
  55  * does not run the higher level quorum or locking protocols.
  56  *
  57  * This daemon can also be told to maintain connections to other nodes,
  58  * forming a messaging backbone, which in turn allows PFS's (if desired) to
  59  * simply connect to the master daemon via localhost if desired.
  60  * Backbones are specified via /etc/hammer2.conf.
  61  */
  62 int
  63 cmd_service(void)
  64 {
  65         struct sockaddr_in lsin;
  66         int on;
  67         int lfd;
  68
  69         /*
  70          * Acquire socket and set options
  71          */
  72         if ((lfd = socket(AF_INET, SOCK_STREAM, 0)) < 0) {
  73                 fprintf(stderr, "master_listen: socket(): %s\n",
  74                         strerror(errno));
  75                 return 1;
  76         }
  77         on = 1;
  78         setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on));
  79
  80         /*
  81          * Setup listen port and try to bind.  If the bind fails we assume
  82          * that a master listener process is already running and silently
  83          * fail.
  84          */
  85         bzero(&lsin, sizeof(lsin));
  86         lsin.sin_family = AF_INET;
  87         lsin.sin_addr.s_addr = INADDR_ANY;
  88         lsin.sin_port = htons(HAMMER2_LISTEN_PORT);
  89         if (bind(lfd, (struct sockaddr *)&lsin, sizeof(lsin)) < 0) {
  90                 close(lfd);
  91                 if (QuietOpt == 0) {
  92                         fprintf(stderr,
  93                                 "master listen: daemon already running\n");
  94                 }
  95                 return 0;
  96         }
  97         if (QuietOpt == 0)
  98                 fprintf(stderr, "master listen: startup\n");
  99         listen(lfd, 50);
 100
 101         /*
 102          * Fork and disconnect the controlling terminal and parent process,
 103          * executing the specified function as a pthread.
 104          *
 105          * Returns to the original process which can then continue running.
 106          * In debug mode this call will create the pthread without forking
 107          * and set NormalExit to 0, instead of fork.
 108          */
 109         hammer2_demon(master_accept, (void *)(intptr_t)lfd);
 110         if (NormalExit)
 111                 close(lfd);
 112         return 0;
 113 }
 114
 115 /*
 116  * Master listen/accept thread.  Accept connections on the master socket,
 117  * starting a pthread for each one.
 118  */
 119 static
 120 void *
 121 master_accept(void *data)
 122 {
 123         struct sockaddr_in asin;
 124         socklen_t alen;
 125         pthread_t thread;
 126         hammer2_master_service_info_t *info;
 127         int lfd = (int)(intptr_t)data;
 128         int fd;
 129         int i;
 130         int count;
 131         struct statfs *mntbuf = NULL;
 132         struct statvfs *mntvbuf = NULL;
 133
 134         /*
 135          * Nobody waits for us
 136          */
 137         setproctitle("hammer2 master listen");
 138         pthread_detach(pthread_self());
 139
 140         /*
 141          * Scan existing hammer2 mounts and reconnect to them using
 142          * HAMMER2IOC_RECLUSTER.
 143          */
 144         count = getmntvinfo(&mntbuf, &mntvbuf, MNT_NOWAIT);
 145         for (i = 0; i < count; ++i) {
 146                 if (strcmp(mntbuf[i].f_fstypename, "hammer2") == 0)
 147                         master_reconnect(mntbuf[i].f_mntonname);
 148         }
 149
 150         /*
 151          * Accept connections and create pthreads to handle them after
 152          * validating the IP.
 153          */
 154         for (;;) {
 155                 alen = sizeof(asin);
 156                 fd = accept(lfd, (struct sockaddr *)&asin, &alen);
 157                 if (fd < 0) {
 158                         if (errno == EINTR)
 159                                 continue;
 160                         break;
 161                 }
 162                 thread = NULL;
 163                 fprintf(stderr, "master_accept: accept fd %d\n", fd);
 164                 info = malloc(sizeof(*info));
 165                 bzero(info, sizeof(*info));
 166                 info->fd = fd;
 167                 info->detachme = 1;
 168                 pthread_create(&thread, NULL, master_service, info);
 169         }
 170         return (NULL);
 171 }
 172
 173 /*
 174  * Normally the mount program supplies a cluster communications
 175  * descriptor to the hammer2 vfs on mount, but if you kill the service
 176  * daemon and restart it that link will be lost.
 177  *
 178  * This procedure attempts to [re]connect to existing mounts when
 179  * the service daemon is started up before going into its accept
 180  * loop.
 181  *
 182  * NOTE: A hammer2 mount point can only accomodate one connection at a time
 183  *       so this will disconnect any existing connection during the
 184  *       reconnect.
 185  */
 186 static
 187 void
 188 master_reconnect(const char *mntpt)
 189 {
 190         struct hammer2_ioc_recluster recls;
 191         hammer2_master_service_info_t *info;
 192         pthread_t thread;
 193         int fd;
 194         int pipefds[2];
 195
 196         fd = open(mntpt, O_RDONLY);
 197         if (fd < 0) {
 198                 fprintf(stderr, "reconnect %s: no access to mount\n", mntpt);
 199                 return;
 200         }
 201         if (pipe(pipefds) < 0) {
 202                 fprintf(stderr, "reconnect %s: pipe() failed\n", mntpt);
 203                 close(fd);
 204                 return;
 205         }
 206         bzero(&recls, sizeof(recls));
 207         recls.fd = pipefds[0];
 208         if (ioctl(fd, HAMMER2IOC_RECLUSTER, &recls) < 0) {
 209                 fprintf(stderr, "reconnect %s: ioctl failed\n", mntpt);
 210                 close(pipefds[0]);
 211                 close(pipefds[1]);
 212                 close(fd);
 213                 return;
 214         }
 215         close(pipefds[0]);
 216         close(fd);
 217
 218         info = malloc(sizeof(*info));
 219         bzero(info, sizeof(*info));
 220         info->fd = pipefds[1];
 221         info->detachme = 1;
 222         pthread_create(&thread, NULL, master_service, info);
 223 }
 224
 225 /*
 226  * Service an accepted connection (runs as a pthread)
 227  *
 228  * (also called from a couple of other places)
 229  */
 230 void *
 231 master_service(void *data)
 232 {
 233         hammer2_master_service_info_t *info = data;
 234         hammer2_iocom_t iocom;
 235
 236         if (info->detachme)
 237                 pthread_detach(pthread_self());
 238
 239         hammer2_iocom_init(&iocom, info->fd, -1,
 240                            master_auth_signal,
 241                            master_auth_rxmsg,
 242                            NULL);
 243         hammer2_iocom_core(&iocom);
 244
 245         fprintf(stderr,
 246                 "iocom on fd %d terminated error rx=%d, tx=%d\n",
 247                 info->fd, iocom.ioq_rx.error, iocom.ioq_tx.error);
 248         close(info->fd);
 249         info->fd = -1;  /* safety */
 250         free(info);
 251
 252         return (NULL);
 253 }
 254
 255 /************************************************************************
 256  *                          AUTHENTICATION                              *
 257  ************************************************************************
 258  *
 259  * Callback via hammer2_iocom_core().
 260  *
 261  * Additional messaging-based authentication must occur before normal
 262  * message operation.  The connection has already been encrypted at
 263  * this point.
 264  */
 265 static void master_auth_conn_rx(hammer2_msg_t *msg);
 266
 267 static
 268 void
 269 master_auth_signal(hammer2_router_t *router)
 270 {
 271         hammer2_msg_t *msg;
 272
 273         /*
 274          * Transmit LNK_CONN, enabling the SPAN protocol if both sides
 275          * agree.
 276          *
 277          * XXX put additional authentication states here?
 278          */
 279         msg = hammer2_msg_alloc(router, 0, HAMMER2_LNK_CONN |
 280                                            HAMMER2_MSGF_CREATE,
 281                                 master_auth_conn_rx, NULL);
 282         msg->any.lnk_conn.peer_mask = (uint64_t)-1;
 283         msg->any.lnk_conn.peer_type = HAMMER2_PEER_CLUSTER;
 284
 285         hammer2_msg_write(msg);
 286
 287         hammer2_router_restate(router,
 288                               master_link_signal,
 289                               master_link_rxmsg,
 290                               NULL);
 291 }
 292
 293 static
 294 void
 295 master_auth_conn_rx(hammer2_msg_t *msg)
 296 {
 297         if (msg->any.head.cmd & HAMMER2_MSGF_DELETE)
 298                 hammer2_msg_reply(msg, 0);
 299 }
 300
 301 static
 302 void
 303 master_auth_rxmsg(hammer2_msg_t *msg __unused)
 304 {
 305 }
 306
 307 /************************************************************************
 308  *                      POST-AUTHENTICATION SERVICE MSGS                *
 309  ************************************************************************
 310  *
 311  * Callback via hammer2_iocom_core().
 312  */
 313 static
 314 void
 315 master_link_signal(hammer2_router_t *router)
 316 {
 317         hammer2_msg_lnk_signal(router);
 318 }
 319
 320 static
 321 void
 322 master_link_rxmsg(hammer2_msg_t *msg)
 323 {
 324         hammer2_state_t *state;
 325         uint32_t cmd;
 326
 327         /*
 328          * If the message state has a function established we just
 329          * call the function, otherwise we call the appropriate
 330          * link-level protocol related to the original command and
 331          * let it sort it out.
 332          *
 333          * Non-transactional one-off messages, on the otherhand,
 334          * might have REPLY set.
 335          */
 336         state = msg->state;
 337         cmd = state ? state->msg->any.head.cmd : msg->any.head.cmd;
 338
 339         fprintf(stderr, "service-receive: %s\n", hammer2_msg_str(msg));
 340
 341         if (state && state->func) {
 342                 assert(state->func != NULL);
 343                 state->func(msg);
 344         } else {
 345                 switch(cmd & HAMMER2_MSGF_PROTOS) {
 346                 case HAMMER2_MSG_PROTO_LNK:
 347                         hammer2_msg_lnk(msg);
 348                         break;
 349                 case HAMMER2_MSG_PROTO_DBG:
 350                         hammer2_msg_dbg(msg);
 351                         break;
 352                 default:
 353                         hammer2_msg_reply(msg, HAMMER2_MSG_ERR_NOSUPP);
 354                         break;
 355                 }
 356         }
 357 }