hammer2 - spanning tree and messaging work
[dragonfly.git] / sbin / hammer2 / cmd_service.c
1 /*
2  * Copyright (c) 2011-2012 The DragonFly Project.  All rights reserved.
3  *
4  * This code is derived from software contributed to The DragonFly Project
5  * by Matthew Dillon <dillon@dragonflybsd.org>
6  * by Venkatesh Srinivas <vsrinivas@dragonflybsd.org>
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted provided that the following conditions
10  * are met:
11  *
12  * 1. Redistributions of source code must retain the above copyright
13  *    notice, this list of conditions and the following disclaimer.
14  * 2. Redistributions in binary form must reproduce the above copyright
15  *    notice, this list of conditions and the following disclaimer in
16  *    the documentation and/or other materials provided with the
17  *    distribution.
18  * 3. Neither the name of The DragonFly Project nor the names of its
19  *    contributors may be used to endorse or promote products derived
20  *    from this software without specific, prior written permission.
21  *
22  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
23  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
24  * LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
25  * FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE
26  * COPYRIGHT HOLDERS OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
27  * INCIDENTAL, SPECIAL, EXEMPLARY OR CONSEQUENTIAL DAMAGES (INCLUDING,
28  * BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED
30  * AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
31  * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
32  * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
33  * SUCH DAMAGE.
34  */
35
36 #include "hammer2.h"
37
38 static void *master_accept(void *data);
39 static void *master_service(void *data);
40 static void master_auth_rx(hammer2_iocom_t *iocom);
41 static void master_auth_tx(hammer2_iocom_t *iocom);
42 static void master_link_rx(hammer2_iocom_t *iocom);
43 static void master_link_tx(hammer2_iocom_t *iocom);
44
45 /*
46  * Start-up the master listener daemon for the machine.
47  *
48  * The master listener serves as a rendezvous point in the cluster, accepting
49  * connections, performing registrations and authentications, maintaining
50  * the spanning tree, and keeping track of message state so disconnects can
51  * be handled properly.
52  *
53  * Once authenticated only low-level messaging protocols (which includes
54  * tracking persistent messages) are handled by this daemon.  This daemon
55  * does not run the higher level quorum or locking protocols.
56  *
57  * This daemon can also be told to maintain connections to other nodes,
58  * forming a messaging backbone, which in turn allows PFS's (if desired) to
59  * simply connect to the master daemon via localhost if desired.
60  * Backbones are specified via /etc/hammer2.conf.
61  */
62 int
63 cmd_service(void)
64 {
65         struct sockaddr_in lsin;
66         int on;
67         int lfd;
68
69         /*
70          * Acquire socket and set options
71          */
72         if ((lfd = socket(AF_INET, SOCK_STREAM, 0)) < 0) {
73                 fprintf(stderr, "master_listen: socket(): %s\n",
74                         strerror(errno));
75                 return 1;
76         }
77         on = 1;
78         setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on));
79
80         /*
81          * Setup listen port and try to bind.  If the bind fails we assume
82          * that a master listener process is already running and silently
83          * fail.
84          */
85         bzero(&lsin, sizeof(lsin));
86         lsin.sin_family = AF_INET;
87         lsin.sin_addr.s_addr = INADDR_ANY;
88         lsin.sin_port = htons(HAMMER2_LISTEN_PORT);
89         if (bind(lfd, (struct sockaddr *)&lsin, sizeof(lsin)) < 0) {
90                 close(lfd);
91                 if (QuietOpt == 0) {
92                         fprintf(stderr,
93                                 "master listen: daemon already running\n");
94                 }
95                 return 0;
96         }
97         if (QuietOpt == 0)
98                 fprintf(stderr, "master listen: startup\n");
99         listen(lfd, 50);
100
101         /*
102          * Fork and disconnect the controlling terminal and parent process,
103          * executing the specified function as a pthread.
104          *
105          * Returns to the original process which can then continue running.
106          * In debug mode this call will create the pthread without forking
107          * and set NormalExit to 0, instead of fork.
108          */
109         hammer2_demon(master_accept, (void *)(intptr_t)lfd);
110         if (NormalExit)
111                 close(lfd);
112         return 0;
113 }
114
115 /*
116  * Master listen/accept thread.  Accept connections on the master socket,
117  * starting a pthread for each one.
118  */
119 static
120 void *
121 master_accept(void *data)
122 {
123         struct sockaddr_in asin;
124         socklen_t alen;
125         pthread_t thread;
126         int lfd = (int)(intptr_t)data;
127         int fd;
128
129         /*
130          * Nobody waits for us
131          */
132         setproctitle("hammer2 master listen");
133         pthread_detach(pthread_self());
134
135         /*
136          * Accept connections and create pthreads to handle them after
137          * validating the IP.
138          */
139         for (;;) {
140                 alen = sizeof(asin);
141                 fd = accept(lfd, (struct sockaddr *)&asin, &alen);
142                 if (fd < 0) {
143                         if (errno == EINTR)
144                                 continue;
145                         break;
146                 }
147                 thread = NULL;
148                 fprintf(stderr, "master_accept: accept fd %d\n", fd);
149                 pthread_create(&thread, NULL,
150                                master_service, (void *)(intptr_t)fd);
151         }
152         return (NULL);
153 }
154
155 /*
156  * Service an accepted connection (runs as a pthread)
157  */
158 static
159 void *
160 master_service(void *data)
161 {
162         hammer2_iocom_t iocom;
163         int fd;
164
165         fd = (int)(intptr_t)data;
166         hammer2_iocom_init(&iocom, fd, -1);
167         hammer2_iocom_core(&iocom, master_auth_rx, master_auth_tx, NULL);
168
169         fprintf(stderr,
170                 "iocom on fd %d terminated error rx=%d, tx=%d\n",
171                 fd, iocom.ioq_rx.error, iocom.ioq_tx.error);
172         close(fd);
173
174         return (NULL);
175 }
176
177 /************************************************************************
178  *                          AUTHENTICATION                              *
179  ************************************************************************
180  *
181  * Callback via hammer2_iocom_core().
182  *
183  * Additional messaging-based authentication must occur before normal
184  * message operation.  The connection has already been encrypted at
185  * this point.
186  */
187 static
188 void
189 master_auth_rx(hammer2_iocom_t *iocom __unused)
190 {
191         printf("AUTHRX\n");
192         iocom->recvmsg_callback = master_link_rx;
193         iocom->sendmsg_callback = master_link_tx;
194 }
195
196 static
197 void
198 master_auth_tx(hammer2_iocom_t *iocom __unused)
199 {
200         printf("AUTHTX\n");
201         iocom->recvmsg_callback = master_link_rx;
202         iocom->sendmsg_callback = master_link_tx;
203 }
204
205 /************************************************************************
206  *                      POST-AUTHENTICATION SERVICE MSGS                *
207  ************************************************************************
208  *
209  * Callback via hammer2_iocom_core().
210  */
211 static
212 void
213 master_link_rx(hammer2_iocom_t *iocom)
214 {
215         hammer2_msg_t *msg;
216         hammer2_state_t *state;
217         uint32_t cmd;
218
219         while ((iocom->flags & HAMMER2_IOCOMF_EOF) == 0 &&
220                (msg = hammer2_ioq_read(iocom)) != NULL) {
221                 /*
222                  * If the message state has a function established we just
223                  * call the function, otherwise we call the appropriate
224                  * link-level protocol related to the original command and
225                  * let it sort it out.
226                  *
227                  * Non-transactional one-off messages, on the otherhand,
228                  * might have REPLY set.
229                  */
230                 state = msg->state;
231                 if (state) {
232                         cmd = state->msg->any.head.cmd;
233                         fprintf(stderr,
234                                 "MSGRX persist=%08x cmd=%08x error %d\n",
235                                 cmd, msg->any.head.cmd, msg->any.head.error);
236                 } else {
237                         cmd = msg->any.head.cmd;
238                         fprintf(stderr,
239                                 "MSGRX persist=-------- cmd=%08x error %d\n",
240                                 cmd, msg->any.head.error);
241                 }
242                 if (state && state->func) {
243                         state->func(state, msg);
244                 } else {
245                         switch(cmd & HAMMER2_MSGF_PROTOS) {
246                         case HAMMER2_MSG_PROTO_LNK:
247                                 hammer2_msg_lnk(iocom, msg);
248                                 break;
249                         case HAMMER2_MSG_PROTO_DBG:
250                                 hammer2_msg_dbg(iocom, msg);
251                                 break;
252                         default:
253                                 hammer2_msg_reply(iocom, msg,
254                                                   HAMMER2_MSG_ERR_UNKNOWN);
255                                 break;
256                         }
257                 }
258                 hammer2_state_cleanuprx(iocom, msg);
259         }
260         if (iocom->ioq_rx.error) {
261                 fprintf(stderr,
262                         "master_recv: comm error %d\n",
263                         iocom->ioq_rx.error);
264         }
265 }
266
267 /*
268  * Callback from hammer2_iocom_core() when messages might be transmittable
269  * to the socket.
270  */
271 static
272 void
273 master_link_tx(hammer2_iocom_t *iocom)
274 {
275         hammer2_iocom_flush1(iocom);
276 }