/******************************************************************************/
/**
@file "MPI/C/Primer 2 - threads/mpithreads_mpi.c"
@brief Primer MPI programa za izracunavanje skalarnog proizvoda vektora.

Ovaj program ilustruje upotrebu MPI-a u izracunavanju skalarnog proizvoda
vektora. Sekvencijalnu verziju i verziju koja koristi POSIX niti mozete naci u
sledecim primerima:@n @n

Pthreads/C/Primer 4 - mutex/dot_product_simple.c @n
Pthreads/C/Primer 4 - mutex/dot_product_threaded_mutex.c @n @n

Svu MPI komunikaciju unutar jednog cvora odradjuje glavna nit programa na
svakom od cvorova - ostale niti unutar tog cvora ne moraju biti svesne toga.
Izabrana je upotreba SPMD modela sa replikacijom glavnih podataka na svim
cvorovima. Za vece setove podataka savet je implementacija verzije koja je
stedljivija u pogledu memorije.@n @n

Autor ovog primera je Vijay Sonnad, IBM. Kod poslednje revizije, koju je izvrsio
Blaise Barney, je preuzet iz Pthreads tutorijala sa adrese
<a href="http://www.llnl.gov/computing/tutorials/pthreads/">http://www.llnl.gov/computing/tutorials/pthreads/</a>
i prilagodjen potrebama ovog kursa.
*/
/******************************************************************************/

#include <mpi.h>
#include <stdio.h>
#include <stdlib.h>

/******************************************************************************/

/**
@struct DOT_DATA
@brief Ulazni podaci za obradu i razultat izvrsavanja

Sledeca struktura sadrzi neophodne informacije koje dozvoljavaju funkciji
dot_prod da pristupi njenim ulaznim podacima i da sacuva rezultate kako bi
im se moglo kasnije pristupiti. Struktura je ostala nepromenjena u odnosu
na sekvencijalnu verziju i Pthread verziju
*/
typedef struct  {
    /**
    @property a
    @brief Adresa pocetka prvog niza
    */
	double* a;

    /**
    @property b
    @brief Adresa pocetka drugog niza
    */
	double*	b;

    /**
    @property sum
    @brief Rezultat obrade (sumiranja)
    */
	double	sum;

    /**
    @property vec_len
    @brief Duzina nizova nad kojima se vrsi obrada
    */
	int	vec_len; 
} DOT_DATA;

/******************************************************************************/

/**
@def VEC_LEN
@brief Duzina svakog vektora
*/
#define VEC_LEN	100

/**
@var DOT_DATA dot_str
@brief Globalno dostupne informacije neophodne dot_prod funkciji
*/
DOT_DATA dot_str; 

/******************************************************************************/

/**
@brief Funkcija koja racuna skalarni proizvod
@return Vraca genericki pokazivac na ?

Funkcija dot_prod je veoma slicna onoj u sekvencijalnoj verziji ovog programa,
osim sto sada svaki cvor radi na razlicitom delu podataka. Kao i ranije,
sav pristup ulaznim fajlovima se vrsi preko strukture DOT_DATA i svi rezultati
se upisuju nazad u istu strukturu.
*/
void* dot_prod(){
	/*
	Zgodno je definisati i koristiti lokalne promenljive
	*/	
	int i, start, end, myid, len;
	double mysum, *x, *y;
	
	/* Uzimamo rank ovog cvora */	
	MPI_Comm_rank (MPI_COMM_WORLD, &myid);
	
	len = dot_str.vec_len;
	start = myid * len;
	end   = start + len;
	x = dot_str.a;
	y = dot_str.b;
	
	/*
	Izracunavamo skalarni proizvod i dodeljujemo rezultat odgovarajucem
	polju u strukturi
	*/	
	mysum = 0;
	for (i=start; i<end ; i++) 
		mysum += (x[i] * y[i]);
	
	dot_str.sum += mysum;

}

/******************************************************************************/

/**
@brief Glavni program
@param argc Broj argumenata komandne linije
@param argv Argumenti komandne linije
@return Vraca @b 0 ako je sve uspesno izvrseno

Kao i u ranijim verzijama, glavni program radi malo proracuna. Ali zato vrsi
sve pozive MPI rutina. Svi cvorovi imaju podjednako ucesce u poslu.
*/
int main (int argc, char* argv[])
{
	int i, len = VEC_LEN;
	int myid, numprocs;
	double *a, *b;
	double mysum, allsum;
	
	/* MPI inicijalizacija */
	MPI_Init (&argc, &argv);
	MPI_Comm_size (MPI_COMM_WORLD, &numprocs);
	MPI_Comm_rank (MPI_COMM_WORLD, &myid);
	
	/* Dodelimo prostor promenljivama i inicijalizujemo njihove vrednosti */
	a = (double*) malloc (numprocs * len * sizeof(double));
	b = (double*) malloc (numprocs * len * sizeof(double));
	
	for (i = 0; i < len * numprocs; i++)
	{
		a[i] = 1;
		b[i] = a[i];
	}
	
	dot_str.vec_len = len; 
	dot_str.a = a; 
	dot_str.b = b; 
	dot_str.sum=0;
	
	/* Pozivamo dot_prod() rutinu */
	dot_prod();
	mysum = dot_str.sum;
	printf("Task %d partial sum is %f\n",myid, mysum);
	
	/*
	Nakon povratka iz dot_prod() rutine izvrsimo sumiranje rezultata svih
	cvorova
	*/
	MPI_Reduce (&mysum, &allsum, 1, MPI_DOUBLE, MPI_SUM, 0, MPI_COMM_WORLD);
	
	if (myid == 0) 
	    printf ("Done. MPI version: sum  =  %f \n", allsum);

	free (a);
	free (b);

	MPI_Finalize();

    return 0;
}

/******************************************************************************/