Important information for users of the RWTH Compute Cluster with a high demand for compute resources when using batch jobs under Linux.

Please find the English version below ...

You can download the slides here (pdf).
You can find more online Information here.


Die Veranstaltung soll Nutzer des RWTH Compute Clusters mit hohen Rechenzeitanforderungen im Batchbetrieb unter Linux in Kürze wichtige Informationen über die Projektbewirtschaftung übermitteln.

Die Folien können Sie hier (pdf) herunterladen.

Weitere Online-Informationen finden Sie hier.

 

Bisher war das RWTH Compute Cluster weitgehend frei für Studenten und Mitarbeiter nutzbar.

Lediglich sehr große Rechenprojekte müssen seit Frühjahr 2012 formal beantragt, wissenschaftlich begutachtet und bewilligt werden, damit sie in der JARA-HPC Partition Ressourcen bereitgestellt bekommen können.

Zukünftig wird die Rechenkapazität des RWTH Compute Clusters im Batchbetrieb unter Linux weitgehend kontingentiert. Lediglich die geringfügige Nutzung wird weiterhin unverändert möglich sein.

Diese Maßnahme ist notwendig, um die Bedingungen zu erfüllen, die der Wissenschaftsrat für die Beantragung von Finanzmitteln für zukünftige Rechenanlagen stellt. Es wird ein wissenschaftsgeleitetes Verfahren für die Vergabe der teuren Rechnerressourcen etabliert, das eine faire Behandlung der Nutzer gewährleistet. Die Maßnahme ist abgestimmt mit der Steuerungsgruppe für das IT Center, einer vom Rektorat der RWTH eingesetzten Kommission, die die Leitung des IT Centers berät.

Das bedeutet, dass Sie als Wissenschaftler der RWTH und aus dem Land NRW einen Rechenprojektantrag stellen müssen, wenn Sie mehr als 2000 CPU-Stunden (Core-hours) pro Monat benötigen.

Ausgehend von der Nutzungsstatistik des Jahres 2013 sind davon weniger als 100 Nutzer betroffen, die nicht bereits  im Rahmen eines JARA-HPC Projektes Rechenprojektanträge gestellt haben.

Die große Mehrzahl der Clusternutzer ist von dieser Neuerung also nicht betroffen.

Die Beantragung von besonders großen Rechenprojekten in der 2012 eingerichteten JARA-HPC Partition bleibt von diesen Neuerungen unberührt. Die nächsten JARA-HPC Anträge können wie gewohnt bis Ende August gestellt werden - siehe http://www.jara.org/de/forschung/jara-hpc/partition-jade/rechenzeit.

Zur eigenständigen Kontrolle Ihrer Batchnutzung der letzten Monate unter Linux gemessen in CPU-Stunden (Core-hours) fragen Sie diese mit dem  Kommando

r_batch_usage [- m <number_months>]

auf einem Interaktivknoten des Linux-Clusters ab. Die Ausgabe gibt Ihnen die Information, mit der Sie Ihre zukünftigen Anforderungen an Rechenkapazität in CPU-Stunden abschätzen können.

Wenn Sie höhere Anforderungen haben als die genannten 2000 CPU-Stunden pro Monat, lesen Sie bitte die Information zur zukünftigen Projektbewirtschaftung auf unseren Webseiten unter:

https://doc.itc.rwth-aachen.de/display/CC/Projektbewirtschaftung

Für Studenten wird die freie Nutzung auf 500 CPU-Stunden pro Monat begrenzt sein. Darüber hinaus wird die Nutzung für Studenten im Rahmen von Abschlussarbeiten, im Rahmen von Lehrveranstaltungen oder als Mitarbeiter in Forschungsprojekten möglich sein. Für die entsprechende Beantragung sind die Betreuer, bzw. Dozenten oder Projektleiter verantwortlich.

Auch dazu finden Sie Informationen auf unseren Webseiten .

Im Unterschied zu der Beantragung von Rechenzeit in der JARA-HPC Partition wird es für Projektanträge im Rahmen dieser Kontingentierung keine Abgabefristen geben. Es werden kontinuierlich Anträge angenommen,  bearbeitet und bewilligt. Die Antragsformulare werden auf den Webseiten bis zum 28.7. bereitgestellt. Eingehende Anträge werden ab Mitte August bearbeitet.

Uns ist bewusst, dass diese Maßnahme mit einem erhöhten Arbeitsaufwand für alle Beteiligten verbunden ist und wir sind bemüht, diesen Mehraufwand auf ein Minimum zu reduzieren und bitten um Ihre Mitwirkung.
Insbesondere bitten wir darum, dass Sie sinnvolle Projektgrößen definieren und dass nicht jeder einzelne Wissenschaftler einen separaten Antrag stellt.

Wenn Sie über die im Web bereitgestellten Informationen hinaus Fragen oder Anregungen haben, lädt Sie das IT Center zu einer kurzen Informationsveranstaltung ein.

 

Zeit:
Mittwoch, 23.7.2014, 10-11 Uhr

Ort:
IT Center, Rechenzentrums-Erweiterungsgebäude
Kopernikusstr. 6
Seminarraum 4

 

Bitte melden Sie sich zur Infoveranstaltung hier an >>>

 

Bei Bedarf werden wir weitere solche Veranstaltungen anbieten.

Wir hoffen auf Ihr Verständnis für diese Maßnahme und stehen Ihnen gerne jederzeit beratend zur Seite.


Managing Compute Projects on RWTH Compute Cluster

Until now the RWTH Compute Cluster was at large freely usable by students and university staff. Only users with especially big needs for compute resources are required to formally submit project proposals for scientific evaluation and approval in order to receive preallocated compute resources in the JARA-HPC Partition since 2012.

In the near future the batch-mode computing time on the Linux partition of the RWTH Compute Cluster is to become subject to an explicit allocation procedure. Only the slight use of the cluster will remain as  it currently is.

This measure is necessary in order to fulfil the requirements of the Science Council (Wissenschaftsrat) and to request funding for future computer systems. A scientific process for the allocation of the expensive compute resources has to be established which will guarantee fair handling of all users. This measure comes in agreement with the Steering group of the IT Center – a commission appointed by the RWTH rector’s office that advises the IT Center.

The way that affects you as a scientific employee of RWTH Aachen University or any other university in NRW is that you must submit a project proposal when you require more than 2000 CPU-hours (core-hours) per month.

From our analysis of the usage statistics from year 2013 we expect that less than 100 non-JARA-HPC users will be affected by the new process. Most cluster users fit within the default limits and will therefore not be affected.

Projects with really big compute time requirements will still have to submit proposals for access to the JARA-HPC Partition as has been the case since the partition was established in 2012. The next JARA-HPC call for proposals will open soon with deadline until the end of August – see http://www.jara.org/en/research/hpc/partition-jade/computing-time.

In order to check your own usage of the batch resources on the Linux cluster during the past several months in CPU-hours (core-hours), you can issue the following command from any interactive cluster node:

r_batch_usage [-m <number_of_months>]

The output provides you with information that you could then use to plan your future compute time requirements.

Please, read the information about the future project-based resource management provided on our web site in case you need more than 2000 CPU-hours per month:

Project-based+management+of+the+cluster+ressources

Students will have their free usage limited to 500 CPU-hours per month. Further usage of the cluster resources in the context of writing theses, lecture exercises or while working for a research project will be possible. In those cases, the scientific advisor, respectively the lecturer or the project leader will be responsible for submitting the corresponding project proposal. Those should refer to the information provided on our web site.

Unlike the calls for proposals for the JARA-HPC Partition, proposals for compute time in context of the new resource allocation procedure will be accepted and processed continuously throughout the year. Forms will be available from July 28 on. Submissions will be processed starting mid-August.

We are well aware that those measures will mean additional work overhead for all involved parties. Our aim is to keep that overhead to the possible minimum and for that we would kindly ask for your cooperation.
Therefore we kindly urge you to define meaningful project sizes and do not submit proposals for each researcher separately.

If you cannot find the answers to all your questions on our web site, the IT Center would kindly invite you to participate in this information Event:

 

Time:
Wednesday, 23 July, 2014, from 10:00 until 11:00

Location:
Extension building of the IT Center
Kopernikusstr. 6
Seminar room 004

Please register here >>>

 

Further information events will be offered if necessary.

We hope that you understand the necessity of the aforementioned measures. Please, don’t hesitate to contact us if you encounter any problems or have any related questions.

 

 

 

 

  • Keine Stichwörter