Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision		 Previous revision
doku:job_arrays [2014/05/28 11:13] – irdoku:job_arrays [2021/05/13 17:46] (current) – removed goldenberg
Line 1: Line 1:
-====== Job arrays ====== 
- 
-Job arrays are sets of similar but **independent** jobs.  Submit sets of similar and independent “tasks”: 
-     *''qsub -t 1-500:1 example_3.sge'' submits 500 instances of the same script 
-     *each instance (“task”) is executed independently 
-     *all instances subsumed with a single job ID 
-     *variable ''$SGE_TASK_ID'' discriminates between instances 
-     *task numbering scheme: ''-t <first>-<last>:<stepsize>'' 
-     *related: ''$SGE_TASK_FIRST,$SGE_TASK_LAST,$SGE_TASK_STEPSIZE'' 
-   
-Example: 
-<code> 
-#$ -cwd 
-#$ -N blastArray 
-#$ -t 1-500:1 
- 
-QUERY=query_${SGE_TASK_ID}.fa 
-OUTPUT=blastout_${SGE_TASK_ID}.txt 
-echo "processing query $QUERY ..." 
-blastall -p blastn -d nt -i $QUERY -o $OUTPUT 
-echo "...done" 
-</code> 
- 
-<code> 
-user@l01 $ qsub example_3.sge 
-Your job 10420.1-500:1 ("blastArray") has been submitted. 
-user@l01 $ qstat 
-job-ID prior    name       user         state submit/start at     queue                          slots ja-task-ID 
------------------------------------------------------------------------------------------------------------------ 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:05:56 all.q@r10n01                       1 198 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:05:56 all.q@r10n01                       1 199 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:07:11 all.q@r10n01                       1 202 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:07:11 all.q@r10n01                       1 203 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:05:41 all.q@r10n01                       1 196 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:05:41 all.q@r10n01                       1 197 
-  10420 0.55241 blastArray mjr           r     02/13/2007 15:08:41 all.q@r10n01                       1 208 
-  10420 0.55241 blastArray mjr           r     02/13/2007 15:08:41 all.q@r10n01                       1 209 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:08:11 all.q@r10n02                       1 204 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:08:11 all.q@r10n02                       1 206 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:02:11 all.q@r10n02                       1 176 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:02:11 all.q@r10n02                       1 177 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:03:26 all.q@r10n02                       1 182 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:03:26 all.q@r10n02                       1 183 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:07:11 all.q@r10n02                       1 200 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:07:11 all.q@r10n02                       1 201 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:05:11 all.q@r10n03                       1 193 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:05:11 all.q@r10n03                       1 194 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:04:41 all.q@r10n03                       1 190 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:04:41 all.q@r10n03                       1 191 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:03:41 all.q@r10n03                       1 184 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:03:41 all.q@r10n03                       1 185 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:08:11 all.q@r10n03                       1 205 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:08:11 all.q@r10n03                       1 207 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:05:11 all.q@r10n04                       1 192 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:05:26 all.q@r10n04                       1 195 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:04:26 all.q@r10n04                       1 188 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:04:26 all.q@r10n04                       1 189 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:03:56 all.q@r10n04                       1 186 
-  10420 0.56000 blastArray mjr           r     02/13/2007 15:03:56 all.q@r10n04                       1 187 
-  10420 0.55242 blastArray mjr           qw    02/13/2007 14:28:34                                    1 210-500:1 
-</code> 
- 
  
  • doku/job_arrays.1401275635.txt.gz
  • Last modified: 2014/05/28 11:13
  • by ir